JP5263989B2

Movatterモバイル変換

Info

Publication number: JP5263989B2
Application number: JP2010237019A
Authority: JP
Inventors: 努岩切
Original assignee: NEC System Technologies Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2010-10-22
Filing date: 2010-10-22
Publication date: 2013-08-14
Anticipated expiration: 2030-10-22
Also published as: JP2012090197A

Abstract

Description

Translated fromJapanese

本発明は、Ｗｅｂカメラを利用して人物を撮像し、Ｗｅｂカメラに接続されたコンピュータおよびネットワークを介して人物の画像を他のコンピュータに配信するようにした画像配信システムおよび画像配信方法と画像配信プログラムに関する。 The present invention relates to an image delivery system, an image delivery method, and an image delivery method that take an image of a person using a web camera and deliver an image of the person to another computer via a computer and a network connected to the web camera. Regarding the program.

Ｗｅｂカメラを利用して人物を撮像し、Ｗｅｂカメラに接続されたコンピュータおよびネットワークを介して人物の画像を他のコンピュータに配信するようにした画像配信システムとしては、企業用のテレビ会議システムや家庭用のテレビ電話等が公知である。 As an image distribution system that takes an image of a person using a Web camera and distributes an image of the person to other computers via a network connected to the Web camera and a network, a corporate video conference system or a home Videophones and the like are well known.

この種の技術にあっては、背景にある機密情報の映り込やプライバシーの保護の観点から、人物と背景との分離、例えば、背景の除去やマスキングに関連した処理操作が重要な課題となる。
特に、安価で小口径のレンズを使用したＷｅｂカメラにあっては、被写界深度を浅くして背景をフォーカスアウトさせることが困難なことから、パンフォーカスによる背景の映り込みが重大な問題となる。In this type of technology, from the viewpoint of reflection of confidential information in the background and protection of privacy, separation of people and background, for example, processing operations related to background removal and masking becomes an important issue. .
In particular, in the case of an inexpensive web camera using a small-diameter lens, it is difficult to focus out the background by reducing the depth of field. Become.

人物と背景を分離するための技術としては、専用のスタジオで背景用のブルーバックやグリーンバックを設置し、これらの色を透過色として処理するようにしたものが公知であるが、近似色の衣服や装飾品に色抜けを生じる不都合があった。 As a technique for separating a person and a background, a blue studio or a green background is installed in a dedicated studio and these colors are processed as transparent colors. There was an inconvenience of color loss in clothes and decorations.

また、コンピュータのディスプレイ上で背景色に近似する色をマウスでクリックして指定することによって背景を選択的に処理する方法もあるが、正確に人物と背景を分離して背景を除去したりマスキングしたりするためには、近似色の指定操作や類似範囲の設定操作が著しく煩雑となる不都合がある。 There is also a method of selectively processing the background by clicking with the mouse to specify a color that approximates the background color on the computer display, but the background is removed or masked by accurately separating the person and the background. Therefore, there is an inconvenience that the operation for specifying an approximate color and the operation for setting a similar range become extremely complicated.

コンピュータのディスプレイ上に表示される画像にラバーバンド操作によってマスキング領域を設定することで切り抜き処理を行なう方法もあるが、領域の選択が大雑把となり、除去すべき背景の一部が意図せずに表示されるといった問題が発生することが多い。 There is also a method of clipping the image displayed on the computer display by setting a masking area by rubber band operation, but the selection of the area becomes rough, and a part of the background to be removed is displayed unintentionally. Often occurs.

また、背景を切り出すためのマスクを生成するため、ストロボ発光により主要被写体となる人物を露出オーバー状態で撮像してマスク部分の二値化を容易に行なえるようにした撮影装置が特許文献１として公知である。
このものは専用のハードウェアとしてストロボが必要となる点、および、動画を作成する場合には頻繁にストロボを発光させなければならない点で不都合がある。Patent Document 1 discloses an imaging apparatus that can easily perform binarization of a mask portion by capturing an image of a person who is a main subject in an overexposed state by strobe light emission in order to generate a mask for cutting out a background. It is known.
This is disadvantageous in that a strobe is required as dedicated hardware, and that a strobe must be frequently emitted when creating a moving image.

更に、特許文献２には、２つのマイクで検出される音声信号の位相差からカメラの撮像面に平行となる面内における人物の位置（ｘ，ｙ）を特定し、その周辺にテンプレート状の領域Ｒを設定して人物の映像Ｇ２を切り出したり、人物の位置（ｘ，ｙ）に基いて映像Ｇ２以外の映像を除去して他者のテレビモニタに転送するようにしたもの、および、人物が撮影領域に入っていないときの基準映像Ｇ０と人物が撮影領域に入っているときの映像Ｇ１との差分画像Ｇ４、すなわち、人物のみの画像Ｇ４を他者のテレビモニタに転送するようにしたものが開示されている。
しかし、前者にあってはテンプレートを利用した映像の切り出しであるため、切り出し部分が大きくなりがちで隠すべき背景が露出し易くなる不都合があり、また、後者にあっては人物のみが切り出されて転送されるために違和感が生じるといった難点がある。
また、特許文献２では、赤外線照射部と赤外線受光部を作動させ、赤外線の反射時間によってカメラから人物までの距離Ｋを求め、映像処理部によって距離Ｋよりも近い距離に対応する領域の映像Ｇ５を切り出し、他者のテレビモニタに転送するようにしたものについても記載されている。
しかし、カメラから人物までの距離Ｋを求めることは可能であっても、その距離Ｋよりも近い距離に対応する領域の映像Ｇ５を切り出すための映像処理部の構成や画像処理については特許文献２では何ら具体的に開示されていない。
また、距離Ｋよりも近い距離に対応する領域の映像Ｇ５を切り出すことが仮にできたとしても、人物が僅かでも後方に移動したような場合には人物それ自体が撮像領域から食み出すことになり、切り出された映像Ｇ５に人物が含まれなくなる恐れがある。Furthermore,Patent Document 2 specifies the position (x, y) of a person in a plane parallel to the imaging plane of the camera from the phase difference between the audio signals detected by the two microphones, and a template-like pattern around the position. A region R is set to cut out a person's video G2, or a video other than the video G2 is removed based on the position (x, y) of the person and transferred to the other person's TV monitor. The difference image G4 between the reference video G0 when the camera is not in the shooting area and the video G1 when the person is in the shooting area, that is, the person-only image G4 is transferred to the other person's TV monitor. Are disclosed.
However, in the former, since the image is cut out using a template, there is a disadvantage that the cut-out part tends to be large and the background to be hidden is easily exposed, and in the latter, only the person is cut out. There is a problem that a sense of incongruity occurs due to the transfer.
Further, inPatent Document 2, the infrared irradiation unit and the infrared light receiving unit are operated, the distance K from the camera to the person is obtained by the infrared reflection time, and the image G5 of the region corresponding to the distance closer to the distance K is obtained by the video processing unit. Is also described that is cut out and transferred to another person's television monitor.
However, even if it is possible to determine the distance K from the camera to the person, the configuration of the video processing unit and the image processing for cutting out the video G5 in the region corresponding to the distance closer to the distance K are disclosed inPatent Document 2. However, nothing is disclosed specifically.
Also, even if the image G5 in the area corresponding to the distance closer than the distance K can be cut out, if the person moves slightly backward, the person itself will stick out of the imaging area. Therefore, there is a possibility that no person is included in the cut out video G5.

一方、ＣＣＤカメラにおけるオートフォーカスを円滑化する際に利用される技術として、ＣＣＤから送られる高周波成分を利用して細密な区画に分割されたＣＣＤの撮像領域の各分割区画毎にカメラと撮像対象との離間距離（被写体距離）を求めるものが特許文献３として公知である。
但し、このものは画像の合焦を目的としたもので、人物と背景の分離や背景の除去あるいはマスキング等の画像処理に利用することを想定したものではない。On the other hand, as a technique used for smoothing autofocus in a CCD camera, a camera and an imaging target for each divided section of the CCD imaging area divided into fine sections using high-frequency components sent from the CCD. Japanese Patent Application Laid-Open No. H10-228561 is known for obtaining a separation distance (subject distance).
However, this is for the purpose of focusing an image, and is not intended to be used for image processing such as separation of a person and background, removal of a background, or masking.

また、背景に発光体を周期パターンで明滅する専用ハードウェアを利用した画像処理によって人物と背景を分離する技術が特許文献４として提案され、人物の上にマスク画像をかぶせて配信するものが特許文献５として開示されているが、前者には専用のハードウェアを必要とする点でコスト上の問題があり、後者の技術には不自然さや違和感が残る。 In addition, a technique for separating a person and a background by image processing using dedicated hardware that blinks a light emitter with a periodic pattern on the background is proposed asPatent Document 4, and a technique for distributing a mask image on a person is disclosed. Although disclosed asdocument 5, the former has a problem in cost in that it requires dedicated hardware, and the latter technique has unnaturalness and uncomfortable feeling.

その他、単純な形状指定を利用したマスキング技術として特許文献６−特許文献８のものが公知であり、一般的な画像合成技術に関しては特許文献９に開示されるもの等が公知である。 In addition, as a masking technique using simple shape designation, those disclosed inPatent Documents 6 to 8 are known, and those disclosed inPatent Document 9 are known as general image composition techniques.

特開２０１０−１３０１２８号広報JP 2010-130128 PR特開平１０−２２４７６０号広報（段落００２０−段落００２５，図１５−図１７）Japanese Laid-Open Patent Publication No. 10-224760 (paragraph 0020-paragraph 0025, FIGS. 15-17)特開平９−２８１３８６号広報（段落００１６，段落００２１−段落００２２）Japanese Laid-Open Patent Publication No. 9-281386 (paragraph 0016, paragraph 0021-paragraph 0022)特開２００７−１５８４４３号広報Japanese Laid-Open Patent Publication No. 2007-158443特開２００２−３６８９７８号広報Japanese Laid-Open Patent Publication No. 2002-368978特開平５−６４１８０号広報JP-A-5-64180特開２０００−２６１６４６号広報JP 2000-261646 A特開２００９−１９４６８７号広報Japanese Unexamined Patent Publication No. 2009-194687特開２０００−２０９４２５号広報Japanese Laid-Open Patent Publication No. 2000-209425

本発明の目的は、外部装置や煩雑な操作を必要とせず、色抜けや背景の露出および違和感を生じることなく正確に背景をマスキングすることができ、かつ、人物が後方に移動したような場合でも確実に人物の画像を配信することのできる画像配信システムおよび画像配信方法と画像配信プログラムを提供することにある。 The object of the present invention is that no external device or complicated operation is required, the background can be accurately masked without causing color loss, exposure of the background, and a sense of incongruity, and the person moves backward However, an object is to provide an image distribution system, an image distribution method, and an image distribution program capable of reliably distributing an image of a person.

本発明の画像配信システムは、Ｗｅｂカメラを利用して人物を撮像し、前記Ｗｅｂカメラに接続されたコンピュータおよび前記コンピュータに接続されたネットワークを介して前記人物の画像を他のコンピュータに配信するようにした画像配信システムであり、前記目的を達成するため、特に、
前記Ｗｅｂカメラの撮像面を形成する撮像領域を細密な区画に分割して各分割区画毎に前記Ｗｅｂカメラと撮像対象との最短離間距離を求める区画別距離データ算出手段と、
前記Ｗｅｂカメラが取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部を特徴点として認識する特徴点認識手段と、
前記特徴点認識手段により特徴点として認識された撮像領域上の位置に対応する前記分割区画の最短離間距離と人体の厚みに相当する値および人物用の撮像空間を撮像深度方向に冗長するための調整値からなる撮像深度の設定値に基いて人物用の撮像空間とする撮像深度方向の最長離間距離を求める最長離間距離算出手段と、
前記最長離間距離算出手段によって求められた最長離間距離と前記分割区画毎の最短離間距離の各々を比較し、最短離間距離が最長離間距離と同等以下である分割区画を人物の撮像領域として規定する一方、最短離間距離が最長離間距離を越える分割区画を背景の撮像領域として規定する撮像領域分割手段と、
前記撮像領域分割手段により背景の撮像領域として規定された全ての分割区画の画像データにマスキングのための画像処理を施すマスキング手段と、
前記撮像領域分割手段により人物の撮像領域として規定された全ての分割区画の画像データと前記マスキング手段により画像処理を施された画像データを合成し、配信用画像データとして前記ネットワークに送出する配信用画像データ出力手段を設けたことを特徴とする構成を有する。The image distribution system of the present invention captures a person using a Web camera, and distributes the image of the person to another computer via a computer connected to the Web camera and a network connected to the computer. In order to achieve the above-mentioned object,
A section-by-section distance data calculation unit that divides an imaging region forming an imaging surface of the Web camera into fine sections and obtains the shortest separation distance between the Web camera and the imaging target for each divided section;
Feature point recognizing means for recognizing at least a part of the front side of the body of a person to be imaged from the image data acquired by the Web camera as a feature point;
A value corresponding to the shortest separation distance andthe thickness of the human body corresponding to the position on the imaging region recognized as a feature point by the feature point recognition unit and ahuman imaging space for redundancy in the imaging depth direction A longest separation distance calculating means for obtaining a longest separation distance in the imaging depth direction as an imaging space for a person based on a setting value of an imaging depth formed of anadjustment value ;
The longest separation distance calculated by the longest separation distance and the shortest separation distance for each of the divided sections are compared, and a divided section whose shortest separation distance is equal to or less than the longest separation distance is defined as an imaging region of a person. On the other hand, an imaging area dividing means for defining a divided section where the shortest separation distance exceeds the longest separation distance as the background imaging area;
Masking means for performing image processing for masking on image data of all divided sections defined as background imaging areas by the imaging area dividing means;
The image data of all the divided sections defined as the person's imaging area by the imaging area dividing unit and the image data subjected to the image processing by the masking unit are combined and sent to the network as distribution image data An image data output means is provided.

また、本発明の画像配信方法は、Ｗｅｂカメラを利用して人物を撮像し、前記Ｗｅｂカメラに接続されたコンピュータおよび前記コンピュータに接続されたネットワークを介して前記人物の画像を他のコンピュータに配信するようにした画像配信方法であり、前記と同様の目的を達成するため、特に、
前記Ｗｅｂカメラの撮像面を形成する撮像領域を細密な区画に分割して各分割区画毎に前記Ｗｅｂカメラと撮像対象との最短離間距離を求め、
前記Ｗｅｂカメラが取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部を特徴点として認識し、
前記特徴点として認識された撮像領域上の位置に対応する前記分割区画の最短離間距離と人体の厚みに相当する値および人物用の撮像空間を撮像深度方向に冗長するための調整値からなる撮像深度の設定値に基いて人物用の撮像空間とする撮像深度方向の最長離間距離を求め、
前記最長離間距離と前記分割区画毎の最短離間距離の各々を比較し、最短離間距離が最長離間距離と同等以下である分割区画を人物の撮像領域として規定する一方、最短離間距離が最長離間距離を越える分割区画を背景の撮像領域として規定し、
背景の撮像領域として規定された全ての分割区画の画像データにマスキングのための画像処理を施し、
人物の撮像領域として規定された全ての分割区画の画像データと前記画像処理を施された画像データを合成し、配信用画像データとして前記ネットワークに送出することを特徴とした構成を有する。The image distribution method according to the present invention images a person using a Web camera, and distributes the image of the person to another computer via a computer connected to the Web camera and a network connected to the computer. In order to achieve the same object as described above,
The imaging area forming the imaging surface of the Web camera is divided into fine sections, and the shortest separation distance between the Web camera and the imaging target is obtained for each divided section,
Recognizing at least a part of the front side of a person's body as an imaging target from image data acquired by the Web camera as a feature point;
Imagingconsisting of a value corresponding to the shortest separation distance of the divided sections andthe thickness of the human body corresponding to the position on the imaging region recognized as the feature point,and an adjustment value for making the imaging space for the person redundant in the imaging depth direction Based on the depth setting value, find the longest separation distance in the imaging depth direction as the imaging space for people,
Comparing each of the longest separation distance and the shortest separation distance for each of the divided sections, and defining a divided section whose shortest separation distance is equal to or less than the longest separation distance as a human imaging region, the shortest separation distance is the longest separation distance. Stipulates the divided area exceeding the
Image processing for masking is applied to the image data of all the divided sections defined as the background imaging area,
It has a configuration characterized in that the image data of all the divided sections defined as the human imaging region and the image data subjected to the image processing are combined and sent to the network as distribution image data.

また、本発明の画像配信プログラムは、Ｗｅｂカメラを利用して人物を撮像し、前記Ｗｅｂカメラに接続されたコンピュータおよび前記コンピュータに接続されたネットワークを介して前記人物の画像を他のコンピュータに配信するようにした画像配信システムに用いる画像配信プログラムであり、前記と同様の目的を達成するため、特に、
前記Ｗｅｂカメラに実装されたマイクロプロセッサを、
前記Ｗｅｂカメラの撮像面を形成する撮像領域を細密な区画に分割して各分割区画毎に前記Ｗｅｂカメラと撮像対象との最短離間距離を求める区画別距離データ算出手段、および、
前記Ｗｅｂカメラで取得された画像データと前記区画別距離データ算出手段で求められた各分割区画毎の最短離間距離を前記Ｗｅｂカメラに接続された前記コンピュータに転送するデータ転送手段として機能させる補助プログラムと、
前記Ｗｅｂカメラに接続されたコンピュータのマイクロプロセッサを、
前記Ｗｅｂカメラが取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部を特徴点として認識する特徴点認識手段、
前記特徴点認識手段により特徴点として認識された撮像領域上の位置に対応する前記分割区画の最短離間距離と人体の厚みに相当する値および人物用の撮像空間を撮像深度方向に冗長するための調整値からなる撮像深度の設定値に基いて人物用の撮像空間とする撮像深度方向の最長離間距離を求める最長離間距離算出手段、
前記最長離間距離算出手段によって求められた最長離間距離と前記分割区画毎の最短離間距離の各々を比較し、最短離間距離が最長離間距離と同等以下である分割区画を人物の撮像領域として規定する一方、最短離間距離が最長離間距離を越える分割区画を背景の撮像領域として規定する撮像領域分割手段、
前記撮像領域分割手段により背景の撮像領域として規定された全ての分割区画の画像データにマスキングのための画像処理を施すマスキング手段、および、
前記撮像領域分割手段により人物の撮像領域として規定された全ての分割区画の画像データと前記マスキング手段により画像処理を施された画像データを合成し、配信用画像データとして前記ネットワークに送出する配信用画像データ出力手段として機能させる主プログラムによって構成されることを特徴とする。The image distribution program of the present invention images a person using a Web camera, and distributes the image of the person to another computer via a computer connected to the Web camera and a network connected to the computer. In order to achieve the same object as described above, an image distribution program used for the image distribution system configured as described above,
A microprocessor mounted on the web camera;
A section-by-section distance data calculation unit that divides an imaging region that forms an imaging surface of the Web camera into fine sections and obtains the shortest separation distance between the Web camera and the imaging target for each divided section; and
Auxiliary program that functions as data transfer means for transferring the image data acquired by the Web camera and the shortest separation distance for each divided section obtained by the section-specific distance data calculation means to the computer connected to the Web camera When,
A microprocessor of a computer connected to the web camera;
Feature point recognizing means for recognizing at least a part of the front side of the body of a person to be imaged from the image data acquired by the Web camera as a feature point;
A value corresponding to the shortest separation distance andthe thickness of the human body corresponding to the position on the imaging region recognized as a feature point by the feature point recognition unit and ahuman imaging space for redundancy in the imaging depth direction A longest separation distance calculating means for obtaining a longest separation distance in the imaging depth direction to be an imaging space for a person based on a setting value of an imaging depthcomposed of an adjustment value ;
The longest separation distance calculated by the longest separation distance and the shortest separation distance for each of the divided sections are compared, and a divided section whose shortest separation distance is equal to or less than the longest separation distance is defined as an imaging region of a person. On the other hand, an imaging area dividing means for defining a divided section where the shortest separation distance exceeds the longest separation distance as a background imaging area;
Masking means for performing image processing for masking on image data of all divided sections defined as background imaging areas by the imaging area dividing means; and
The image data of all the divided sections defined as the person's imaging area by the imaging area dividing unit and the image data subjected to the image processing by the masking unit are combined and sent to the network as distribution image data It is characterized by comprising a main program that functions as image data output means.

本発明の画像配信システムおよび画像配信方法と画像配信プログラムは、撮像領域を細密な区画に分割して各分割区画毎にＷｅｂカメラと撮像対象との最短離間距離を求め、Ｗｅｂカメラが取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部を特徴点として認識し、特徴点として認識された撮像領域上の位置に対応する分割区画の最短離間距離と撮像深度の設定値に基いて人物用の撮像空間とする撮像深度方向の最長離間距離を求め、最長離間距離と分割区画毎の最短離間距離の各々を比較し、最短離間距離が最長離間距離と同等以下である分割区画を人物の撮像領域として規定する一方、最短離間距離が最長離間距離を越える分割区画を背景の撮像領域として規定し、背景の撮像領域として規定された全ての分割区画の画像データにマスキングのための画像処理を施し、人物の撮像領域として規定された全ての分割区画の画像データと画像処理を施された画像データを合成して配信用画像データとするようにしたので、人物の体の前面側の特徴点から更に撮像深度の設定値の分だけ人物用の撮像空間が後方に拡張されることになり、人物が後方に移動したような場合であっても人物の画像を適切に配信し続けることができる。
また、色の情報ではなく撮像深度方向の位置情報に基いて人物と背景を識別するようにしているので、色抜けの発生や手動操作によるマスキング領域の設定の煩わしさもない。
しかも、撮像領域を細密な区画に分割して人物の撮像領域と背景の撮像領域とを分けているので、マスキング領域の選択が大雑把となって除去すべき背景の一部が意図せずに表示されるといった不都合も解消され、格別なハードウェアを必要としないことからコスト面での問題も発生しない。
また、マスキングのための画像処理を施された背景の画像データと人物の画像データを合成して配信用画像データとしているので、背景の抜けによる違和感も発生しない。An image distribution system, an image distribution method, and an image distribution program according to the present invention divide an imaging area into fine sections, obtain a shortest separation distance between the Web camera and the imaging target for each divided section, and acquire an image acquired by the Web camera. Recognize at least a part of the front side of the person's body to be imaged from the data as a feature point, and set values of the shortest separation distance and imaging depth of the divided sections corresponding to the position on the imaging area recognized as the feature point Find the longest separation distance in the imaging depth direction based on the image, and compare the longest separation distance with the shortest separation distance for each division, and the shortest separation distance is equal to or less than the longest separation distance. While defining the section as a person's imaging area, the divided section where the shortest separation distance exceeds the longest separation distance is defined as the background imaging area, and all the divisions defined as the background imaging area The image data for the image is subjected to image processing for masking, and the image data for all the divided sections defined as the person's imaging area and the image data that has been subjected to the image processing are combined to form image data for distribution. As a result, the person's imaging space is expanded backward from the feature point on the front side of the person's body by the setting value of the imaging depth, and even if the person moves backward It is possible to continue to properly distribute human images.
In addition, since the person and the background are identified based on the position information in the imaging depth direction instead of the color information, the occurrence of color loss and the troublesome setting of the masking area by manual operation are eliminated.
In addition, since the imaging area is divided into fine sections and the person's imaging area and the background imaging area are separated, the selection of the masking area becomes rough and a part of the background to be removed is displayed unintentionally. Inconvenience is eliminated, and no special hardware is required, so there is no cost problem.
Further, since the background image data subjected to the image processing for masking and the image data of the person are combined and used as distribution image data, there is no sense of incongruity due to missing background.

一実施形態の画像配信システムの構成例について簡略化して示したブロック図である。It is the block diagram simplified and shown about the structural example of the image delivery system of one Embodiment.同実施形態の画像配信システムから一対のコンピュータとＷｅｂカメラを取り上げて構成の概略を示した機能ブロック図である。FIG. 2 is a functional block diagram showing an outline of a configuration by taking up a pair of computers and a Web camera from the image distribution system of the embodiment.同実施形態の画像配信システムで利用されるＷｅｂカメラの構成について簡略化して示したブロック図である。It is the block diagram which simplified and showed the structure of the Web camera utilized with the image delivery system of the embodiment.同実施形態の画像配信システムで利用されるコンピュータの構成について簡略化して示したブロック図である。It is the block diagram which simplified and showed the structure of the computer utilized with the image delivery system of the embodiment.同実施形態の画像配信プログラムの主要部を構成する主プログラムの構成の概略について示したフローチャートである。It is the flowchart shown about the outline of the structure of the main program which comprises the principal part of the image delivery program of the embodiment.主プログラムの構成の概略について示したフローチャートの続きである。It is the continuation of the flowchart shown about the outline of the structure of the main program.主プログラムの構成の概略について示したフローチャートの続きである。It is the continuation of the flowchart shown about the outline of the structure of the main program.主プログラムの構成の概略について示したフローチャートの続きである。It is the continuation of the flowchart shown about the outline of the structure of the main program.主プログラムの構成の概略について示したフローチャートの続きである。It is the continuation of the flowchart shown about the outline of the structure of the main program.同実施形態の画像配信プログラムの一部を構成する補助プログラムの構成の概略について示したフローチャートである。It is the flowchart shown about the outline of a structure of the auxiliary | assistant program which comprises some image distribution programs of the embodiment.撮像領域となるＣＣＤの分割例を示した概念図である。It is the conceptual diagram which showed the example of a division | segmentation of CCD used as an imaging region.顔のアウトラインの推定例を示した概念図である。It is the conceptual diagram which showed the example of estimation of the outline of a face.画像上において人物の顔が占める大きさの適否を示した概念図で、図１３（ａ）は顔の大きさが過大となって適正範囲を超えた場合の一例、また、図１３（ｂ）は顔の大きさが適正となっている場合の一例である。FIG. 13A is a conceptual diagram showing the suitability of the size of a person's face on the image. FIG. 13A is an example when the size of the face exceeds an appropriate range, and FIG. Is an example when the face size is appropriate.最短離間距離と人体の厚みと調整値と最長離間距離との関係の一例を示した概念図である。It is the conceptual diagram which showed an example of the relationship between the shortest separation distance, the thickness of a human body, an adjustment value, and the longest separation distance.撮像領域分割手段によって分割された撮像領域の一例を示した概念図である。It is the conceptual diagram which showed an example of the imaging area divided | segmented by the imaging area division means.撮像領域を人物と背景に分割して得た画像データの一例について示した概念図で、図１６（ａ）は人物として認識された画像について、また、図１６（ｂ）は背景として認識された画像について示している。FIG. 16A is a conceptual diagram showing an example of image data obtained by dividing an imaging region into a person and a background. FIG. 16A shows an image recognized as a person, and FIG. 16B shows a background. It shows about the image.他の一実施形態の画像配信システムおよび画像配信方法について簡単に示した作用原理図であり、図１７（ａ）は人物の撮像領域の教示操作について、また、図１７（ｂ）は背景の撮像領域をマスキングした状態について示している。FIGS. 17A and 17B are operation principle diagrams simply showing an image distribution system and an image distribution method according to another embodiment. FIG. 17A shows a teaching operation of an imaging region of a person, and FIG. It shows a state where the area is masked.

次に、本発明を実施するための形態について具体例を上げ、図面を参照して詳細に説明する。 Next, a specific example is given about the form for implementing this invention, and it demonstrates in detail with reference to drawings.

図１は本発明を適用した一実施形態の画像配信システムの構成例について簡略化して示したブロック図である。 FIG. 1 is a simplified block diagram showing an example of the configuration of an image distribution system according to an embodiment to which the present invention is applied.

この画像配信システム１は、概略において、ワークステーションやパーソナルコンピュータ等のコンピュータ２と、このコンピュータ２に情報伝達可能に接続されたＷｅｂカメラ３と、Ｗｅｂカメラ３を利用して撮像された人物の画像を他のコンピュータ２に配信する際に利用されるインターネットやＬＡＮ等のネットワーク４によって構成される。
なお、画像の配信元となるコンピュータ２は必ずＷｅｂカメラ３を備える必要があるが、画像の双方向通信を必要としない状況下にあっては、他のコンピュータ２が必ずしもＷｅｂカメラ３を備える必要はない。Theimage distribution system 1 generally includes acomputer 2 such as a workstation or a personal computer, aWeb camera 3 connected to thecomputer 2 so as to be able to transmit information, and an image of a person captured using theWeb camera 3. Is configured by anetwork 4 such as the Internet or a LAN that is used when distributing the content toother computers 2.
Thecomputer 2 serving as the image distribution source is necessarily provided with theWeb camera 3, but theother computer 2 is necessarily provided with theWeb camera 3 in a situation where bidirectional communication of images is not required. There is no.

画像配信システム１の一部を構成する一対のコンピュータ２とＷｅｂカメラ３を取り上げて其の構成の概略を図２の機能ブロック図に示す。 A pair ofcomputers 2 and aWeb camera 3 constituting a part of theimage distribution system 1 are taken up, and an outline of the configuration is shown in a functional block diagram of FIG.

コンピュータ２とＷｅｂカメラ３によって主要部を構成される画像配信システム１は、Ｗｅｂカメラ３の撮像面を形成する撮像領域を細密な区画に分割して各分割区画毎にＷｅｂカメラ３と撮像対象との最短離間距離を求める区画別距離データ算出手段Ａと、Ｗｅｂカメラ３が取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部を特徴点として認識する特徴点認識手段Ｂと、特徴点認識手段Ｂにより特徴点として認識された撮像領域上の位置に対応する分割区画の最短離間距離と撮像深度の設定値Ｄに基いて人物用の撮像空間とする撮像深度方向の最長離間距離を求める最長離間距離算出手段Ｃと、最長離間距離算出手段Ｃによって求められた最長離間距離と区画別距離データ算出手段Ａによって求められた分割区画毎の最短離間距離の各々を比較し、最短離間距離が最長離間距離と同等以下である分割区画を人物の撮像領域として規定する一方、最短離間距離が最長離間距離を越える分割区画を背景の撮像領域として規定する撮像領域分割手段Ｅと、撮像領域分割手段Ｅにより背景の撮像領域として規定された全ての分割区画の画像データにマスキングのための画像処理を施すマスキング手段Ｆと、撮像領域分割手段Ｅにより人物の撮像領域として規定された全ての分割区画の画像データとマスキング手段Ｆにより画像処理を施された画像データを合成し、配信用画像データとしてネットワーク４に送出する配信用画像データ出力手段Ｇを備える。 Animage distribution system 1, which includes acomputer 2 and aWeb camera 3, has a main part divided into an image area that forms an image pickup surface of theWeb camera 3 into fine sections, and theWeb camera 3 and an imaging target for each divided section. Distance data calculation means A for each section for obtaining the shortest separation distance, and feature point recognition means B for recognizing at least a part of the front side of the body of the person to be imaged from the image data acquired by theWeb camera 3 as a feature point And the longest distance in the imaging depth direction as an imaging space for a person based on the shortest separation distance of the divided sections corresponding to the position on the imaging area recognized as the feature point by the feature point recognition unit B and the setting value D of the imaging depth The longest separation distance calculation means C for obtaining the separation distance, the longest separation distance obtained by the longest separation distance calculation means C, and the divided section obtained by the section-specific distance data calculation means A Each of the shortest separation distances is compared, and a divided section whose shortest separation distance is equal to or less than the longest separation distance is defined as a person imaging region, while a divided section whose shortest separation distance exceeds the longest separation distance is imaged in the background. An imaging area dividing means E that is defined as an area, a masking means F that performs image processing for masking on the image data of all the divided sections defined as the background imaging area by the imaging area dividing means E, and an imaging area dividing means The distribution image data output means for synthesizing the image data of all the divided sections defined as the person's imaging area by E and the image data subjected to the image processing by the masking means F and sending them to thenetwork 4 as distribution image data G is provided.

この実施形態では、区画別距離データ算出手段Ａの機能実現手段としてＷｅｂカメラ３に実装されたマイクロプロセッサを利用し、特徴点認識手段Ｂ，最長離間距離算出手段Ｃ，撮像領域分割手段Ｅ，マスキング手段Ｆ，配信用画像データ出力手段Ｇの機能実現手段としてコンピュータ２のマイクロプロセッサを利用することを前提としているが、区画別距離データ算出手段Ａの機能実現手段としてコンピュータ２のマイクロプロセッサを利用してもよい。 In this embodiment, a microprocessor mounted on theWeb camera 3 is used as a function realizing unit of the section-specific distance data calculating unit A, and a feature point recognizing unit B, a longest separation distance calculating unit C, an imaging area dividing unit E, masking. Although it is assumed that the microprocessor of thecomputer 2 is used as the function realization means of the means F and the distribution image data output means G, the microprocessor of thecomputer 2 is used as the function realization means of the distance data calculation means A for each section. May be.

図３は画像配信システム１のＷｅｂカメラ３の構成について簡略化して示したブロック図である。 FIG. 3 is a block diagram showing a simplified configuration of theWeb camera 3 of theimage distribution system 1.

この実施形態のＷｅｂカメラ３は、画像処理等を始めとする各種の演算処理やＷｅｂカメラ３に内蔵されたズーム機構１１の駆動制御に利用されるマイクロプロセッサ５と、マイクロプロセッサ５の制御に必要とされる制御プログラムを格納したＲＯＭ６、および、画像データや演算データ等の一時記憶に利用されるＲＡＭ７や、コンピュータ２と接続するためのインターフェイス８を備える。そして、マイクロプロセッサ５の入出力回路９には、図示しない撮影用レンズや撮像面として機能するＣＣＤを備えたカメラ本体１０と、カメラ本体１０に設けられた撮影レンズの焦点距離を調整するズーム機構１１が接続されている。 TheWeb camera 3 of this embodiment is necessary for various arithmetic processes including image processing and the like, and amicroprocessor 5 used for driving control of thezoom mechanism 11 built in theWeb camera 3 and the control of themicroprocessor 5. AROM 6 that stores a control program, a RAM 7 that is used for temporary storage of image data and calculation data, and aninterface 8 that is connected to thecomputer 2. The input /output circuit 9 of themicroprocessor 5 includes acamera body 10 having a photographing lens (not shown) and a CCD functioning as an imaging surface, and a zoom mechanism for adjusting the focal length of the photographing lens provided in thecamera body 10. 11 is connected.

この実施形態におけるマイクロプロセッサ５は、前述の区画別距離データ算出手段Ａとして機能するほか、カメラ本体１０で取得した画像データと区画別距離データ算出手段Ａで求められた各分割区画毎の最短離間距離を此のＷｅｂカメラ３に接続されたコンピュータ２に転送するためのデータ転送手段としても機能するもので、そのために必要とされる補助プログラムは、前述の演算処理や駆動制御のためのプログラムと共にＲＯＭ６に格納されている。
撮像面を形成するＣＣＤの撮像領域を細密に分割して各分割区画毎にＷｅｂカメラ３と撮像対象との最短離間距離を求める処理に関しては、背景技術の欄でも述べた通り、例えば、特開平９−２８１３８６号広報等で公知である。Themicroprocessor 5 in this embodiment functions not only as the above-mentioned distance data calculation unit A by section, but also by the shortest separation for each divided section obtained by the image data acquired by thecamera body 10 and the distance data calculation unit A by section. It also functions as a data transfer means for transferring the distance to thecomputer 2 connected to theWeb camera 3, and the auxiliary program required for that purpose is together with the above-mentioned arithmetic processing and drive control programs. Stored in theROM 6.
Regarding the processing for obtaining the shortest separation distance between theWeb camera 3 and the imaging target for each divided section by finely dividing the imaging area of the CCD that forms the imaging surface, as described in the background art section, for example, It is well known in the 9-281386 public information.

図４はＷｅｂカメラ３に接続したコンピュータ２の構成について簡略化して示したブロック図である。 FIG. 4 is a simplified block diagram showing the configuration of thecomputer 2 connected to theWeb camera 3.

この実施形態のコンピュータ２は、演算処理用のマイクロプロセッサ１２と、マイクロプロセッサ１２の駆動制御に必要とされる基本的な制御プログラムを格納したＲＯＭ１３、および、各種のパラメータや設定値等の記憶に利用される不揮発性メモリ１４や演算データの一時記憶に利用されるＲＡＭ１５、ならびに、大容量記憶装置として機能するハードディスクドライブ１６や、Ｗｅｂカメラ３を接続するためのインターフェイス１７およびネットワーク４との接続等に利用されるインターフェイス１８を備え、マイクロプロセッサ１２の入出力回路１９には、マン・マシン・インターフェイスとして機能するキーボード２０およびマウス２１とディスプレイ２２が接続されている。
なお、符号２３は非一時的な記録媒体、例えば、ＤＶＤ，ＣＤ，フラッシュメモリ等からプログラムやデータを読み込むためのドライブである。Thecomputer 2 of this embodiment stores amicroprocessor 12 for arithmetic processing, aROM 13 that stores basic control programs necessary for driving control of themicroprocessor 12, and storage of various parameters and setting values.Non-volatile memory 14 used,RAM 15 used for temporary storage of operation data,hard disk drive 16 functioning as a large-capacity storage device,interface 17 for connectingWeb camera 3 andnetwork 4, etc. The input /output circuit 19 of themicroprocessor 12 is connected to akeyboard 20 and amouse 21 that function as a man-machine interface and adisplay 22.
Reference numeral 23 denotes a drive for reading a program or data from a non-temporary recording medium, such as a DVD, CD, flash memory, or the like.

この実施形態におけるマイクロプロセッサ１２は、特徴点認識手段Ｂ，最長離間距離算出手段Ｃ，撮像領域分割手段Ｅ，マスキング手段Ｆ，配信用画像データ出力手段Ｇとして機能するもので、マイクロプロセッサ１２を特徴点認識手段Ｂ，最長離間距離算出手段Ｃ，撮像領域分割手段Ｅ，マスキング手段Ｆ，配信用画像データ出力手段Ｇとして機能させるための主プログラムは予めハードディスクドライブ１６に格納されており、キーボード２０やマウス２１の操作によって画像配信処理の起動が指令された時点でＲＡＭ１５に実行対象プログラムとして読み込まれる。
また、人体の厚みに関わる標準データおよび人物用の撮像空間を撮像深度方向に冗長するための調整値のデフォルト値も主プログラムと共にハードディスクドライブ１６に格納されており、主プログラムと同様にしてＲＡＭ１５に読み込まれる。
人体の厚みに関わる標準データや人物用の撮像空間を撮像深度方向に冗長するための調整値は撮像深度の設定値Ｄの一態様である。
ハードディスクドライブ１６への主プログラムのインストール作業は、主プログラムを記録したＤＶＤ，ＣＤ，フラッシュメモリ等の非一時的な記録媒体とドライブ２３を利用して実施することができる。Themicroprocessor 12 in this embodiment functions as a feature point recognition unit B, a longest separation distance calculation unit C, an imaging area division unit E, a masking unit F, and a distribution image data output unit G. A main program for functioning as point recognition means B, longest separation distance calculation means C, imaging area dividing means E, masking means F, and distribution image data output means G is stored in thehard disk drive 16 in advance. When the activation of the image distribution process is instructed by the operation of themouse 21, it is read into theRAM 15 as an execution target program.
Also, standard data relating to the thickness of the human body and default values of adjustment values for making the imaging space for the person redundant in the imaging depth direction are stored in thehard disk drive 16 together with the main program, and are stored in theRAM 15 in the same manner as the main program. Is read.
The standard data related to the thickness of the human body and the adjustment value for making the imaging space for the person redundant in the imaging depth direction are an aspect of the imaging depth setting value D.
Installation of the main program into thehard disk drive 16 can be performed using a non-temporary recording medium such as a DVD, CD, or flash memory in which the main program is recorded and thedrive 23.

図５〜図９はコンピュータ２のマイクロプロセッサ１２を特徴点認識手段Ｂ，最長離間距離算出手段Ｃ，撮像領域分割手段Ｅ，マスキング手段Ｆ，配信用画像データ出力手段Ｇとして機能させるための主プログラムの構成の概略について示したフローチャート、また、図１０はＷｅｂカメラ３のマイクロプロセッサ５を区画別距離データ算出手段Ａ，データ転送手段として機能させるための補助プログラムの構成の概略について示したフローチャートである。 5 to 9 show main programs for causing themicroprocessor 12 of thecomputer 2 to function as the feature point recognition means B, the longest separation distance calculation means C, the imaging area dividing means E, the masking means F, and the distribution image data output means G. FIG. 10 is a flowchart showing an outline of the configuration of an auxiliary program for causing themicroprocessor 5 of theWeb camera 3 to function as the section-specific distance data calculation means A and the data transfer means. .

次に、区画別距離データ算出手段Ａおよびデータ転送手段として機能するマイクロプロセッサ５の処理動作と特徴点認識手段Ｂ，最長離間距離算出手段Ｃ，撮像領域分割手段Ｅ，マスキング手段Ｆ，配信用画像データ出力手段Ｇとして機能するマイクロプロセッサ１２の処理動作、および、画像配信システム１の全体的な動作と、本実施形態における画像配信方法について図５〜図１０のフローチャートならびに図１１〜図１６の作用原理図を参照して具体的に説明する。 Next, the processing operation and feature point recognition means B, the longest separation distance calculation means C, the imaging area dividing means E, the masking means F, the distribution image, and the processing operation of themicroprocessor 5 functioning as the section-specific distance data calculation means A and data transfer means. The processing operation of themicroprocessor 12 functioning as the data output means G, the overall operation of theimage distribution system 1, and the image distribution method in the present embodiment, the flowcharts of FIGS. 5 to 10 and the operations of FIGS. This will be specifically described with reference to the principle diagram.

ここでは動画を配信する場合を例にとって説明するが、配信する画像を静止画像とすることも可能である。 Here, a case where a moving image is distributed will be described as an example, but an image to be distributed may be a still image.

まず、画像の配信元となるコンピュータ２のユーザが、Ｗｅｂカメラ３を設置したコンピュータ２の前に着座し、キーボード２０もしくはマウス２１を操作して画像配信処理の起動を指令すると、主プログラムがハードディスクドライブ１６からＲＡＭ１５に実行対象プログラムとして読み込まれ、図５に示されるような画像配信処理が開始される。 First, when the user of thecomputer 2 serving as an image distribution source sits in front of thecomputer 2 on which theWeb camera 3 is installed and operates thekeyboard 20 or themouse 21 to instruct the start of image distribution processing, the main program loads the hard disk. The program is read from thedrive 16 into theRAM 15 as an execution target program, and image distribution processing as shown in FIG. 5 is started.

画像配信処理を開始したコンピュータ２のマイクロプロセッサ１２は、まず、インターフェイス１７を介してＷｅｂカメラ３に画像取込指令を送出し（図５のステップＳ１）、Ｗｅｂカメラ３から画像データや各分割区画毎の最短離間距離のデータが送信されるのを待つ待機状態に入る（ステップＳ２）。 Themicroprocessor 12 of thecomputer 2 that has started the image distribution process first sends an image capture command to theWeb camera 3 via the interface 17 (step S1 in FIG. 5), and the image data and each divided section are transmitted from theWeb camera 3. A standby state is entered in which data for the shortest separation distance is transmitted for each time (step S2).

そして、コンピュータ２から送出された画像取込指令をインターフェイス８を経由して受け取ったＷｅｂカメラ３のマイクロプロセッサ５が画像取込指令の入力を検知し（図１０のステップＴ１）、カメラ本体１０を作動させて撮像面として機能するＣＣＤに結像した画像を数値化して画像データとして取り込み、この画像データを画像処理用のフレームメモリとして機能するＲＡＭ７に一時記憶する（ステップＴ２）。 Then, themicroprocessor 5 of theWeb camera 3 that has received the image capture command sent from thecomputer 2 via theinterface 8 detects the input of the image capture command (step T1 in FIG. 10), and thecamera body 10 is controlled. The image formed on the CCD functioning as an imaging surface is digitized and captured as image data, and this image data is temporarily stored in the RAM 7 functioning as a frame memory for image processing (step T2).

次いで、区画別距離データ算出手段Ａとして機能するＷｅｂカメラ３のマイクロプロセッサ５が、画像処理用のフレームメモリとして機能するＲＡＭ７の画像データを参照し、ＣＣＤの撮像領域を細密な区画に論理的に分割する（ステップＴ３）。
図１１は撮像領域となるＣＣＤやフレームメモリとして機能するＲＡＭ７における画素や画像データの論理的な分割例を示した概念図である。
この実施形態では、多数の撮像素子を集合して全体として矩形状に形成されたＣＣＤをｉ行ｊ列、例えば、１００行×１００列程度に分割している。ＣＣＤを構成する撮像素子の単体の画素面積はｉ行ｊ列に分割された（ｉ，ｊ）スポット１つ分の分割区画の面積よりも小さく、１つの（ｉ，ｊ）スポットには複数の撮像素子や複数の画像データが含まれている。
なお、図１１中での符号Ｈは撮像の対象とされた人物を示し、また、符号Ｉは其の人物の背景を示している。ここでは仮に（ｉ，ｊ）スポット１つ分の分割区画にｋ個の撮像素子や画像データが含まれているものとする。Next, themicroprocessor 5 of theWeb camera 3 that functions as the section-by-section distance data calculation means A refers to the image data in the RAM 7 that functions as a frame memory for image processing, and the CCD imaging area is logically divided into fine sections. Divide (step T3).
FIG. 11 is a conceptual diagram showing an example of logical division of pixels and image data in a CCD serving as an imaging region and a RAM 7 functioning as a frame memory.
In this embodiment, a CCD that is formed in a rectangular shape as a whole by assembling a large number of image sensors is divided into i rows and j columns, for example, about 100 rows × 100 columns. The single pixel area of the image sensor constituting the CCD is smaller than the area of one (i, j) spot divided into i rows and j columns, and one (i, j) spot has a plurality of pixel areas. An image sensor and a plurality of image data are included.
In addition, the code | symbol H in FIG. 11 shows the person used as the object of imaging, and the code | symbol I has shown the background of the person. Here, it is assumed that k image sensors and image data are included in a divided section for one (i, j) spot.

次いで、区画別距離データ算出手段Ａとして機能するＷｅｂカメラ３のマイクロプロセッサ５は、（ｉ，ｊ）スポットの各分割区画毎にＷｅｂカメラ３と撮像対象との最短離間距離を求める（ステップＴ４）。
細密に分割された分割区画毎にＷｅｂカメラ３と撮像対象との最短離間距離を求めるための処理に関しては既に述べた通りに公知であるので、ここでは特に説明しない。
この実施形態においては、特に、各画素つまり各画像データ毎にＷｅｂカメラ３と撮像対象との離間距離を求めた上で、各分割区画に含まれるｋ個の画像データに対応した離間距離の中から最小の値を求め、この値を当該分割区画毎に対応する最短離間距離の値として採用している。Next, themicroprocessor 5 of theWeb camera 3 that functions as the section-by-section distance data calculation unit A obtains the shortest separation distance between theWeb camera 3 and the imaging target for each divided section of the (i, j) spot (step T4). .
Since the processing for obtaining the shortest separation distance between theWeb camera 3 and the imaging target for each of the finely divided divisions is known as described above, it is not particularly described here.
In this embodiment, in particular, after obtaining the separation distance between theWeb camera 3 and the imaging target for each pixel, that is, for each image data, among the separation distances corresponding to the k pieces of image data included in each divided section. The minimum value is obtained from this, and this value is adopted as the value of the shortest separation distance corresponding to each divided section.

次いで、Ｗｅｂカメラ３のデータ転送手段として機能するマイクロプロセッサ５が、これらの画像データや各分割区画毎の最短離間距離のデータをインターフェイス８を介してコンピュータ２に転送する（ステップＴ５）。 Next, themicroprocessor 5 functioning as data transfer means of theWeb camera 3 transfers these image data and data of the shortest separation distance for each divided section to thecomputer 2 via the interface 8 (step T5).

そして、Ｗｅｂカメラ３から送出された画像データや各分割区画毎の最短離間距離のデータをインターフェイス１７を経由して受け取ったコンピュータ２のマイクロプロセッサ１２が此れらのデータの入力を検知し（図５のステップＳ２）、これらのデータを読み込んでＲＡＭ１５に一時記憶する（ステップＳ３）。
具体的には、各画素毎の画像データは初期の画像データを記憶するフレームメモリとして機能するＲＡＭ１５の記憶領域に配列状に記憶され、また、最短離間距離のデータも此れと同様にＲＡＭ１５のデータ記憶領域に生成されたデータ記憶テーブルに配列状に記憶される。この場合、初期の画像データを記憶するフレームメモリとデータ記憶テーブルは論理的に相似の関係にあるが、各分割区画がｋ個の画像データを含むことから、初期の画像データを記憶するフレームメモリの記憶容量に比べて最短離間距離のデータを記憶するデータ記憶テーブルの記憶容量は小さい。Themicroprocessor 12 of thecomputer 2 that has received the image data sent from theWeb camera 3 and the data of the shortest separation distance for each divided section via theinterface 17 detects the input of these data (see FIG. Step S2 of 5), these data are read and temporarily stored in the RAM 15 (Step S3).
Specifically, the image data for each pixel is stored in an array in the storage area of theRAM 15 functioning as a frame memory for storing the initial image data, and the data of the shortest separation distance is also stored in theRAM 15 in the same manner. The data storage table generated in the data storage area stores the data in an array. In this case, the frame memory for storing the initial image data and the data storage table are logically similar, but each divided section includes k image data, so that the frame memory for storing the initial image data is stored. The storage capacity of the data storage table that stores the data of the shortest separation distance is smaller than the storage capacity.

次いで、特徴点認識手段Ｂとして機能するコンピュータ２のマイクロプロセッサ１２が、初期の画像データを記憶するフレームメモリとして機能するＲＡＭ１５の記憶領域を参照し、撮像対象とされた人物の体の前面側の一部つまり此の実施形態にあっては目，鼻，口といった顔の構成要素を特徴点として認識し、更に、このマイクロプロセッサ１２が、目，鼻，口といった顔の構成要素の並びや構成要素間の離間距離に基いて、画像上での人物の顔の大きさを推定する（ステップＳ４）。
特徴点として目，鼻，口を利用した場合の画像上での顔の大きさの推定例を図１２の概念図に示す。この処理は例えば目，鼻，口といった構成要素間の離間距離に比例した半径で目，鼻，口の図心の位置から円形状の領域Ｓを規定して顔の大きさとすること等により数値的に容易に処理できる。Next, themicroprocessor 12 of thecomputer 2 functioning as the feature point recognizing means B refers to the storage area of theRAM 15 functioning as a frame memory for storing initial image data. In other words, in this embodiment, facial components such as eyes, nose and mouth are recognized as feature points, and themicroprocessor 12 further arranges and configures facial components such as eyes, nose and mouth. Based on the distance between the elements, the size of the person's face on the image is estimated (step S4).
An example of estimating the size of a face on an image when eyes, nose, and mouth are used as feature points is shown in the conceptual diagram of FIG. This processing is performed by, for example, defining a circular region S from the position of the centroid of the eyes, nose, and mouth and setting the size of the face with a radius proportional to the separation distance between the components such as the eyes, nose, and mouth. Can be processed easily.

次いで、コンピュータ２のマイクロプロセッサ１２は、ステップＳ４の処理で推定された画像上での顔の大きさが適正範囲の大きさであるか否かを判定する（ステップＳ５）。
図１３（ａ）に顔の大きさが過大となって適正範囲を超えた場合の一例を示し、また、図１３（ｂ）には顔の大きさが適正となっている場合の一例を示す。
なお、図１３（ａ）および図１３（ｂ）に示す破線状の矩形枠は理想的とされる顔の大きさを概念的に示したものに過ぎない。実際には、領域Ｓの半径の大小等により顔の大きさが過大であるのか適正範囲にあるのか過小であるのかを数値的に容易に判定することができる。Next, themicroprocessor 12 of thecomputer 2 determines whether or not the size of the face on the image estimated in the process of step S4 is within the appropriate range (step S5).
FIG. 13A shows an example when the face size is excessive and exceeds the appropriate range, and FIG. 13B shows an example when the face size is appropriate. .
Note that the broken-line rectangular frame shown in FIGS. 13A and 13B is merely a conceptual representation of an ideal face size. Actually, it can be easily numerically determined whether the size of the face is excessively large, within an appropriate range, or excessively based on the size of the radius of the region S or the like.

ここで、ステップＳ５の判定結果が偽となった場合、つまり、画像上での人物の顔の大きさが不適当であると判定された場合には、コンピュータ２のマイクロプロセッサ１２が、インターフェイス１７を介してＷｅｂカメラ３にズーミング指令を送出する（ステップＳ６）。
当然、顔の大きさが過大と判定された場合のズーミング指令はズームアウト指令、また、顔の大きさが過小と判定された場合のズーミング指令はズームイン指令である。If the determination result in step S5 is false, that is, if it is determined that the size of the person's face on the image is inappropriate, themicroprocessor 12 of thecomputer 2 uses theinterface 17. Then, a zooming command is sent to the Web camera 3 (step S6).
Naturally, the zooming command when the face size is determined to be excessive is a zoom-out command, and the zooming command when the face size is determined to be too small is a zoom-in command.

次いで、コンピュータ２から送出されたズーミング指令をインターフェイス８を経由して受け取ったＷｅｂカメラ３のマイクロプロセッサ５がズーミング指令の入力を検知し（図１０のステップＴ６）、ズーミング指令の方向性つまりズームアウト指令かズームイン指令かの種別に応じてズーム機構１１を作動させ、カメラ本体１０に設けられた撮影レンズの焦点距離を調整する（ステップＴ７）。 Next, themicroprocessor 5 of theWeb camera 3 that has received the zooming command sent from thecomputer 2 via theinterface 8 detects the input of the zooming command (step T6 in FIG. 10), and the direction of the zooming command, that is, zoom out. Thezoom mechanism 11 is operated according to the type of the command or the zoom-in command, and the focal length of the photographing lens provided in thecamera body 10 is adjusted (step T7).

その後、コンピュータ２のマイクロプロセッサ１２は、改めて図５のステップＳ１〜Ｓ４の処理を繰り返し実行して前記と同様にＷｅｂカメラ３から画像データや各分割区画毎の最短離間距離のデータを取得し、顔の大きさが適正範囲の大きさであるか否かを判定する（ステップＳ５）。 Thereafter, themicroprocessor 12 of thecomputer 2 repeats the processing of steps S1 to S4 in FIG. 5 again to acquire the image data and the data of the shortest separation distance for each divided section from theWeb camera 3 as described above. It is determined whether or not the size of the face is within the appropriate range (step S5).

画像上での人物の顔の大きさが不適当であると判定された場合には、コンピュータ２のマイクロプロセッサ１２が再びＷｅｂカメラ３にズーミング指令を送出し（ステップＳ６）、Ｗｅｂカメラ３側の処理操作によって撮影レンズの焦点距離を調整させる（図１０のステップＴ６〜ステップＴ７）。 If it is determined that the size of the person's face on the image is inappropriate, themicroprocessor 12 of thecomputer 2 sends a zooming command to theWeb camera 3 again (step S6), and theWeb camera 3 side The focal length of the photographic lens is adjusted by the processing operation (step T6 to step T7 in FIG. 10).

そして、最終的に画像上での人物の顔の大きさが適正化され、ステップＳ５の判定が真となると、最長離間距離算出手段Ｃとして機能するコンピュータ２のマイクロプロセッサ１２が、特徴点認識手段Ｂにより特徴点として認識された撮像領域上の位置を更に具体的に特定し、この位置を含む分割区画に対応する最短離間距離のデータをＲＡＭ１５のデータ記憶テーブルから読み出して、その値を最短離間距離記憶レジスタＲ（ｚ１）に一時記憶させる（ステップＳ７）。
この実施形態にあっては特徴点として目，鼻，口を利用しているので、目，鼻，口の図心の位置を求めて特徴点の位置を具体的に１つの値に特定し、此の特徴点を含む分割区画に対応した最短離間距離をＲＡＭ１５のデータ記憶テーブルから読み出して最短離間距離記憶レジスタＲ（ｚ１）に一時記憶させることになる。なお、目，鼻，口の図心の位置を求める代わりに目，鼻，口の何れかを代表的な特徴点とし、これに対応する分割区画の最短離間距離を最短離間距離記憶レジスタＲ（ｚ１）に一時記憶させるようにしてもよい。
従って、例えば、図１１に示される（ｉ_ｘ，ｊ_ｙ）スポットの分割区画内にあるｋ個の撮像素子や画像データのうちの１つが特徴点に相当するものであったとすれば、ＲＡＭ１５のデータ記憶テーブル中において（ｉ_ｘ，ｊ_ｙ）スポットに対応して記憶されている最短離間距離の値が最短離間距離記憶レジスタＲ（ｚ１）に記憶されることになる。When the size of the person's face on the image is finally optimized and the determination in step S5 is true, themicroprocessor 12 of thecomputer 2 functioning as the longest separation distance calculation means C uses the feature point recognition means. The position on the imaging area recognized as the feature point by B is more specifically specified, the data of the shortest separation distance corresponding to the divided section including this position is read from the data storage table of theRAM 15, and the value is set to the shortest separation distance. Temporary storage is performed in the distance storage register R (z1) (step S7).
In this embodiment, since the eyes, nose, and mouth are used as feature points, the positions of the centroids of the eyes, nose, and mouth are determined, and the position of the feature point is specifically specified as one value. The shortest separation distance corresponding to the divided section including this feature point is read from the data storage table of theRAM 15 and temporarily stored in the shortest separation distance storage register R (z1). Instead of obtaining the positions of the centroids of the eyes, nose, and mouth, one of the eyes, nose, and mouth is used as a representative feature point, and the shortest separation distance of the corresponding divided section is stored in the shortest separation distance storage register R ( z1) may be temporarily stored.
Therefore, for example, if one of the k image sensors and image data in the (i_x , j_y ) spot divided section shown in FIG. The value of the shortest separation distance stored in correspondence with the (i_x , j_y ) spot in the data storage table is stored in the shortest separation distance storage register R (z1).

次いで、最長離間距離算出手段Ｃとして機能するコンピュータ２のマイクロプロセッサ１２は、人体の厚みに関わる標準データをＲＡＭ１５から読み込んで標準厚記憶レジスタＲ（ｚ２）に一時記憶し（ステップＳ８）、更に、人物用の撮像空間を撮像深度方向に冗長するための調整値のデフォルト値をＲＡＭ１５から読み込んでマージン記憶レジスタＲ（ｚ３）に一時記憶し（ステップＳ９）、これらの３つの値を加算した値を、人物用の撮像空間とする撮像深度方向の最長離間距離として最長離間距離記憶レジスタＲ（ｚ０）に記憶させる（ステップＳ１０）。
既に述べた通り、人体の厚みに関わる標準データｚ１や人物用の撮像空間を撮像深度方向に冗長するための調整値のデフォルト値ｚ２は何れも撮像深度を調整するための設定値Ｄの一態様である。Next, themicroprocessor 12 of thecomputer 2 functioning as the longest separation distance calculation means C reads standard data relating to the thickness of the human body from theRAM 15 and temporarily stores it in the standard thickness storage register R (z2) (step S8). A default value of an adjustment value for making the human imaging space redundant in the imaging depth direction is read from theRAM 15 and temporarily stored in the margin storage register R (z3) (step S9), and a value obtained by adding these three values is obtained. Then, the longest separation distance storage register R (z0) is stored as the longest separation distance in the imaging depth direction as an imaging space for a person (step S10).
As already described, the standard data z1 related to the thickness of the human body and the default value z2 of the adjustment value for making the imaging space for the person redundant in the imaging depth direction are both aspects of the setting value D for adjusting the imaging depth. It is.

最短離間距離ｚ１，人体の厚みに関わる標準データｚ２，人物用の撮像空間を撮像深度方向に冗長するための調整値のデフォルト値ｚ３および撮像深度方向の最長離間距離ｚ０の関係を図１４の概念図に示す。なお、図１４中では人物を符号Ｈ’，その頭部をＳ’，背景相当部分をＩ’の符号によって示している。
最短離間距離ｚ１は人物Ｈ’の体の前面側の部位つまり此の実施形態にあっては目，鼻，口を特徴点として求められる値であるから人物Ｈ’の最前面に相当する距離であり、また、人体Ｈ’の厚みに関わる標準データｚ２は図１４に示される通り人物Ｈ’の厚みの最大値に相当する値である。従って、基本的には、Ｗｅｂカメラ３からの深度方向の距離がｚ１＋ｚ２以下となる範囲の画像データを人物Ｈ’の画像データとして定義すればよいことになる。しかし、そうした場合には、人物Ｈ’が僅かに後方に倒れ込むようにして移動しただけでも人物Ｈ’の一部が人物用の撮像空間つまり図１４中に示されるラインＬ１から外側に食み出してしまい、人物Ｈ’の一部として認識されなくなる恐れがある。
よって、この実施形態にあっては、更に、人物用の撮像空間を撮像深度方向に冗長するための調整値ｚ３をマージンとして利用し、Ｗｅｂカメラ３からの深度方向の距離がｚ１＋ｚ２＋ｚ３＝ｚ０以下となる範囲を人物用の撮像空間として認識するようにしている。The relationship between the shortest separation distance z1, the standard data z2 related to the thickness of the human body, the default value z3 of the adjustment value for making the person's imaging space redundant in the imaging depth direction, and the longest separation distance z0 in the imaging depth direction is the concept of FIG. Shown in the figure. In FIG. 14, a person is indicated by a symbol H ′, a head thereof is indicated by S ′, and a background equivalent portion is indicated by a symbol I ′.
The shortest separation distance z1 is a value corresponding to the front side portion of the body of the person H ′, that is, in this embodiment, with the eyes, nose, and mouth as characteristic points. In addition, the standard data z2 related to the thickness of the human body H ′ is a value corresponding to the maximum value of the thickness of the human H ′ as shown in FIG. Therefore, basically, image data in a range in which the distance in the depth direction from theWeb camera 3 is equal to or less than z1 + z2 may be defined as the image data of the person H ′. However, in such a case, even if the person H ′ moves so as to fall slightly backward, a part of the person H ′ protrudes outward from the imaging space for the person, that is, the line L1 shown in FIG. Therefore, there is a risk that it will not be recognized as a part of the person H ′.
Therefore, in this embodiment, the adjustment value z3 for making the human imaging space redundant in the imaging depth direction is used as a margin, and the distance in the depth direction from theWeb camera 3 is z1 + z2 + z3 = z0 or less. This range is recognized as a human imaging space.

次いで、撮像領域分割手段Ｅとして機能するコンピュータ２のマイクロプロセッサ１２は、テーブル行検索指標ｉの値とテーブル列検索指標ｊの値を一旦０に初期化し（ステップＳ１１，ステップＳ１２）、改めてテーブル行検索指標ｉの値を１インクリメントした後（ステップＳ１３）、テーブル行検索指標ｉの現在値がデータ記憶テーブルの行数の最大値ｍを越えているか否かを判定する（ステップＳ１４）。
なお、矩形状に形成されたＣＣＤを１００行×１００列に分割した場合ではｍの値は１００である。Next, themicroprocessor 12 of thecomputer 2 functioning as the imaging area dividing means E once initializes the value of the table row search index i and the value of the table column search index j to 0 (steps S11 and S12), and again sets the table row. After incrementing the value of the search index i by 1 (step S13), it is determined whether or not the current value of the table row search index i exceeds the maximum value m of the number of rows in the data storage table (step S14).
Note that the value of m is 100 when the rectangular CCD is divided into 100 rows × 100 columns.

ここで、テーブル行検索指標ｉの現在値がデータ記憶テーブルの行数の最大値ｍを越えておらずステップＳ１４の判定結果が偽となった場合には、撮像領域分割手段Ｅとして機能するコンピュータ２のマイクロプロセッサ１２は、更に、テーブル列検索指標ｊの値を改めて１インクリメントし（ステップＳ１５）、テーブル列検索指標ｊの現在値がデータ記憶テーブルの列数の最大値ｎを越えているか否かを判定する（ステップＳ１６）。
なお、矩形状に形成されたＣＣＤを１００行×１００列に分割した場合ではｎの値は１００である。Here, if the current value of the table row search index i does not exceed the maximum value m of the number of rows in the data storage table and the determination result in step S14 is false, the computer functioning as the imaging region dividing means E Thesecond microprocessor 12 further increments the value of the table column search index j by 1 (step S15), and whether or not the current value of the table column search index j exceeds the maximum value n of the number of columns in the data storage table. Is determined (step S16).
Note that the value of n is 100 when the rectangular CCD is divided into 100 rows × 100 columns.

テーブル列検索指標ｊの現在値がデータ記憶テーブルの列数の最大値ｎを越えておらずステップＳ１６の判定結果が偽となった場合には、撮像領域分割手段Ｅとして機能するコンピュータ２のマイクロプロセッサ１２は、テーブル行検索指標ｉの現在値とテーブル列検索指標ｊの現在値とに基いてデータ記憶テーブルから（ｉ，ｊ）スポットの分割区画に対応する最短離間距ｚ（ｉ，ｊ）の値を読み込み（ステップＳ１７）、最長離間距離算出手段Ｃが最長離間距離記憶レジスタＲ（ｚ０）に記憶させた最長離間距離ｚ０と区画別距離データ算出手段Ａによる処理結果としてデータ記憶テーブルに記憶された最短離間距ｚ（ｉ，ｊ）との大小関係を比較する（ステップＳ１８）。 If the current value of the table column search index j does not exceed the maximum value n of the number of columns in the data storage table and the determination result in step S16 is false, the micro of thecomputer 2 functioning as the imaging region dividing means E Based on the current value of the table row search index i and the current value of the table column search index j, theprocessor 12 determines from the data storage table the shortest separation distance z (i, j) corresponding to the (i, j) spot divided section. (Step S17), and the longest separation distance calculation means C stores the longest separation distance z0 stored in the longest separation distance storage register R (z0) and the processing result by the section distance data calculation means A in the data storage table. The magnitude relation with the shortest separation distance z (i, j) is compared (step S18).

そして、最短離間距離ｚ（ｉ，ｊ）の値が最長離間距離ｚ０の値と同等以下であってステップＳ１８の判定結果が真となった場合には、撮像領域分割手段Ｅとして機能するコンピュータ２のマイクロプロセッサ１２は、最短離間距離ｚ（ｉ，ｊ）の現在値に代えて（ｉ，ｊ）スポットの分割区画が人物の撮像領域であることを規定するフラグの値０をデータ記憶テーブルの（ｉ，ｊ）スポットにセットする（ステップＳ１９）。 When the value of the shortest separation distance z (i, j) is equal to or less than the value of the longest separation distance z0 and the determination result in step S18 is true, thecomputer 2 functioning as the imaging region dividing means E In the data storage table, themicroprocessor 12 of the data storage table sets aflag value 0 which specifies that the divided section of the (i, j) spot is a person's imaging area instead of the current value of the shortest separation distance z (i, j). (I, j) Set to a spot (step S19).

一方、最短離間距離ｚ（ｉ，ｊ）の値が最長離間距離ｚ０の値を越えてステップＳ１８の判定結果が偽となった場合には、撮像領域分割手段Ｅとして機能するコンピュータ２のマイクロプロセッサ１２は、最短離間距離ｚ（ｉ，ｊ）の現在値に代えて（ｉ，ｊ）スポットの分割区画が背景の撮像領域であることを規定するフラグの値１をデータ記憶テーブルの（ｉ，ｊ）スポットにセットする（ステップＳ２０）。 On the other hand, if the value of the shortest separation distance z (i, j) exceeds the value of the longest separation distance z0 and the determination result in step S18 is false, the microprocessor of thecomputer 2 functioning as the imaging region dividing meansE 12, instead of the current value of the shortest separation distance z (i, j), thevalue 1 of the flag that specifies that the divided section of the (i, j) spot is the background imaging region is set to (i, j j) Set to a spot (step S20).

以下、撮像領域分割手段Ｅとして機能するコンピュータ２のマイクロプロセッサ１２は、テーブル列検索指標ｊの値を逐次１インクリメントして前記と同様にステップＳ１６〜ステップＳ２０の処理を繰り返すことで、データ記憶テーブルの第ｉ行を構成する全てのスポットにフラグの値０または１を記憶させる。 Thereafter, themicroprocessor 12 of thecomputer 2 functioning as the imaging area dividing means E sequentially increments the value of the table column search index j by 1 and repeats the processing from step S16 to step S20 in the same manner as described above, whereby the data storage table. Flag values 0 or 1 are stored in all spots constituting the i-th row.

そして、テーブル列検索指標ｊの値がｎを超えてステップＳ１６の判定結果が真となる度に、撮像領域分割手段Ｅとして機能するコンピュータ２のマイクロプロセッサ１２は、テーブル列検索指標ｊの値を改めて０に初期化してテーブル行検索指標ｉの値を１インクリメントし（ステップＳ１２，ステップＳ１３）、更新されたテーブル行検索指標ｉの現在値に基いて前記と同様にしてステップＳ１４〜ステップＳ２０の処理を繰り返す。 Then, every time the value of the table column search index j exceeds n and the determination result in step S16 becomes true, themicroprocessor 12 of thecomputer 2 functioning as the imaging area dividing unit E sets the value of the table column search index j. The value of the table row search index i is again incremented by 1 and incremented by 1 (steps S12 and S13). Based on the updated current value of the table row search index i, steps S14 to S20 are performed in the same manner as described above. Repeat the process.

そして、最終的に、テーブル列検索指標ｊの現在値がデータ記憶テーブルの列数の最大値ｎを超過してｎ＋１となり、かつ、テーブル行検索指標ｉの現在値がデータ記憶テーブルの行数の最大値ｍを超過してｍ＋１とった時点、要するに、ステップＳ１４の判定結果が真となった時点で、データ記憶テーブルの（１，１）スポット〜（ｍ，ｎ）スポットの全てにフラグの値０または１が記憶されることになる。 Finally, the current value of the table column search index j exceeds the maximum value n of the number of columns in the data storage table and becomes n + 1, and the current value of the table row search index i is the number of rows in the data storage table. When the maximum value m is exceeded and set to m + 1, in other words, when the determination result in step S14 becomes true, the flag values are set for all the (1, 1) spot to (m, n) spot in the data storage table. 0 or 1 will be stored.

撮像領域分割手段Ｅによって実行されるステップＳ１１〜ステップＳ２０の処理結果の一例を図１５の概念図に示す。
図１５中で白抜きで描画された部分がフラグの値として０をセットされたスポットに相当する分割区画つまり人物の撮像領域として規定された分割区画であり、また、図１５中にグレーで描画される部分がフラグの値として１をセットされたスポットに相当する分割区画すなわち背景の撮像領域として規定された分割区画である。An example of the processing results of steps S11 to S20 executed by the imaging region dividing means E is shown in the conceptual diagram of FIG.
In FIG. 15, the part drawn in white is a divided section corresponding to a spot in which 0 is set as the flag value, that is, a divided section defined as a person's imaging area, and is drawn in gray in FIG. The portion to be processed is a divided section corresponding to a spot in which 1 is set as a flag value, that is, a divided section defined as a background imaging region.

次いで、コンピュータ２のマイクロプロセッサ１２は、フラグの値として０をセットされたスポットに相当する分割区画に含まれる全ての画像データを初期の画像データを記憶するフレームメモリとして機能するＲＡＭ１５の記憶領域から人物専用のフレームメモリとして機能するＲＡＭ１５の記憶領域にコピーし（ステップＳ２１）、フラグの値として１をセットされたスポットに相当する分割区画に含まれる全ての画像データを初期の画像データを記憶するフレームメモリとして機能するＲＡＭ１５の記憶領域から背景専用のフレームメモリとして機能するＲＡＭ１５の記憶領域にコピーする（ステップＳ２２）。 Next, themicroprocessor 12 of thecomputer 2 starts from the storage area of theRAM 15 functioning as a frame memory for storing initial image data, including all image data included in the divided sections corresponding to the spots set with 0 as the flag value. Copy to the storage area of theRAM 15 functioning as a person-dedicated frame memory (step S21), and store the initial image data of all the image data included in the divided section corresponding to the spot set to 1 as the flag value. Copying is performed from the storage area of theRAM 15 functioning as a frame memory to the storage area of theRAM 15 functioning as a frame memory dedicated to the background (step S22).

人物専用のフレームメモリとして機能するＲＡＭ１５の記憶領域にコピーされた画像データの一例を図１６（ａ）に、また、背景専用のフレームメモリとして機能するＲＡＭ１５の記憶領域にコピーされた画像データの一例を図１６（ｂ）に示す。
図１６（ａ）中で白抜きで描画された部分が人物として認識された画像データの集合であり、グレーで表示された部分は実質的な画像データが存在しない部分である。また、図１６（ｂ）中でグレーで描画された背景として認識された画像データの集合であり、白抜きで表示された部分は実質的な画像データが存在しない部分である。
なお、図１６（ａ）および図１６（ｂ）においては分割区画は記載していない。An example of image data copied to the storage area of theRAM 15 functioning as a person-dedicated frame memory is shown in FIG. 16A, and an example of image data copied to the storage area of theRAM 15 functioning as a frame memory dedicated to backgrounds. Is shown in FIG.
In FIG. 16 (a), the part drawn in white is a set of image data recognized as a person, and the part displayed in gray is a part where there is no substantial image data. Further, FIG. 16B shows a set of image data recognized as a background drawn in gray, and a portion displayed in white is a portion where no substantial image data exists.
In FIG. 16 (a) and FIG. 16 (b), the divided sections are not shown.

次いで、マスキング手段Ｆとして機能するコンピュータ２のマイクロプロセッサ１２が、背景専用のフレームメモリとして機能するＲＡＭ１５の記憶領域に記憶された画像データの全て、つまり、撮像領域分割手段Ｅにより背景の撮像領域として規定された全ての分割区画の画像データ（図１６（ｂ）参照）に対してマスキングのための画像処理を施す（ステップＳ２３）。
マスキングのための画像処理は、隠すべき背景となるカレンダーへの書き込みや蔵書の背表紙のタイトル，飾られた賞状等の文字，装飾品や家財道具等を必要な範囲で隠蔽することが可能であればどのようなものでもよく、要求される隠蔽力の程度に応じて、例えば、適度のぼかし，解像度の低下，輝度の変更，コントラストの強調や平準化、また、塗り潰し等といった様々な方法を適用することができる。Next, themicroprocessor 12 of thecomputer 2 functioning as the masking means F makes all of the image data stored in the storage area of theRAM 15 functioning as a frame memory dedicated to the background, that is, the imaging area dividing means E sets the background imaging area. Image processing for masking is performed on the image data (see FIG. 16B) of all the defined divided sections (step S23).
For image processing for masking, it is possible to conceal the writing to the calendar as the background to be hidden, the title of the back cover of the collection, letters such as decorated award certificates, decorations and household goods as far as necessary. Any method can be used, depending on the level of hiding power required, various methods such as moderate blurring, resolution reduction, luminance change, contrast enhancement and leveling, and painting, etc. Can be applied.

次いで、配信用画像データ出力手段Ｇとして機能するコンピュータ２のマイクロプロセッサ１２が、撮像領域分割手段Ｅにより人物の撮像領域として規定された全ての分割区画の画像データつまり人物専用のフレームメモリとして機能するＲＡＭ１５の記憶領域に現時点で記憶されている画像データとマスキング手段Ｆにより画像処理を施された画像データつまり背景専用のフレームメモリとして機能するＲＡＭ１５の記憶領域に現時点で記憶されている画像データとを合成して配信用の画像データを生成して一時記憶する（ステップＳ２４）。 Next, themicroprocessor 12 of thecomputer 2 functioning as the distribution image data output means G functions as image data of all divided sections defined as the person's imaging area by the imaging area dividing means E, that is, as a person-specific frame memory. The image data currently stored in the storage area of theRAM 15 and the image data subjected to image processing by the masking means F, that is, the image data currently stored in the storage area of theRAM 15 functioning as a frame memory dedicated to the background. The image data for distribution is generated by combining and temporarily stored (step S24).

次いで、コンピュータ２のマイクロプロセッサ１２が配信用の画像データをディスプレイ２２にプレビューとして表示し（ステップＳ２５）、キーボード２０もしくはマウス２１からの配信許可信号の入力や倍率変更要求の入力あるいは深度変更要求の入力やマスキング方法の再選択要求の入力を待つ待機状態に入る（ステップＳ２６，ステップＳ２７，ステップＳ２９，ステップＳ３１からなるループ処理）。 Next, themicroprocessor 12 of thecomputer 2 displays the image data for distribution on thedisplay 22 as a preview (step S25), and inputs a distribution permission signal, a magnification change request, or a depth change request from thekeyboard 20 ormouse 21. The system enters a standby state waiting for an input or an input of a reselection request for a masking method (loop processing comprising step S26, step S27, step S29, and step S31).

ここで、画像の配信元となるコンピュータ２のユーザはディスプレイ２２のプレビューを参照し、表示された顔の大きさが適切であるか否か、隠蔽したい背景が写り込んだり体の輪郭部分がマスキングされたりしてないかどうか、マスキング方法の選択が適切であったか否かを目視にて判断する。 Here, the user of thecomputer 2 serving as the image distribution source refers to the preview on thedisplay 22 to check whether or not the displayed face size is appropriate, the background to be hidden is reflected, or the contour portion of the body is masked. It is judged visually whether or not the masking method is properly selected.

表示された顔の大きさが適切でなければユーザはキーボード２０もしくはマウス２１を操作し、拡大または縮小の倍率変更要求をコンピュータ２に入力する。倍率変更要求の入力はステップＳ２７の判定処理でコンピュータ２のマイクロプロセッサ１２により検知され、倍率変更要求を受けたマイクロプロセッサ１２がインターフェイス１７を介してＷｅｂカメラ３にズーミング指令を送出し（ステップＳ２８）、Ｗｅｂカメラ３のマイクロプロセッサ５がズーミング指令の入力を検知し（図１０のステップＴ６）、ズーミング指令の方向性つまりズームアウト指令（縮小）かズームイン指令（拡大）かの種別に応じてズーム機構１１を作動させ、カメラ本体１０に設けられた撮影レンズの焦点距離を調整することになる（ステップＴ７）。 If the size of the displayed face is not appropriate, the user operates thekeyboard 20 ormouse 21 to input a magnification change request for enlargement or reduction to thecomputer 2. The input of the magnification change request is detected by themicroprocessor 12 of thecomputer 2 in the determination process of step S27, and themicroprocessor 12 having received the magnification change request sends a zooming command to theWeb camera 3 via the interface 17 (step S28). Themicroprocessor 5 of theWeb camera 3 detects the input of the zooming command (step T6 in FIG. 10), and the zoom mechanism according to the direction of the zooming command, that is, the type of the zoom-out command (reduction) or the zoom-in command (enlargement). 11 is operated to adjust the focal length of the photographing lens provided in the camera body 10 (step T7).

そして、ズーミング指令の送出を終えたコンピュータ２のマイクロプロセッサ１２は改めてステップＳ１の処理に復帰し、前記と同様にしてステップＳ１〜ステップＳ２４までの処理を繰り返し実行し、最終的に、新たに生成された配信用の画像データつまり顔の大きさを拡大または縮小された配信用の画像データをディスプレイ２２に改めてプレビューとして表示する（ステップＳ２５）。 Then, themicroprocessor 12 of thecomputer 2 that has finished sending the zooming command returns to the process of step S1 again, repeats the processes from step S1 to step S24 in the same manner as described above, and finally generates a new one. The delivered image data, that is, the delivered image data whose face size is enlarged or reduced is displayed again as a preview on the display 22 (step S25).

以下、この実施形態にあっては、プレビューを参照して行われる手動操作による撮影レンズの焦点距離の調整をズーミングリトライ機能と称する。 Hereinafter, in this embodiment, the adjustment of the focal length of the photographing lens by manual operation performed with reference to the preview is referred to as a zooming retry function.

また、隠蔽したい背景が写り込んだり体の輪郭部分がマスキングされたりしていた場合には、ユーザはキーボード２０のテンキー等を操作し、最長離間距離ｚ０の値をモデファイして深度変更要求としてコンピュータ２に入力する。モデファイされた最長離間距離ｚ０の値はステップＳ２９の判定処理でコンピュータ２のマイクロプロセッサ１２により検知され、最長離間距離ｚ０の入力を受けたマイクロプロセッサ１２が最長離間距離記憶レジスタＲ（ｚ０）の値を一時的に書き換える（ステップＳ３０）。 If the background to be hidden is reflected or the outline of the body is masked, the user operates the numeric keypad of thekeyboard 20, modifies the value of the longest separation distance z0, and calculates the depth change request as a computer. Type in 2. The value of the modified longest separation distance z0 is detected by themicroprocessor 12 of thecomputer 2 in the determination process of step S29, and themicroprocessor 12 receiving the input of the longest separation distance z0 receives the value of the longest separation distance storage register R (z0). Is temporarily rewritten (step S30).

隠蔽したい背景が写り込んでいる場合には、図１４からも明らかなように、最長離間距離ｚ０の値が大き過ぎることを意味するので、ユーザは最長離間距離ｚ０の値を相対的に小さな値に設定し直し、また、体の輪郭部分がマスキングされてしまっている場合には、図１４からも明らかなように、最長離間距離ｚ０の値が小さ過ぎることを意味するので、ユーザは最長離間距離ｚ０の値を相対的に大きな値に設定し直すことになる。 When the background to be hidden is reflected, as is apparent from FIG. 14, it means that the value of the longest separation distance z0 is too large, so the user sets the value of the longest separation distance z0 to a relatively small value. If the contour of the body has been masked again, as is apparent from FIG. 14, it means that the value of the longest separation distance z0 is too small, so that the user The value of the distance z0 is reset to a relatively large value.

そして、コンピュータ２のマイクロプロセッサ１２は改めてステップＳ１１の処理に復帰し、前記と同様にしてステップＳ１１〜ステップＳ２４までの処理を繰り返し実行し、最終的に、変更された最長離間距離ｚ０の値に基いて分離された人物専用のフレームメモリ内の画像データと背景専用のフレーム内の画像データとを合成して得られた配信用の画像データをディスプレイ２２に改めてプレビューとして表示する（ステップＳ２５）。 Then, themicroprocessor 12 of thecomputer 2 returns to the process of step S11 again, repeats the processes of steps S11 to S24 in the same manner as described above, and finally changes to the value of the changed longest separation distance z0. The image data for distribution obtained by combining the image data in the person-dedicated frame memory and the image data in the background-dedicated frame separated on the basis of the image data is again displayed on thedisplay 22 as a preview (step S25).

以下、この実施形態にあっては、プレビューを参照して手動操作で行われる最長離間距離の調整を撮像深度のリトライ設定機能と称する。 Hereinafter, in this embodiment, the adjustment of the longest separation distance that is manually performed with reference to the preview is referred to as an imaging depth retry setting function.

また、マスキング方法の選択が適切でなかった場合には、ユーザはキーボード２０やマウス２１を操作し、別のマスキング方法を選んでマスキング方法の再選択要求としてコンピュータ２に入力する。マスキング方法の再選択要求はステップＳ３１の判定処理でコンピュータ２のマイクロプロセッサ１２により検知され、マスキング方法の再選択要求を受けたマイクロプロセッサ１２は、新たに指定されたマスキング方法を、実行すべきマスキング方法として記憶する（ステップＳ３２）。 If the masking method is not properly selected, the user operates thekeyboard 20 or themouse 21 to select another masking method and inputs it to thecomputer 2 as a masking method reselection request. The reselection request for the masking method is detected by themicroprocessor 12 of thecomputer 2 in the determination process of step S31, and themicroprocessor 12 that has received the reselection request for the masking method executes the masking method to be newly designated. The method is stored (step S32).

この操作は、例えば、隠蔽すべき背景が十分に隠蔽されていないとユーザが判断した場合に背景のぼかしを強くしたり解像度を大きく低下させたり、或いは、ぼかしや解像度の低下では隠蔽が不十分と判断した場合に塗り潰しによるマスキングを利用したりする場合に行なわれる。無論、これとは逆に、背景の隠蔽が十分な範囲でぼかしを緩めたり解像度を上昇させて全体の画面全体の雰囲気を向上させるといった場合もある。 For example, this operation may be performed when the user determines that the background to be concealed is not sufficiently concealed, or the background is strongly blurred or the resolution is greatly reduced, or the blurring or the resolution is not sufficiently concealed. This is performed when masking by filling is used when it is determined. Needless to say, on the contrary, there are also cases where the background is loosened or the resolution is increased to improve the atmosphere of the entire screen as long as the background is sufficiently concealed.

そして、コンピュータ２のマイクロプロセッサ１２は改めてステップＳ２３の処理に復帰し、前記と同様にしてステップＳ２３〜ステップＳ２４までの処理を繰り返し実行し、最終的に、再選択されたマスキング方法で作成された背景専用のフレーム内の画像データと人物専用のフレームメモリ内の画像データとを合成して得られた配信用の画像データをディスプレイ２２に改めてプレビューとして表示する（ステップＳ２５）。 Then, themicroprocessor 12 of thecomputer 2 returns to the process of step S23 again, repeatedly executes the processes from step S23 to step S24 in the same manner as described above, and finally is created by the reselected masking method. The distribution image data obtained by combining the image data in the background-dedicated frame and the image data in the person-dedicated frame memory is displayed again as a preview on the display 22 (step S25).

以下、この実施形態にあっては、プレビューを参照して手動操作で行われるマスキング方法の再選択をマスキング方法のリトライ設定機能と称する。 Hereinafter, in this embodiment, reselection of the masking method performed manually by referring to the preview is referred to as a retry setting function of the masking method.

ユーザがキーボード２０やマウス２１を操作してコンピュータに配信許可信号を入力しない限り、これらのズーミングリトライ機能や撮像深度のリトライ設定機能およびマスキング方法のリトライ設定機能は何度でも繰り返して実行することができる。無論、複数のリトライ機能を組み合わせて実行してもよい。 Unless the user operates thekeyboard 20 or themouse 21 to input a distribution permission signal to the computer, the zooming retry function, the imaging depth retry setting function, and the masking method retry setting function can be repeatedly executed. it can. Of course, a plurality of retry functions may be executed in combination.

そして、最終的に、ディスプレイ２２のプレビューを参照したユーザが配信用の画像データが適切であると判断し、キーボード２０もしくはマウス２１を操作してコンピュータ２に配信許可信号を入力すると、コンピュータ２のマイクロプロセッサ１２は、配信許可信号の入力をステップＳ２６の判定処理で検知し、まず、１処理周期前すなわち１フレーム前の画像データを一時記憶する過去画像用フレームメモリとして機能するＲＡＭ１５の記憶領域を一旦初期化する（ステップＳ３３）。 Finally, when the user who refers to the preview of thedisplay 22 determines that the image data for distribution is appropriate and operates thekeyboard 20 or themouse 21 to input a distribution permission signal to thecomputer 2, Themicroprocessor 12 detects the input of the distribution permission signal in the determination process of step S26, and first, the storage area of theRAM 15 that functions as a past image frame memory that temporarily stores image data before one processing cycle, that is, one frame before. Initialization is once performed (step S33).

次いで、コンピュータ２のマイクロプロセッサ１２は、インターフェイス１７を介してＷｅｂカメラ３に画像取込指令を送出した後（ステップＳ３４）、既に述べた通りの区画別距離データ算出手段Ａおよびデータ転送手段として機能するＷｅｂカメラ３のマイクロプロセッサ５がステップＴ２〜ステップＴ５の処理を実行して画像データや各分割区画毎の最短離間距離のデータを送信してくるまで待機し（ステップＳ３５）、これらのデータを読み込んで初期の画像データを記憶するフレームメモリや最短離間距離のデータを記憶するデータ記憶テーブルとして機能するＲＡＭ１５に一時記憶する（ステップＳ３６）。 Next, themicroprocessor 12 of thecomputer 2 sends the image capture command to theWeb camera 3 via the interface 17 (step S34), and then functions as the section-by-section distance data calculation means A and the data transfer means as described above. Wait until themicroprocessor 5 of theWeb camera 3 executes the processing of Step T2 to Step T5 and transmits image data and data of the shortest separation distance for each divided section (Step S35). The data is temporarily stored in theRAM 15 that functions as a frame memory that stores the initial image data after reading and the data storage table that stores the data of the shortest separation distance (step S36).

そして、撮像領域分割手段Ｅとして機能するコンピュータ２のマイクロプロセッサ１２がステップＳ１１〜ステップステップＳ２０と同等の処理を前記と同様にして繰り返し実行し、最長離間距離算出手段Ｃとして機能するコンピュータ２のマイクロプロセッサ１２が当初に最長離間距離記憶レジスタＲ（ｚ０）に記憶させた最長離間距離ｚ０の値もしくは撮像深度のリトライ設定機能によって改めて設定された最長離間距離ｚ０の値あるいはズーミングリトライ機能の起動に伴って最長離間距離算出手段Ｃが改めて最長離間距離記憶レジスタＲ（ｚ０）に記憶させた最長離間距離ｚ０の値と、区画別距離データ算出手段Ａとして機能するＷｅｂカメラ３のマイクロプロセッサ５による処理結果としてＲＡＭ１５のデータ記憶テーブルに記憶された最短離間距ｚ（１，１）〜ｚ（ｍ，ｎ）との大小関係を全て比較して、データ記憶テーブルの（１，１）スポット〜（ｍ，ｎ）スポットに当該分割区画が人物の撮像領域であることを示すフラグの値０または当該分割区画が背景の撮像領域であることを示すフラグの値１をセットし、更に、マスキング手段Ｆとして機能するコンピュータ２のマイクロプロセッサ１２が、ステップＳ２１〜ステップステップＳ２３と同等の処理を前記と同様にして繰り返し実行し、フラグの値として０をセットされたスポットに相当する分割区画に含まれる全ての画像データを、初期の画像データを記憶するフレームメモリとして機能するＲＡＭ１５の記憶領域から人物専用のフレームメモリとして機能するＲＡＭ１５の記憶領域にコピーする一方、フラグの値として１をセットされたスポットに相当する分割区画に含まれる全ての画像データを、初期の画像データを記憶するフレームメモリとして機能するＲＡＭ１５の記憶領域から背景専用のフレームメモリとして機能するＲＡＭ１５の記憶領域にコピーし、背景専用のフレームメモリとして機能するＲＡＭ１５の記憶領域に記憶された画像データの全て、つまり、撮像領域分割手段Ｅにより背景の撮像領域として規定された全ての分割区画の画像データに対してマスキングのための画像処理を施した後、最終的に、配信用画像データ出力手段Ｇとして機能するコンピュータ２のマイクロプロセッサ１２が、撮像領域分割手段Ｅにより人物の撮像領域として規定された全ての分割区画の画像データつまり人物専用のフレームメモリとして機能するＲＡＭ１５の記憶領域に現時点で記憶されている画像データとマスキング手段Ｆにより画像処理を施された画像データつまり背景専用のフレームメモリとして機能するＲＡＭ１５の記憶領域に現時点で記憶されている画像データとを合成して、配信用の画像データとして一時記憶する（以上、ステップＳ３７の処理）。 Then, themicroprocessor 12 of thecomputer 2 functioning as the imaging area dividing means E repeatedly executes the same processing as in steps S11 to S20 in the same manner as described above, and the microcomputer of thecomputer 2 functioning as the longest separation distance calculating means C. With the activation of the value of the longest separation distance z0 initially stored by theprocessor 12 in the longest separation distance storage register R (z0), the value of the longest separation distance z0 newly set by the retry setting function of the imaging depth, or the activation of the zooming retry function The longest separation distance calculation unit C newly stores the value of the longest separation distance z0 stored in the longest separation distance storage register R (z0) and the processing result by themicroprocessor 5 of theWeb camera 3 functioning as the section-specific distance data calculation unit A. Stored in the data storage table of theRAM 15 as By comparing all the magnitude relations with the shortest separation distances z (1, 1) to z (m, n), the divided sections are located at (1, 1) spots to (m, n) spots in the data storage table. Aflag value 0 indicating that it is a person imaging region or aflag value 1 indicating that the divided section is a background imaging region is set, and themicroprocessor 12 of thecomputer 2 functioning as the masking means F further , Steps S21 to S23 are repeatedly executed in the same manner as described above, and all image data included in the divided sections corresponding to the spots set with 0 as the flag value are used as initial image data. While copying from the storage area of theRAM 15 functioning as a frame memory to be stored to the storage area of theRAM 15 functioning as a person-specific frame memory,RAM 15 functioning as a frame memory dedicated to the background from the storage area of theRAM 15 functioning as a frame memory for storing initial image data. All of the image data copied to the storage area and stored in the storage area of theRAM 15 functioning as a frame memory dedicated to the background, that is, images of all the divided sections defined as the background imaging area by the imaging area dividing means E After the image processing for masking is performed on the data, themicroprocessor 12 of thecomputer 2 functioning as the distribution image data output means G is finally defined as the person's imaging area by the imaging area dividing means E. Functions as image data for all divided sections, that is, a frame memory dedicated to people The image data currently stored in the storage area of theRAM 15 and the image data subjected to image processing by the masking means F, that is, the image data currently stored in the storage area of theRAM 15 functioning as a frame memory dedicated to the background Are temporarily stored as distribution image data (step S37).

次いで、配信用画像データ出力手段Ｇとして機能するコンピュータ２のマイクロプロセッサ１２が、現時点で一時記憶されている配信用の画像データつまり前述のステップＳ３７の処理で生成された配信用の画像データとステップＳ３３もしくはステップＳ３９の処理で既に過去画像用フレームメモリとして機能するＲＡＭ１５の記憶領域に記憶されている画像データとを比較し、両者間の差分となる画像データのみを、インターフェイス１８およびネットワーク４を介して、動画の配信対象となる他のコンピュータ２に配信する（ステップＳ３８）。 Next, themicroprocessor 12 of thecomputer 2 functioning as the distribution image data output means G performs the distribution image data temporarily stored at the present time, that is, the distribution image data generated in the process of step S37 described above and the step. The image data already stored in the storage area of theRAM 15 functioning as a past image frame memory in the process of S33 or step S39 is compared, and only the image data that is the difference between the two is transmitted via theinterface 18 and thenetwork 4. Then, it distributes to theother computer 2 that is the distribution target of the moving image (step S38).

但し、ステップＳ３３の実行直後に実施されるステップ３８の処理においては過去画像用フレームメモリがリセットされた状態にあるので、現時点で一時記憶されている配信用の画像データつまり前述のステップＳ３７の処理で生成された配信用の画像データの全てが其のままインターフェイス１８およびネットワーク４を介して動画の配信対象となる他のコンピュータ２に配信されることになる。 However, since the past image frame memory is in the reset state in the process of step 38 performed immediately after the execution of step S33, the image data for distribution temporarily stored at the present time, that is, the process of step S37 described above. All of the image data for distribution generated in (1) is distributed as it is to theother computers 2 to which the moving image is distributed via theinterface 18 and thenetwork 4.

次いで、コンピュータ２のマイクロプロセッサ１２は、直前のステップＳ３７の処理で生成された画像を過去画像用フレームメモリに上書きするかたちで更新して記憶させる（ステップＳ３９）。 Next, themicroprocessor 12 of thecomputer 2 updates and stores the image generated in the immediately preceding step S37 in the form of overwriting the past image frame memory (step S39).

そして、コンピュータ２のマイクロプロセッサ１２は、ユーザがキーボード２０やマウス２１を操作して画像の更新頻度つまりフレームレートの調整に関わる指令を入力しているか否か（ステップＳ４０）、画像の解像度の調整に関わる指令を入力しているか否か（ステップＳ４２）、および、画像配信処理の終了を宣言する指令を入力しているか否かを判定し（ステップＳ４４）、何れの指令も入力されていなければ、前記と同様にしてステップＳ３４〜ステップＳ４４の処理を繰り返し実行する。 Then, themicroprocessor 12 of thecomputer 2 adjusts the resolution of the image whether or not the user has input a command related to the adjustment of the image update frequency, that is, the frame rate by operating thekeyboard 20 or the mouse 21 (step S40). It is determined whether or not a command related to is input (step S42) and a command declaring the end of the image distribution process is input (step S44), and if no command is input. In the same manner as described above, the processes in steps S34 to S44 are repeatedly executed.

従って、この実施形態にあっては、最長離間距離算出手段Ｃの作動後つまりステップＳ１０までの処理が行なわれた後に、Ｗｅｂカメラ３の区画別距離データ算出手段ＡによるステップＴ２〜ステップＴ５の処理と、コンピュータ２の撮像領域分割手段Ｅの処理つまりステップＳ３７の処理のうちステップＳ１１〜ステップＳ２０に相当する処理と、マスキング手段Ｆの処理つまりステップＳ３７の処理のうちステップＳ２１〜ステップＳ２３に相当する処理と、配信用画像データ出力手段Ｇによる処理つまりステップＳ３７の処理のうちステップＳ２４に相当する処理とステップＳ３８の処理とが所定周期毎に繰り返し実行されているといって差し支えない。 Therefore, in this embodiment, after the operation of the longest separation distance calculation unit C, that is, after the processing up to step S10 is performed, the processing of steps T2 to T5 by the divisional distance data calculation unit A of theWeb camera 3 is performed. And the processing corresponding to steps S11 to S20 in the processing of the imaging region dividing means E of thecomputer 2, that is, the processing in step S37, and the processing corresponding to steps S21 to S23 in the processing of the masking means F, that is, the processing in step S37. It can be said that the processing and the processing by the distribution image data output means G, that is, the processing corresponding to step S24 among the processing of step S37 and the processing of step S38 are repeatedly executed at predetermined intervals.

この実施形態では、特に、配信用画像データ出力手段Ｇとして機能するコンピュータ２のマイクロプロセッサ１２が、その時点で一時記憶されている配信用の画像データつまりステップＳ３７の処理で新たに生成された配信用の画像データとステップＳ３９の処理で既に過去画像用フレームメモリとして機能するＲＡＭ１５の記憶領域に記憶されている画像データつまり１処理周期前の画像データとを比較し、両者間の差分となる画像データつまり動きのあった部分の画像データのみを動画の配信対象となる他のコンピュータ２に配信するようにしているので、動画の配信に際してネットワーク４やコンピュータ２の負荷が著しく増大するといった不都合を未然に防止することができる。 In this embodiment, in particular, themicroprocessor 12 of thecomputer 2 functioning as the distribution image data output means G is the distribution image data temporarily stored at that time, that is, the distribution newly generated by the processing in step S37. Image data that is already stored in the storage area of theRAM 15 that functions as a frame memory for past images in the process of step S39, that is, image data of one processing cycle before, is the difference between the two image data. Since only the data, that is, the image data of the moving part is distributed to theother computer 2 to which the moving image is distributed, there is a disadvantage that the load on thenetwork 4 and thecomputer 2 is remarkably increased when the moving image is distributed. Can be prevented.

また、ズーミングリトライ機能を利用して撮影レンズの焦点距離を調整した場合にはコンピュータ２のマイクロプロセッサ１２が改めてステップＳ１の処理に復帰してステップＳ１〜ステップＳ２４までの処理を繰り返し実行して目，鼻，口といった特徴点に対応する分割区画の最短離間距離ｚ１を求め、最長離間距離算出手段Ｃが最長離間距離ｚ０の値を再計算するので、ズーミングリトライ機能を利用して画像上での顔の大きさを変更した場合であっても常に最適な最長離間距離ｚ０の値を利用して背景と人物とを識別することができる。 When the zooming retry function is used to adjust the focal length of the taking lens, themicroprocessor 12 of thecomputer 2 returns to the process of step S1 and repeats the processes from step S1 to step S24. Since the longest separation distance calculation means C recalculates the value of the longest separation distance z0 on the image using the zooming retry function. Even when the size of the face is changed, the background and the person can be identified by always using the optimum value of the longest separation distance z0.

画像の配信中に画像のカクツキ等が生じてスムーズな画像配信が困難な場合には、ユーザがキーボード２０やマウス２１を操作して画像の更新頻度つまりフレームレートの調整やソフトウェア上での画像解像度の調整つまり画像データの間引きに関わる指令を入力して調整を行なうことになるが（ステップＳ４０〜ステップＳ４３）、フレームレートの調整や画像データの間引き処理に関しては公知であるので、ここでは特に説明しない。 When smooth image distribution is difficult due to image cracking during image distribution, the user operates thekeyboard 20 andmouse 21 to adjust the image update frequency, that is, the frame rate, and the image resolution on the software. The adjustment is performed by inputting a command related to the adjustment of the image data, that is, the thinning of the image data (steps S40 to S43). However, since the frame rate adjustment and the thinning process of the image data are well known, they are particularly described here. do not do.

以上に述べた通り、この実施形態では、Ｗｅｂカメラ３が備えるカメラ本体１０の撮像面として機能するＣＣＤの撮像領域をｍ行ｎ列の細密な区画に論理的に分割し、分割区画となるｉ＝１〜ｍ，ｊ＝１〜ｎの（ｉ，ｊ）スポット毎にＷｅｂカメラ３と撮像対象との最短離間距離を求め、Ｗｅｂカメラ３が取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部、例えば、目，鼻，口といった構成要素を特徴点として認識し、特徴点として認識された撮像領域上の位置に対応する分割区画の最短離間距離ｚ１と、撮像深度の設定値Ｄすなわち人体の厚みに関わる標準データｚ２と人物用の撮像空間を撮像深度方向に冗長するための調整値ｚ３とに基いて人物用の撮像空間とする撮像深度方向の最長離間距離ｚ０を求め、最長離間距離ｚ０とｉ＝１〜ｍ，ｊ＝１〜ｎの（ｉ，ｊ）スポットの分割区画毎の最短離間距離ｚ（ｉ，ｊ）の各々との大小関係を比較し、最短離間距離ｚ（ｉ，ｊ）が最長離間距離ｚ０と同等以下である分割区画に値０のフラグをセットして人物の撮像領域として規定し、この分割区画に含まれる全ての画像データを人物専用のフレームメモリとして機能するＲＡＭ１５の記憶領域に記憶する一方、最短離間距離ｚ（ｉ，ｊ）が最長離間距離ｚ０を越える分割区画に値１のフラグをセットして背景の撮像領域として規定し、この分割区画に含まれる全ての画像データを背景専用のフレームメモリとして機能するＲＡＭ１５の記憶領域に記憶し、背景専用のフレームメモリとして機能するＲＡＭ１５に記憶された画像データのみにマスキングのための画像処理を施し、人物専用のフレームメモリとして機能するＲＡＭ１５の記憶領域に記憶された画像データとマスキングのための画像処理を施された背景専用のフレームメモリに記憶された画像データとを合成して配信用画像データとするようにしている。 As described above, in this embodiment, the imaging area of the CCD that functions as the imaging surface of thecamera body 10 included in theWeb camera 3 is logically divided into fine sections of m rows and n columns, and i becomes a divided section. = 1 to m, j = 1 to n for each (i, j) spot, the shortest separation distance between theWeb camera 3 and the imaging target is obtained, and the body of the person who is the imaging target from the image data acquired by theWeb camera 3 At least a part of the front side of the image, for example, components such as eyes, nose, and mouth are recognized as feature points, and the shortest separation distance z1 of the divided sections corresponding to the position on the imaging region recognized as the feature points, and the imaging depth Set value D, that is, the standard data z2 related to the thickness of the human body and the adjustment value z3 for making the person's imaging space redundant in the imaging depth direction, the longest separation distance z0 in the imaging depth direction as the person's imaging space Seeking The longest separation distance z0 is compared with each of the shortest separation distances z (i, j) for each divided section of (i, j) spots where i = 1 to m and j = 1 to n, and the shortest separation distance is compared. A flag with a value of 0 is set in a divided section where z (i, j) is equal to or less than the longest separation distance z0 to define as a person's imaging region, and all image data included in this divided section is a person-dedicated frame. While being stored in the storage area of theRAM 15 functioning as a memory, a flag having a value of 1 is set in a divided section where the shortest separation distance z (i, j) exceeds the longest separation distance z0, and is defined as a background imaging area. All image data included in the section is stored in the storage area of theRAM 15 functioning as a frame memory dedicated to the background, and only the image data stored in theRAM 15 functioning as the frame memory dedicated to the background is masked. The image data stored in the storage area of theRAM 15 that functions as a person-dedicated frame memory and the image data stored in the background-dedicated frame memory subjected to image processing for masking are synthesized. Thus, the image data for distribution is used.

従って、人物が後方に倒れ込むようにして移動したような場合であっても、その移動量が図１４に示されるような調整値ｚ３の範囲内であれば、確実に人物の画像を配信し続けることができる。 Therefore, even when the person moves so as to fall backward, if the movement amount is within the adjustment value z3 as shown in FIG. 14, the image of the person is surely continued to be delivered. be able to.

また、色の情報ではなく撮像深度方向の位置情報に基いて人物と背景を識別するようにしているので、色抜けの発生や手動操作によるマスキング領域の設定の煩わしさがなく、格別なハードウェアを追加する必要がないことから、コスト面での問題も発生しない。 In addition, since the person and the background are identified based on the position information in the imaging depth direction instead of the color information, there is no trouble of setting the masking area by the occurrence of color loss or manual operation, and special hardware. Since there is no need to add, there is no cost problem.

しかも、ＣＣＤの撮像領域を細密な区画に分割して人物の撮像領域と背景の撮像領域とを論理的に分割しているので、マスキング領域の選択が大雑把となって除去すべき背景の一部が意図せずに表示されるといった不都合が解消され、更には、特徴点よりも前に位置する人物の一部たとえば肘から先といった部分が不用意に省略されるといった不都合もなく、特に、人物と背景を識別する閾値となる最長離間距離ｚ０を最長離間距離算出手段Ｃによって特定した後、Ｗｅｂカメラ３の区画別距離データ算出手段Ａとコンピュータ２の撮像領域分割手段Ｅとマスキング手段Ｆと配信用画像データ出力手段Ｇを繰り返し作動させて連続的に画像を送出する処理つまり動画の配信を行なうようにしているので、人物と背景を分離する撮像領域分割手段Ｅの処理がリアルタイムで実行されることになり、動画の配信中に人物が移動した場合であっても背景が露出した画像が不用意に配信される恐れがない。 In addition, since the CCD imaging area is divided into fine sections and the person imaging area and the background imaging area are logically divided, the selection of the masking area becomes a rough part of the background to be removed. Inconveniences such as being displayed unintentionally, and there is no inconvenience that a part of the person located before the feature point, such as the part from the elbow, is inadvertently omitted. And the longest separation distance z0 as a threshold for identifying the background is specified by the longest separation distance calculation means C, the section-by-section distance data calculation means A of theWeb camera 3, the imaging area dividing means E, the masking means F of thecomputer 2, and distribution The image data output means G is repeatedly operated to continuously send out images, that is, to distribute moving images. Will be the processing of E is performed in real time, there is no risk of image background even when a person has moved into the delivery video is exposed is inadvertently delivered.

また、配信される画像データはマスキングのための画像処理を施された背景の画像データと人物の画像データとを合成したものであるから、背景の抜けによる違和感の発生といった問題も生じない。 Further, since the image data to be distributed is a combination of the background image data subjected to image processing for masking and the person image data, there is no problem of a sense of incongruity due to missing background.

図１７は他の一実施形態の画像配信システムおよび画像配信方法について簡単に示した作用原理図である。 FIG. 17 is an operation principle diagram simply showing an image distribution system and an image distribution method according to another embodiment.

この実施形態では、図１７（ａ）に示されるように、コンピュータ２の前に着座したユーザが両手を開き、肩幅よりも僅かに腕を開いて下方に広げた状態でＷｅｂカメラ３を作動させて画像を取得させ、顔と左右の手のひらの位置を色や形によってコンピュータ２に検出させ、顔と左右の手のひらを結ぶ台形状の形を人物の撮像領域Ｈとして認識し、それ以外の部分を背景の撮像領域Ｉとして認識するようにしている。 In this embodiment, as shown in FIG. 17 (a), the user sitting in front of thecomputer 2 opens both hands, opens the arm slightly beyond the shoulder width, and opens theweb camera 3 in a state where it is spread downward. Thecomputer 2 detects the position of the face and the left and right palms by color and shape, recognizes the trapezoidal shape connecting the face and the left and right palms as the person's imaging region H, and the other parts It is recognized as the background imaging region I.

このような構成を適用した場合には、人物の体系に合わせたマスキングが可能であり、環境や状況に合わせて意図的にマスキングの範囲を広げたり狭めたりすることも可能である。 When such a configuration is applied, masking according to a person's system is possible, and the masking range can be intentionally widened or narrowed according to the environment or situation.

また、直感的・視覚的な操作によって誰でもが簡単に人物の撮像領域Ｈをコンピュータ２に教示することができるので、操作の利便性が更に向上する。 In addition, since anyone can easily teach the person's imaging region H to thecomputer 2 by intuitive and visual operation, the convenience of operation is further improved.

撮像領域Ｈをコンピュータ２に教示した後は、ユーザが大きく位置を移動しない限り、自由なポーズで電話会議やチャットを実施することが可能である。 After teaching the imaging area H to thecomputer 2, it is possible to carry out a conference call or chat in a free pose as long as the user does not move greatly.

以上に開示した実施形態の一部または全部は、以下の付記に示す記載によって適切に表現され得るが、発明を実施するための形態や発明の技術思想は、これらのものに制限されるものではない。 A part or all of the embodiment disclosed above can be appropriately expressed by the description shown in the following supplementary notes, but the form for carrying out the invention and the technical idea of the invention are not limited to these. Absent.

また、画像配信プログラムを構成する主プログラムや補助プログラムは非一時的な記録媒体に記憶されてもよい。非一時的な記録媒体としては、例えば、ＤＶＤ，ＣＤ，フラッシュメモリ等のものを利用することができる。これらのプログラムを非一時的な記録媒体に記憶した場合、各プログラムは非一時的な記録媒体からコンピュータ２のマイクロプロセッサ１２やＷｅｂカメラ３のマイクロプロセッサ５によって読み出され、各々のマイクロプロセッサによって実行されることになる。
既に述べた通り、区画別距離データ算出手段Ａ，特徴点認識手段Ｂ，最長離間距離算出手段Ｃ，撮像領域分割手段Ｅ，マスキング手段Ｆ，配信用画像データ出力手段Ｇの機能実現手段としてコンピュータ２のマイクロプロセッサ１２のみを利用することも可能であり、その場合は主プログラムと補助プログラムからなる画像配信プログラムをコンピュータ２にインストールするだけで事足りる。Further, the main program and the auxiliary program constituting the image distribution program may be stored in a non-temporary recording medium. As the non-temporary recording medium, for example, a DVD, CD, flash memory or the like can be used. When these programs are stored in a non-temporary recording medium, each program is read from the non-temporary recording medium by themicroprocessor 12 of thecomputer 2 or themicroprocessor 5 of theWeb camera 3 and executed by each microprocessor. Will be.
As described above, thecomputer 2 serves as the function realizing means of the section-by-section distance data calculating means A, the feature point recognizing means B, the longest separation distance calculating means C, the imaging area dividing means E, the masking means F, and the distribution image data output means G. It is also possible to use only themicroprocessor 12 of this type, in which case it is sufficient to install an image distribution program comprising a main program and an auxiliary program in thecomputer 2.

〔付記１〕
Ｗｅｂカメラを利用して人物を撮像し、前記Ｗｅｂカメラに接続されたコンピュータおよび前記コンピュータに接続されたネットワークを介して前記人物の画像を他のコンピュータに配信するようにした画像配信システムにおいて、
前記Ｗｅｂカメラの撮像面を形成する撮像領域を細密な区画に分割して各分割区画毎に前記Ｗｅｂカメラと撮像対象との最短離間距離を求める区画別距離データ算出手段と、
前記Ｗｅｂカメラが取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部を特徴点として認識する特徴点認識手段と、
前記特徴点認識手段により特徴点として認識された撮像領域上の位置に対応する前記分割区画の最短離間距離と撮像深度の設定値に基いて人物用の撮像空間とする撮像深度方向の最長離間距離を求める最長離間距離算出手段と、
前記最長離間距離算出手段によって求められた最長離間距離と前記分割区画毎の最短離間距離の各々を比較し、最短離間距離が最長離間距離と同等以下である分割区画を人物の撮像領域として規定する一方、最短離間距離が最長離間距離を越える分割区画を背景の撮像領域として規定する撮像領域分割手段と、
前記撮像領域分割手段により背景の撮像領域として規定された全ての分割区画の画像データにマスキングのための画像処理を施すマスキング手段と、
前記撮像領域分割手段により人物の撮像領域として規定された全ての分割区画の画像データと前記マスキング手段により画像処理を施された画像データを合成し、配信用画像データとして前記ネットワークに送出する配信用画像データ出力手段を設けたことを特徴とする画像配信システム。[Appendix 1]
In an image distribution system that images a person using a Web camera and distributes the image of the person to another computer via a computer connected to the Web camera and a network connected to the computer.
A section-by-section distance data calculation unit that divides an imaging region forming an imaging surface of the Web camera into fine sections and obtains the shortest separation distance between the Web camera and the imaging target for each divided section;
Feature point recognizing means for recognizing at least a part of the front side of the body of a person to be imaged from the image data acquired by the Web camera as a feature point;
The longest separation distance in the imaging depth direction as the imaging space for the person based on the set value of the shortest separation distance and the imaging depth of the divided section corresponding to the position on the imaging area recognized as the feature point by the feature point recognition means Means for calculating the longest separation distance;
The longest separation distance calculated by the longest separation distance and the shortest separation distance for each of the divided sections are compared, and a divided section whose shortest separation distance is equal to or less than the longest separation distance is defined as an imaging region of a person. On the other hand, an imaging area dividing means for defining a divided section where the shortest separation distance exceeds the longest separation distance as the background imaging area;
Masking means for performing image processing for masking on image data of all divided sections defined as background imaging areas by the imaging area dividing means;
The image data of all the divided sections defined as the person's imaging area by the imaging area dividing unit and the image data subjected to the image processing by the masking unit are combined and sent to the network as distribution image data An image distribution system comprising image data output means.

〔付記２〕
前記最長離間距離算出手段の作動後、前記Ｗｅｂカメラと前記区画別距離データ算出手段と前記撮像領域分割手段と前記マスキング手段と前記配信用画像データ出力手段が所定周期毎に繰り返し作動することを特徴とした付記１記載の画像配信システム。[Appendix 2]
After the operation of the longest separation distance calculation means, the Web camera, the section-specific distance data calculation means, the imaging area division means, the masking means, and the distribution image data output means are repeatedly operated at predetermined intervals. The image distribution system according toappendix 1.

〔付記３〕
前記撮像深度の設定値が、人体の厚みに相当する値によって構成されていることを特徴とする付記１または付記２記載の画像配信システム。[Appendix 3]
The image delivery system according toSupplementary Note 1 orSupplementary Note 2, wherein the set value of the imaging depth is configured by a value corresponding to a thickness of a human body.

〔付記４〕
前記撮像深度の設定値が、人体の厚みに相当する値と人物用の撮像空間を撮像深度方向に冗長するための調整値によって構成されていることを特徴とする付記１または付記２記載の画像配信システム。[Appendix 4]
The image according toappendix 1 orappendix 2, wherein the set value of the imaging depth is composed of a value corresponding to the thickness of the human body and an adjustment value for making the imaging space for a person redundant in the imaging depth direction Distribution system.

〔付記５〕
Ｗｅｂカメラを利用して人物を撮像し、前記Ｗｅｂカメラに接続されたコンピュータおよび前記コンピュータに接続されたネットワークを介して前記人物の画像を他のコンピュータに配信するようにした画像配信方法において、
前記Ｗｅｂカメラの撮像面を形成する撮像領域を細密な区画に分割して各分割区画毎に前記Ｗｅｂカメラと撮像対象との最短離間距離を求め、
前記Ｗｅｂカメラが取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部を特徴点として認識し、
前記特徴点として認識された撮像領域上の位置に対応する前記分割区画の最短離間距離と撮像深度の設定値に基いて人物用の撮像空間とする撮像深度方向の最長離間距離を求め、
前記最長離間距離と前記分割区画毎の最短離間距離の各々を比較し、最短離間距離が最長離間距離と同等以下である分割区画を人物の撮像領域として規定する一方、最短離間距離が最長離間距離を越える分割区画を背景の撮像領域として規定し、
背景の撮像領域として規定された全ての分割区画の画像データにマスキングのための画像処理を施し、
人物の撮像領域として規定された全ての分割区画の画像データと前記画像処理を施された画像データを合成し、配信用画像データとして前記ネットワークに送出することを特徴とした画像配信方法。[Appendix 5]
In an image distribution method for capturing an image of a person using a Web camera and distributing the image of the person to another computer via a computer connected to the Web camera and a network connected to the computer.
The imaging area forming the imaging surface of the Web camera is divided into fine sections, and the shortest separation distance between the Web camera and the imaging target is obtained for each divided section,
Recognizing at least a part of the front side of a person's body as an imaging target from image data acquired by the Web camera as a feature point;
Finding the longest separation distance in the imaging depth direction as the imaging space for a person based on the shortest separation distance and imaging depth setting value corresponding to the position on the imaging region recognized as the feature point,
Comparing each of the longest separation distance and the shortest separation distance for each of the divided sections, and defining a divided section whose shortest separation distance is equal to or less than the longest separation distance as a human imaging region, the shortest separation distance is the longest separation distance. Stipulates the divided area exceeding the
Image processing for masking is applied to the image data of all the divided sections defined as the background imaging area,
An image distribution method comprising: combining image data of all divided sections defined as an image area of a person and image data subjected to the image processing, and transmitting the image data as distribution image data to the network.

〔付記６〕
Ｗｅｂカメラを利用して人物を撮像し、前記Ｗｅｂカメラに接続されたコンピュータおよび前記コンピュータに接続されたネットワークを介して前記人物の画像を他のコンピュータに配信するようにした画像配信方法において、
前記Ｗｅｂカメラの撮像面を形成する撮像領域を細密な区画に分割して各分割区画毎に前記Ｗｅｂカメラと撮像対象との最短離間距離を求め、
前記Ｗｅｂカメラが取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部を特徴点として認識し、
前記特徴点として認識された撮像領域上の位置に対応する前記分割区画の最短離間距離と撮像深度の設定値に基いて人物用の撮像空間とする撮像深度方向の最長離間距離を求めた後、
前記Ｗｅｂカメラを利用して人物を撮像する操作と、
前記Ｗｅｂカメラの撮像面を形成する撮像領域を細密な区画に分割して各分割区画毎に前記Ｗｅｂカメラと撮像対象との最短離間距離を求める操作と、
前記最長離間距離と前記分割区画毎の最短離間距離の各々を比較し、最短離間距離が最長離間距離と同等以下である分割区画を人物の撮像領域として規定する一方、最短離間距離が最長離間距離を越える分割区画を背景の撮像領域として規定する操作と、
背景の撮像領域として規定された全ての分割区画の画像データにマスキングのための画像処理を施す操作と、
人物の撮像領域として規定された全ての分割区画の画像データと前記画像処理を施された画像データを合成し、配信用画像データとして前記ネットワークに送出する操作を所定周期毎に繰り返し実行することを特徴とした画像配信方法。[Appendix 6]
In an image distribution method for capturing an image of a person using a Web camera and distributing the image of the person to another computer via a computer connected to the Web camera and a network connected to the computer.
The imaging area forming the imaging surface of the Web camera is divided into fine sections, and the shortest separation distance between the Web camera and the imaging target is obtained for each divided section,
Recognizing at least a part of the front side of a person's body as an imaging target from image data acquired by the Web camera as a feature point;
After obtaining the longest separation distance in the imaging depth direction as the imaging space for a person based on the setting value of the shortest separation distance and the imaging depth of the divided section corresponding to the position on the imaging region recognized as the feature point,
An operation of taking an image of a person using the Web camera;
An operation of dividing an imaging region forming an imaging surface of the Web camera into fine sections and obtaining a shortest separation distance between the Web camera and the imaging target for each divided section;
Comparing each of the longest separation distance and the shortest separation distance for each of the divided sections, and defining a divided section whose shortest separation distance is equal to or less than the longest separation distance as a human imaging region, the shortest separation distance is the longest separation distance. An operation for defining a divided section exceeding the background imaging area;
An operation for performing image processing for masking on the image data of all the divided sections defined as the background imaging region;
The operation of combining the image data of all the divided sections defined as the person's imaging area and the image data subjected to the image processing and repeatedly sending the data to the network as distribution image data is executed at predetermined intervals. A featured image delivery method.

〔付記７〕
前記撮像深度の設定値を、人体の厚みに相当する値によって決めることを特徴とした付記５または付記６記載の画像配信方法。[Appendix 7]
The image delivery method according toappendix 5 orappendix 6, wherein the set value of the imaging depth is determined by a value corresponding to the thickness of the human body.

〔付記８〕
前記撮像深度の設定値を、人体の厚みに相当する値と人物用の撮像空間を撮像深度方向に冗長するための調整値によって決めることを特徴とした付記５または付記６記載の画像配信方法。[Appendix 8]
The image distribution method according toappendix 5 orappendix 6, wherein the set value of the imaging depth is determined by a value corresponding to the thickness of the human body and an adjustment value for making the imaging space for a person redundant in the imaging depth direction.

〔付記９〕
Ｗｅｂカメラを利用して人物を撮像し、前記Ｗｅｂカメラに接続されたコンピュータおよび前記コンピュータに接続されたネットワークを介して前記人物の画像を他のコンピュータに配信するようにした画像配信システムに用いる画像配信プログラムであって、
前記Ｗｅｂカメラに実装されたマイクロプロセッサを、
前記Ｗｅｂカメラの撮像面を形成する撮像領域を細密な区画に分割して各分割区画毎に前記Ｗｅｂカメラと撮像対象との最短離間距離を求める区画別距離データ算出手段、および、
前記Ｗｅｂカメラで取得された画像データと前記区画別距離データ算出手段で求められた各分割区画毎の最短離間距離を前記Ｗｅｂカメラに接続された前記コンピュータに転送するデータ転送手段として機能させる補助プログラムと、
前記Ｗｅｂカメラに接続されたコンピュータのマイクロプロセッサを、
前記Ｗｅｂカメラが取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部を特徴点として認識する特徴点認識手段、
前記特徴点認識手段により特徴点として認識された撮像領域上の位置に対応する前記分割区画の最短離間距離と撮像深度の設定値に基いて人物用の撮像空間とする撮像深度方向の最長離間距離を求める最長離間距離算出手段、
前記最長離間距離算出手段によって求められた最長離間距離と前記分割区画毎の最短離間距離の各々を比較し、最短離間距離が最長離間距離と同等以下である分割区画を人物の撮像領域として規定する一方、最短離間距離が最長離間距離を越える分割区画を背景の撮像領域として規定する撮像領域分割手段、
前記撮像領域分割手段により背景の撮像領域として規定された全ての分割区画の画像データにマスキングのための画像処理を施すマスキング手段、および、
前記撮像領域分割手段により人物の撮像領域として規定された全ての分割区画の画像データと前記マスキング手段により画像処理を施された画像データを合成し、配信用画像データとして前記ネットワークに送出する配信用画像データ出力手段として機能させる主プログラムによって構成される画像配信プログラム。[Appendix 9]
An image used for an image distribution system that images a person using a Web camera and distributes the image of the person to another computer via a computer connected to the Web camera and a network connected to the computer. A distribution program,
A microprocessor mounted on the web camera;
A section-by-section distance data calculation unit that divides an imaging region that forms an imaging surface of the Web camera into fine sections and obtains the shortest separation distance between the Web camera and the imaging target for each divided section; and
Auxiliary program that functions as data transfer means for transferring the image data acquired by the Web camera and the shortest separation distance for each divided section obtained by the section-specific distance data calculation means to the computer connected to the Web camera When,
A microprocessor of a computer connected to the web camera;
Feature point recognizing means for recognizing at least a part of the front side of the body of a person to be imaged from the image data acquired by the Web camera as a feature point;
The longest separation distance in the imaging depth direction as the imaging space for the person based on the set value of the shortest separation distance and the imaging depth of the divided section corresponding to the position on the imaging area recognized as the feature point by the feature point recognition means Means for calculating the longest separation distance,
The longest separation distance calculated by the longest separation distance and the shortest separation distance for each of the divided sections are compared, and a divided section whose shortest separation distance is equal to or less than the longest separation distance is defined as an imaging region of a person. On the other hand, an imaging area dividing means for defining a divided section where the shortest separation distance exceeds the longest separation distance as a background imaging area;
Masking means for performing image processing for masking on image data of all divided sections defined as background imaging areas by the imaging area dividing means; and
The image data of all the divided sections defined as the person's imaging area by the imaging area dividing unit and the image data subjected to the image processing by the masking unit are combined and sent to the network as distribution image data An image distribution program constituted by a main program that functions as image data output means.

〔付記１０〕
前記主プログラムは、前記最長離間距離算出手段の作動後、前記Ｗｅｂカメラと前記区画別距離データ算出手段と前記撮像領域分割手段と前記マスキング手段と前記配信用画像データ出力手段を所定周期毎に繰り返し作動させるように構成されていることを特徴とした付記９記載の画像配信プログラム。[Appendix 10]
After the operation of the longest separation distance calculation means, the main program repeats the Web camera, the section-specific distance data calculation means, the imaging area division means, the masking means, and the distribution image data output means at predetermined intervals. The image delivery program according toappendix 9, wherein the image delivery program is configured to operate.

〔付記１１〕
Ｗｅｂカメラを利用して人物を撮像し、前記Ｗｅｂカメラに接続されたコンピュータおよび前記コンピュータに接続されたネットワークを介して前記人物の画像を他のコンピュータに配信するようにした画像配信システムに用いる画像配信プログラムであって、
前記Ｗｅｂカメラに接続されたコンピュータのマイクロプロセッサを、
前記Ｗｅｂカメラの撮像面を形成する撮像領域を細密な区画に分割して各分割区画毎に前記Ｗｅｂカメラと撮像対象との最短離間距離を求める区画別距離データ算出手段、
前記Ｗｅｂカメラが取得した画像データから撮像対象とされた人物の体の前面側の少なくとも一部を特徴点として認識する特徴点認識手段、
前記特徴点認識手段により特徴点として認識された撮像領域上の位置に対応する前記分割区画の最短離間距離と撮像深度の設定値に基いて人物用の撮像空間とする撮像深度方向の最長離間距離を求める最長離間距離算出手段、
前記最長離間距離算出手段によって求められた最長離間距離と前記分割区画毎の最短離間距離の各々を比較し、最短離間距離が最長離間距離と同等以下である分割区画を人物の撮像領域として規定する一方、最短離間距離が最長離間距離を越える分割区画を背景の撮像領域として規定する撮像領域分割手段、
前記撮像領域分割手段により背景の撮像領域として規定された全ての分割区画の画像データにマスキングのための画像処理を施すマスキング手段、および、
前記撮像領域分割手段により人物の撮像領域として規定された全ての分割区画の画像データと前記マスキング手段により画像処理を施された画像データを合成し、配信用画像データとして前記ネットワークに送出する配信用画像データ出力手段として機能させることを特徴とした画像配信プログラム。[Appendix 11]
An image used for an image distribution system that images a person using a Web camera and distributes the image of the person to another computer via a computer connected to the Web camera and a network connected to the computer. A distribution program,
A microprocessor of a computer connected to the web camera;
A section-by-section distance data calculation unit that divides an imaging region that forms an imaging surface of the Web camera into fine sections and obtains the shortest separation distance between the Web camera and the imaging target for each divided section;
Feature point recognizing means for recognizing at least a part of the front side of the body of a person to be imaged from the image data acquired by the Web camera as a feature point;
The longest separation distance in the imaging depth direction as the imaging space for the person based on the set value of the shortest separation distance and the imaging depth of the divided section corresponding to the position on the imaging area recognized as the feature point by the feature point recognition means Means for calculating the longest separation distance,
The longest separation distance calculated by the longest separation distance and the shortest separation distance for each of the divided sections are compared, and a divided section whose shortest separation distance is equal to or less than the longest separation distance is defined as an imaging region of a person. On the other hand, an imaging area dividing means for defining a divided section where the shortest separation distance exceeds the longest separation distance as a background imaging area;
Masking means for performing image processing for masking on image data of all divided sections defined as background imaging areas by the imaging area dividing means; and
The image data of all the divided sections defined as the person's imaging area by the imaging area dividing unit and the image data subjected to the image processing by the masking unit are combined and sent to the network as distribution image data An image distribution program that functions as image data output means.

〔付記１２〕
前記最長離間距離算出手段の作動後、前記Ｗｅｂカメラと前記区画別距離データ算出手段と前記撮像領域分割手段と前記マスキング手段と前記配信用画像データ出力手段を所定周期毎に繰り返し作動させるようにしたことを特徴とした付記１１記載の画像配信プログラム。[Appendix 12]
After the operation of the longest separation distance calculation means, the Web camera, the section-by-compartment distance data calculation means, the imaging region division means, the masking means, and the distribution image data output means are repeatedly operated at predetermined intervals. The image delivery program according tosupplementary note 11, characterized in that.

本発明は、テレビ会議システム，一般家庭内のテレビ電話，カメラを利用した通信教育，家電のビデオカメラや携帯電話等で撮像された画像を人物と背景に分離する際に利用できる。 INDUSTRIAL APPLICABILITY The present invention can be used when a video conference system, a video phone in a general home, distance learning using a camera, and an image captured by a video camera or a mobile phone of a home appliance are separated into a person and a background.

１画像配信システム
２コンピュータ
３Ｗｅｂカメラ
４ネットワーク
５マイクロプロセッサ（区画別距離データ算出手段，データ転送手段）
６ＲＯＭ
７ＲＡＭ
８インターフェイス
９入出力回路
１０カメラ本体
１１ズーム機構
１２マイクロプロセッサ（特徴点認識手段，最長離間距離算出手段，撮像領域分割手段，マスキング手段，配信用画像データ出力手段）
１３ＲＯＭ
１４不揮発性メモリ
１５ＲＡＭ
１６ハードディスクドライブ
１７インターフェイス
１８インターフェイス
１９入出力回路
２０キーボード
２１マウス
２２ディスプレイ
２３ドライブ
Ａ区画別距離データ算出手段
Ｂ特徴点認識手段
Ｃ最長離間距離算出手段
Ｄ撮像深度の設定値
Ｅ撮像領域分割手段
Ｆマスキング手段
Ｇ配信用画像データ出力手段
Ｈ人物
Ｉ背景DESCRIPTION OFSYMBOLS 1Image delivery system 2Computer 3Web camera 4Network 5 Microprocessor (distance-distance data calculation means, data transfer means)
6 ROM
7 RAM
8Interface 9 Input /output circuit 10Camera body 11Zoom mechanism 12 Microprocessor (feature point recognition means, longest separation distance calculation means, imaging area division means, masking means, distribution image data output means)
13 ROM
14Nonvolatile memory 15 RAM
16Hard disk drive 17Interface 18Interface 19 Input /output circuit 20Keyboard 21Mouse 22Display 23 Drive A Distance data calculation means B by division B Feature point recognition means C Longest separation distance calculation means D Imaging depth setting value E Imaging area dividing means F Masking Means G Distribution image data output means H Person I Background

Claims

Translated fromJapanese

前記最長離間距離算出手段の作動後、前記Ｗｅｂカメラと前記区画別距離データ算出手段と前記撮像領域分割手段と前記マスキング手段と前記配信用画像データ出力手段が所定周期毎に繰り返し作動することを特徴とした請求項１記載の画像配信システム。 After the operation of the longest separation distance calculation means, the Web camera, the section-specific distance data calculation means, the imaging area division means, the masking means, and the distribution image data output means are repeatedly operated at predetermined intervals. The image distribution system according to claim 1.

前記主プログラムは、前記最長離間距離算出手段の作動後、前記Ｗｅｂカメラと前記区画別距離データ算出手段と前記撮像領域分割手段と前記マスキング手段と前記配信用画像データ出力手段を所定周期毎に繰り返し作動させるように構成されていることを特徴とした請求項５記載の画像配信プログラム。After the operation of the longest separation distance calculation means, the main program repeats the Web camera, the section-specific distance data calculation means, the imaging area division means, the masking means, and the distribution image data output means at predetermined intervals. 6. The image distribution program according toclaim 5 , wherein the image distribution program is configured to operate.