JP2018004916A - Focus detecting device - Google Patents

Abstract

Translated fromJapanese

【課題】 追尾対象の被写体が一時的に検出できなくなった場合であっても、再度追尾対象が検出された際に被写体追尾ＡＦを再開することが可能な焦点検出装置を提供する。【解決手段】 焦点検出装置は、画像信号に基づいて追尾対象を検出する検出手段（１１１）と、追尾対象に対してのデフォーカス量に対応する情報を含む追尾対象の位置情報を取得する位置情報取得手段と、追尾対象の光軸方向を含む移動結果に関する情報を取得する移動結果取得手段と、追尾対象の少なくとも一部が含まれるように焦点検出領域を設定する設定手段と、焦点検出領域に対応する画像信号に基づいてフォーカスレンズの位置を調整する焦点調節手段を備える。検出手段が追尾対象を検出できないときは、移動結果取得手段が取得した移動結果に基づいた位置に、焦点検出領域を設定するとともにフォーカスレンズの位置を調整する。【選択図】 図９PROBLEM TO BE SOLVED: To provide a focus detection device capable of resuming subject tracking AF when a tracking target is detected again even when a tracking target subject cannot be detected temporarily. A focus detection device detects a tracking target based on an image signal, and a position for acquiring position information of the tracking target including information corresponding to a defocus amount with respect to the tracking target. Information acquisition means, movement result acquisition means for acquiring information related to the movement result including the optical axis direction of the tracking target, setting means for setting the focus detection area so that at least a part of the tracking target is included, and focus detection area Focus adjusting means for adjusting the position of the focus lens based on the image signal corresponding to. When the detection unit cannot detect the tracking target, the focus detection region is set at the position based on the movement result acquired by the movement result acquisition unit, and the position of the focus lens is adjusted. [Selection] Figure 9

Description

Translated fromJapanese

本発明は、カメラ・ビデオカメラ等の撮像装置における焦点検出装置に関する。  The present invention relates to a focus detection apparatus in an imaging apparatus such as a camera / video camera.

近年、カメラ、ビデオカメラ等の撮像装置において、動いている被写体に自動的に合焦させ続ける被写体追尾のＡＦ（オートフォーカス）機能が一般的な機能となっている。動いている被写体を認識する方法として、被写体の動きベクトルを用い、動いた方向の被写体にピントを合わせ続ける方法、または被写体の顔、服装、色等の特徴を記憶してその特徴にピントを合わせ続ける方法等が知られている。  2. Description of the Related Art In recent years, in an imaging apparatus such as a camera or a video camera, an AF (autofocus) function for subject tracking that keeps automatically focusing on a moving subject has become a common function. As a method for recognizing a moving subject, use the subject's motion vector to keep the subject in focus in the moving direction, or memorize the subject's face, clothing, color, and other features and focus on that feature. A method of continuing is known.

特許文献１には、被写体のフレーム間での移動量を算出することにより取得した被写体の動きベクトルを用いて被写体を追尾する技術が開示されている。これにより、追尾対象の被写体が画角外へ移動した（フレームアウト）場合であっても追尾対象の被写体の位置を推定することができる。  Patent Document 1 discloses a technique for tracking a subject using a motion vector of the subject obtained by calculating the amount of movement of the subject between frames. Thus, the position of the tracking target subject can be estimated even when the tracking target subject has moved out of the angle of view (out of frame).

特開２０１４−２０６６４０号公報JP 2014-206640 A

しかしながら、特許文献１では、追尾対象の被写体が画角内の物陰などに隠れて、被写体を見失う（ロストする）状況について十分に考慮されていない。  However,Patent Document 1 does not fully consider the situation in which the subject to be tracked is hidden behind the object in the angle of view and the subject is lost (lost).

そこで本発明では、被写体が物陰に一時的に隠れる場合のように、追尾対象の被写体が一時的に検出できなくなった場合であっても、再度追尾対象の被写体が検出された際に被写体追尾のＡＦを再開することが可能な焦点検出装置を提供することを目的とする。  Therefore, in the present invention, even when the subject to be tracked cannot be detected temporarily, such as when the subject is temporarily hidden behind the object, the subject tracking is performed when the subject to be tracked is detected again. An object of the present invention is to provide a focus detection apparatus capable of resuming AF.

上記目的を達成するために、本発明の一実施形態にかかる焦点検出装置は、フォーカスレンズを備える撮像光学系により結像された被写体像を撮像する撮像素子から出力された画像信号に基づいて焦点検出領域内に位置する追尾対象の被写体を検出する検出手段と、
前記画像信号に基づいて、前記検出された追尾対象の被写体に対してのデフォーカス量に対応する情報を含む前記検出された追尾対象の位置情報を取得する位置情報取得手段と、前記取得した位置情報を用いて前記追尾対象の被写体の光軸方向を含む移動結果に関する情報を取得する移動結果取得手段と、前記追尾対象の被写体の少なくとも一部が含まれるように前記焦点検出領域を設定する設定手段と、前記設定された焦点検出領域に対応する画像信号に基づいて前記フォーカスレンズの位置を調整する焦点調節手段と、を備え、前記検出手段が前記追尾対象の被写体を検出できないときは、前記移動結果取得手段が取得した移動結果に基づいた位置に、前記設定手段が前記焦点検出領域を設定するとともに前記焦点調節手段が前記フォーカスレンズの位置を調整することを特徴とする。In order to achieve the above object, a focus detection apparatus according to an embodiment of the present invention is based on an image signal output from an image sensor that captures a subject image formed by an imaging optical system including a focus lens. Detection means for detecting a subject to be tracked located within the detection area;
Based on the image signal, position information acquisition means for acquiring position information of the detected tracking target including information corresponding to a defocus amount with respect to the detected subject to be tracked, and the acquired position A setting for setting the focus detection area so as to include at least a part of the subject to be tracked, and a movement result obtaining unit that obtains information related to a movement result including an optical axis direction of the subject to be tracked using information; And a focus adjustment unit that adjusts the position of the focus lens based on an image signal corresponding to the set focus detection area, and when the detection unit cannot detect the subject to be tracked, The setting means sets the focus detection area at a position based on the movement result acquired by the movement result acquisition means, and the focus adjustment means sets the focus detection area to the position. And adjusting the position of Surenzu.

本発明のその他の形態については、発明を実施するための形態で説明する。  Other embodiments of the present invention will be described in the embodiments for carrying out the invention.

本発明によれば、画角内に存在する追尾対象の被写体が一時的に検出できなくなった場合であっても、再度追尾対象の被写体が検出された際に被写体追尾のＡＦを再開することが可能な焦点検出装置を提供することを目的とする。  According to the present invention, AF of subject tracking can be resumed when a tracking target subject is detected again even when the tracking target subject existing within the angle of view cannot be detected temporarily. An object is to provide a possible focus detection device.

本発明の実施例であるのカメラの構成を示すブロック図。1 is a block diagram showing the configuration of a camera that is an embodiment of the present invention.実施例のカメラに用いられる撮像センサの構成を示す図。The figure which shows the structure of the image sensor used for the camera of an Example.実施例における焦点検出領域を示す図。The figure which shows the focus detection area | region in an Example.実施例における顔検出結果のＡＦ枠および顔枠を示す図。The figure which shows AF frame and face frame of the face detection result in an Example.被写体移動時の顔枠を示す図。The figure which shows the face frame at the time of a subject movement.被写体移動時のＡＦ枠を示す図。The figure which shows AF frame at the time of subject movement.被写体移動時の検出結果グラフと枠設定の関係図。FIG. 5 is a relationship diagram between a detection result graph and frame setting when a subject is moved.実施例のＡＦ処理を示すフローチャート。The flowchart which shows the AF process of an Example.実施例の被写体トラッキング処理を示すフローチャート。6 is a flowchart illustrating subject tracking processing according to the embodiment.実施例のロスト時処理を示すフローチャート。The flowchart which shows the process at the time of a loss of an Example.実施例のトラッキング枠設定処理を示すフローチャート。The flowchart which shows the tracking frame setting process of an Example.実施例のロスト後の再復帰処理を示すフローチャート。The flowchart which shows the re-restoration process after the loss of an Example.

以下、この発明の実施例について図面を参照しながら説明する。ここでは、焦点検出装置を備える撮像装置であるレンズ一体型のカメラに本発明を適用した場合の一実施例について説明をする。本実施例のカメラは、焦点検出領域に存在する追尾対象の被写体（以下、追尾対象と呼ぶことがある）を検出できないとき、追尾対象を見失ったと判断する。そして、追尾対象を見失う前までの移動情報に基づいて追尾対象の位置（光軸方向における位置を含む）を予測し、予測した位置を含むように焦点検出領域を設定するとともに予測した位置に合焦するようにフォーカスレンズの位置を調整する。また、本実施例のカメラは、追尾対象を見失うと、焦点検出領域内における追尾対象よりも近くの被写体（近距離被写体と呼ぶことがある）の有無を判定する。そして、近距離被写体が有ると判定した場合は、追尾対象が一時的に近距離被写体の陰に隠れたものと判断し、追尾対象が近距離被写体の陰から再度現れる（復帰する）際の追尾対象の位置を予測し、その位置に合わせて焦点検出領域を設定する。これにより、追尾対象を一時的に見失った場合でも、追尾対象が復帰すれば再度追尾を開始することができる。また、カメラは距離情報を含む追尾対象の位置を予測するため、追尾対象の復帰前に追尾対象の予測位置に合わせて焦点を調整しておくこともできる。以下、より詳細に説明をする。  Embodiments of the present invention will be described below with reference to the drawings. Here, an embodiment in which the present invention is applied to a lens-integrated camera that is an image pickup apparatus including a focus detection device will be described. The camera according to the present embodiment determines that the tracking target has been lost when the tracking target subject (hereinafter sometimes referred to as the tracking target) existing in the focus detection area cannot be detected. Based on the movement information before losing sight of the tracking target, the position of the tracking target (including the position in the optical axis direction) is predicted, the focus detection area is set to include the predicted position, and the predicted position is adjusted. Adjust the position of the focus lens so that it is in focus. Further, when the camera of this embodiment loses sight of the tracking target, the camera determines whether or not there is a subject (sometimes referred to as a short-distance subject) closer to the tracking target in the focus detection area. If it is determined that there is a short-distance subject, it is determined that the tracking target is temporarily hidden behind the short-distance subject, and tracking is performed when the tracking target appears again (returns) behind the short-distance subject. A target position is predicted, and a focus detection area is set according to the predicted position. Thereby, even when the tracking target is temporarily lost, tracking can be started again when the tracking target returns. In addition, since the camera predicts the position of the tracking target including the distance information, the focus can be adjusted in accordance with the predicted position of the tracking target before the tracking target is returned. This will be described in more detail below.

図１は、本発明の実施例である、焦点検出装置を含むカメラ（デジタルスチルカメラまたはビデオカメラ）の構成を示すブロック図である。本実施例のカメラＣは、撮像光学系を有するレンズユニット１００と、撮像光学系により結像された被写体像を光電変換、すなわち撮像する撮像素子１０１と、撮像素子１０１の出力を受けて、焦点検出用の画像信号を取得する分割像取得回路１０２を備える。さらに、カメラＣは、分割像取得回路１０２により取得された焦点検出用の画像信号を用いて相関演算を行う位相差検出用アクセラレータ回路１０３と、撮像センサ１０１からの出力を受けて撮像信号を取得する撮像信号処理回路１０４を備える。また、取得した撮像信号を一時的に保持する画像メモリ１０７、所定の映像データフォーマットに変換する画像処理回路１０５、画像を記録媒体に記録する記録回路１０６を備える。また、カメラＣが備えるＣＰＵ１０９は制御手段であり、上述の回路の動作を制御する各種処理、オートフォーカス機能による焦点位置の取得、レンズ駆動の制御などを行う。加えて、カメラＣは、ＣＰＵ１０９が扱うプログラムやデータを保持するメモリ１０８、レンズユニット１００内のフォーカスや絞り等を駆動するレンズ駆動回路１１０を備える。カメラＣはさらに、撮像信号処理回路１０４により取得された撮像信号を用いて被写体を検出する被写体抽出回路１１１を備える。この被写体抽出回路１１１により抽出された被写体の形状、位置などの被写体情報を保持し、異なるフレーム間で被写体情報を比較することで、画像中の追尾対象の移動方向などをＣＰＵ１０９によって算出する機能等を実現することができる。各構成について説明を行う。  FIG. 1 is a block diagram showing a configuration of a camera (digital still camera or video camera) including a focus detection apparatus according to an embodiment of the present invention. The camera C of the present embodiment receives alens unit 100 having an imaging optical system, animage sensor 101 that photoelectrically converts a subject image formed by the imaging optical system, that is, animage sensor 101, an output of theimage sensor 101, and receives a focus. A dividedimage acquisition circuit 102 that acquires an image signal for detection is provided. Further, the camera C obtains an imaging signal by receiving an output from theimaging sensor 101 and a phase differencedetection accelerator circuit 103 that performs a correlation calculation using the focus detection image signal obtained by the dividedimage obtaining circuit 102. The imagingsignal processing circuit 104 is provided. In addition, animage memory 107 that temporarily holds the acquired imaging signal, animage processing circuit 105 that converts the image signal into a predetermined video data format, and arecording circuit 106 that records an image on a recording medium are provided. The CPU 109 provided in the camera C is a control unit, and performs various processes for controlling the operation of the above-described circuit, acquisition of a focal position by an autofocus function, control of lens driving, and the like. In addition, the camera C includes amemory 108 that stores programs and data handled by the CPU 109 and alens driving circuit 110 that drives a focus, an aperture, and the like in thelens unit 100. The camera C further includes asubject extraction circuit 111 that detects a subject using the imaging signal acquired by the imagingsignal processing circuit 104. A function for holding the subject information such as the shape and position of the subject extracted by thesubject extraction circuit 111 and calculating the moving direction of the tracking target in the image by the CPU 109 by comparing the subject information between different frames. Can be realized. Each configuration will be described.

レンズユニット１００が有する撮像光学系は、フォーカスレンズ、ズームレンズ、絞り等を含む。  The imaging optical system included in thelens unit 100 includes a focus lens, a zoom lens, a diaphragm, and the like.

撮像素子１０１は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を複数の画素のそれぞれに設けられたフォトダイオードにより光電変換する。撮像センサ１０１の画素構成について図２を用いて説明する。  Theimage sensor 101 is composed of a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and photoelectrically converts a subject image by a photodiode provided in each of a plurality of pixels. A pixel configuration of theimage sensor 101 will be described with reference to FIG.

図２では、撮像素子１０１と撮像素子１０１の一部である画素ブロック２０１の拡大図とを示している。撮像素子１０１ベイヤー配列型の撮像素子となっている。画素ブロック２０１中の４画素において、Ｒは赤のカラーフィルタを備えた画素（以下、Ｒ画素という）を、Ｂは青のカラーフィルタを備えた画素（以下、Ｂ画素という）を、Ｇ１，Ｇ２は緑のカラーフィルタを備えた画素（以下、Ｇ１、Ｇ２画素という）示す。各画素は、１つのマイクロレンズを共有して２分割された光電変換部が形成された構成となっている。たとえばＲ画素は対をなす光電変換部２０２、２０３を有し、同様にＧ画素、Ｂ画素等も分割されており、それぞれ光電変換部２０４〜２０９のように構成されている。各画素では、入射する光をマイクロレンズで瞳分割することで、対の光電変換部上に視差を有する対の被写体像が形成される。光電変換部２０２〜２０９はそれぞれ、光電変換により電荷を蓄積する。このような構成のセンサを用いた撮像システムでは、光電変換部２０２により蓄積された電荷に基づく信号であるＡ像信号と、光電変換部２０３により蓄積された電荷に基づく信号であるＢ像信号を加算すると、Ｒ画素の撮像用信号となる。一方で、Ａ像信号とＢ像信号とを別に扱うことで、左右の視差を有する分割された像となり、位相差方式により焦点を検出するための元信号となる。  FIG. 2 shows animage sensor 101 and an enlarged view of apixel block 201 that is a part of theimage sensor 101. Theimage sensor 101 is a Bayer array type image sensor. Among the four pixels in thepixel block 201, R is a pixel having a red color filter (hereinafter referred to as R pixel), B is a pixel having a blue color filter (hereinafter referred to as B pixel), G1, G2 Indicates a pixel having a green color filter (hereinafter referred to as G1, G2 pixels). Each pixel has a configuration in which a photoelectric conversion unit that is divided into two by sharing one microlens is formed. For example, the R pixel has a pair ofphotoelectric conversion units 202 and 203. Similarly, the G pixel and the B pixel are also divided, and are configured asphotoelectric conversion units 204 to 209, respectively. In each pixel, incident light is divided into pupils by a microlens to form a pair of subject images having parallax on the pair of photoelectric conversion units. Each of thephotoelectric conversion units 202 to 209 accumulates electric charges by photoelectric conversion. In the imaging system using the sensor having such a configuration, an A image signal that is a signal based on the charge accumulated by thephotoelectric conversion unit 202 and a B image signal that is a signal based on the charge accumulated by thephotoelectric conversion unit 203 are received. When added, an R pixel imaging signal is obtained. On the other hand, by separately handling the A image signal and the B image signal, a divided image having left and right parallax is obtained, and an original signal for detecting a focus by a phase difference method.

撮像信号処理回路１０４は、撮像信号を取得する手段であり、撮像センサ１０１から各画素の対の光電変換部からの出力信号であるＡ像信号とＢ像信号が入力されると、最初にＡ像信号とＢ像信号を加算し、撮像用信号（Ａ＋Ｂ信号）を取得する。その後、取得した撮像用信号に対して光学補正や電気的な補正処理を行う。補正処理が行われた撮像用信号は、たとえば撮像画像として記録される場合には、画像処理回路１０５、画像メモリ１０７を介して所定のフォーマット（ＭＰＥＧ２やＭＰ４、ＪＰＧなどの動画／静止画像形式）に変換される。そして、記録回路１０６によって記録メディアに記録される。分割像取得回路１０２は、焦点検出用信号を取得する手段であり、各画素の対の光電変換部のそれぞれの蓄積電荷に応じた電圧を有する出力信号であるＡ像信号及びＢ像信号を、焦点検出に用いられる焦点検出用信号として読み出す。分割像取得回路１０２において、あらかじめ設定されていた所定の設定によって指定の圧縮処理および光学的な歪みの補正等の補正処理が行われ、各種処理が施されたＡ像信号及びＢ像信号は位相差検出用アクセラレータ回路１０３へ出力される。  The imagingsignal processing circuit 104 is a means for acquiring an imaging signal. When an A image signal and a B image signal, which are output signals from the photoelectric conversion unit of each pixel pair, are input from theimaging sensor 101, first, the A signal The image signal and the B image signal are added to obtain an imaging signal (A + B signal). Thereafter, optical correction and electrical correction processing are performed on the acquired imaging signal. When the image pickup signal subjected to the correction process is recorded as a picked-up image, for example, a predetermined format (moving image / still image format such as MPEG2, MP4, JPG, etc.) via theimage processing circuit 105 and theimage memory 107. Is converted to Then, it is recorded on a recording medium by therecording circuit 106. The dividedimage acquisition circuit 102 is a means for acquiring a focus detection signal, and outputs an A image signal and a B image signal, which are output signals having voltages corresponding to the accumulated charges of the photoelectric conversion units of each pixel pair, Read out as a focus detection signal used for focus detection. In the dividedimage acquisition circuit 102, a specified compression process and a correction process such as optical distortion correction are performed according to a predetermined setting, and the A image signal and the B image signal subjected to various processes are processed. It is output to theaccelerator circuit 103 for phase difference detection.

位相差検出用アクセラレータ回路１０３は、焦点検出手段であり、分割像取得回路１０２により取得されたＡ像信号及びＢ像信号を用いて相関演算を行い、Ａ像信号およびＢ像信号の位相差を取得し、ファーカスレンズのデフォーカス量を検出する。  The phase differencedetection accelerator circuit 103 is a focus detection unit, performs correlation calculation using the A image signal and the B image signal acquired by the dividedimage acquisition circuit 102, and calculates the phase difference between the A image signal and the B image signal. Acquire and detect the defocus amount of the lens.

被写体抽出回路１１１は、撮像信号処理回路１０４により取得された撮像信号に基づいて被写体を検出することができる検出手段であり、撮像信号処理回路１０４からの撮像信号に画像伸長を施し、顔、色、形状などの被検体の特徴を用いて被写体を検出する。追尾対象の被写体がユーザの選択又は被写体抽出回路１１１による検出結果を用いた自動選択により選択されると、被写体抽出回路１１１は追尾対象の被写体を検出することができる。  Thesubject extraction circuit 111 is a detection unit that can detect a subject based on the imaging signal acquired by the imagingsignal processing circuit 104. Thesubject extraction circuit 111 performs image decompression on the imaging signal from the imagingsignal processing circuit 104 to obtain a face, color, and the like. The subject is detected using the characteristics of the subject such as the shape. When the subject to be tracked is selected by user selection or automatic selection using the detection result by thesubject extraction circuit 111, thesubject extraction circuit 111 can detect the subject to be tracked.

ＣＰＵ１０９はレンズ駆動制御手段として機能することができ、算出されたデフォーカス量に基づいて、レンズ駆動手段であるレンズ駆動回路１１０を通じてレンズユニット１００のフォーカスレンズを駆動する。これにより、撮像光学系の合焦状態が得られる。以下の説明において、撮像面位相差検出方式による焦点検出およびフォーカスレンズの駆動の制御をまとめて、撮像面位相差ＡＦという。本実施例においては、ＣＰＵ１０９、及びレンズ駆動回路１１０により被写体の位置情報に基づいてフォーカスレンズの位置を調整する焦点調節手段を構成することができる。また、位相差検出用アクセラレータ回路１０３、ＣＰＵ１０９、及びレンズ駆動回路１１０により撮像面位相差ＡＦを行う焦点検出装置を構成することができる。  The CPU 109 can function as a lens drive control unit, and drives the focus lens of thelens unit 100 through thelens drive circuit 110 that is a lens drive unit based on the calculated defocus amount. Thereby, the in-focus state of the imaging optical system is obtained. In the following description, focus detection and focus lens drive control by the imaging surface phase difference detection method are collectively referred to as imaging surface phase difference AF. In this embodiment, the CPU 109 and thelens driving circuit 110 can constitute a focus adjusting unit that adjusts the position of the focus lens based on the position information of the subject. In addition, a focus detection device that performs imaging plane phase difference AF can be configured by the phase differencedetection accelerator circuit 103, the CPU 109, and thelens driving circuit 110.

また、ＣＰＵ１０９は、被写体抽出回路１１１により検出された被写体の位置情報を取得する、位置情報取得手段としても機能することができる。ＣＰＵ１０９は、被写体抽出回路１１１により検出された被写体の位置情報を取得することにより、画角内における被写体のｘｙ平面上における位置情報を取得する位置情報取得手段として機能することができる。但し、ｘ方向及びｙ方向はそれぞれ、撮像画像の横方向及び縦方向を指す。尚、被写体の位置情報として、ｘｙ平面上における位置情報だけでなく、ｚ軸方向（光軸方向）における位置情報も含む位置情報を取得してもよい。ｚ軸方向における位置情報として、ｚ軸方向における被写体までの距離のほか、被写体に対してのデフォーカス量及びデフォーカス量に対応する情報を用いることができる。被写体のｚ軸方向における位置情報を取得することにより、追尾対象の被写体が復帰した際、より高速に追尾対象の被写体に対してピントを合わせることができると考えられる。また、ＣＰＵ１０９は、異なるフレームで取得された画像信号に基づく被写体の検出結果を比較することにより、被写体の移動結果に関する情報を取得する、移動結果取得手段として機能することもできる。移動結果に関する情報は、前フレームとの間に生じた被写体の移動よる次フレームにおける被写体の位置に関する情報であり、移動の前後による移動量がわかれば良い。例えば移動ベクトルを用いることができる。  The CPU 109 can also function as a position information acquisition unit that acquires the position information of the subject detected by thesubject extraction circuit 111. The CPU 109 can function as a position information acquisition unit that acquires position information of the subject on the xy plane within the angle of view by acquiring the position information of the subject detected by thesubject extraction circuit 111. However, the x direction and the y direction indicate the horizontal direction and the vertical direction of the captured image, respectively. Note that position information including not only position information on the xy plane but also position information in the z-axis direction (optical axis direction) may be acquired as the position information of the subject. As position information in the z-axis direction, in addition to the distance to the subject in the z-axis direction, information corresponding to the defocus amount and the defocus amount with respect to the subject can be used. By acquiring the position information of the subject in the z-axis direction, it can be considered that the tracking target subject can be focused more quickly when the tracking target subject returns. The CPU 109 can also function as a movement result acquisition unit that acquires information on the movement result of the subject by comparing the detection results of the subject based on the image signals acquired in different frames. The information related to the movement result is information related to the position of the subject in the next frame due to the movement of the subject generated between the previous frame and it is only necessary to know the amount of movement before and after the movement. For example, a movement vector can be used.

さらに、ＣＰＵ１０９は、画角内に焦点検出領域を設定する設定手段としても機能することができる。ＣＰＵ１０９は、追尾対象の被写体が選択されている場合は追尾対象の被写体の少なくとも一部が焦点検出領域に含まれるように焦点検出領域を設定する。本実施例において、設定手段は焦点検出領域の位置及び大きさを決定することができるが、位置のみを決定してもよい。尚、設定手段は、追尾対象の被写体が選択されている場合であっても常に追尾対象の被写体の少なくとも一部が焦点検出領域に含まれるように焦点検出領域を設定しなくてもよい。詳しくは後述するが、被写体抽出回路１１１が追尾対象の被写体を検出できなかった場合は、追尾対象の被写体が現れる位置を予測し、その位置に焦点検出領域を設定することが好ましい。  Furthermore, the CPU 109 can also function as a setting unit that sets a focus detection area within the angle of view. When the tracking target subject is selected, the CPU 109 sets the focus detection region so that at least a part of the tracking target subject is included in the focus detection region. In the present embodiment, the setting means can determine the position and size of the focus detection area, but may determine only the position. Note that the setting unit does not have to set the focus detection area so that at least a part of the tracking target object is always included in the focus detection area even when the tracking target object is selected. As will be described in detail later, when thesubject extraction circuit 111 cannot detect the subject to be tracked, it is preferable to predict a position where the subject to be tracked appears and set a focus detection region at that position.

図３は本実施例のカメラＣの焦点検出領域（以下、ＡＦ枠と呼ぶことがある）を示したものである。本実施例では、撮像範囲３００内に水平３枠×垂直３枠の計９つのＡＦ枠３０１を設定しており、９枠同時にデフォーカス量を取得可能となっている。便宜上、９つのＡＦ枠３０１を図示のようにそれぞれ、Ｗｉｎｄｏｗ１〜Ｗｉｎｄｏｗ９と称する。  FIG. 3 shows a focus detection area (hereinafter sometimes referred to as an AF frame) of the camera C of the present embodiment. In the present embodiment, a total of nineAF frames 301 of 3 horizontal frames × 3 vertical frames are set in theimaging range 300, and the defocus amount can be acquired simultaneously for 9 frames. For convenience, the nineAF frames 301 are respectively referred to asWindow 1 to Window 9 as illustrated.

次に図４（（ａ）、および（ｂ））は本実施例において人を撮像する際に設定される顔枠４０３とＡＦ枠４０４を示したものである。図４には、撮像範囲（画角）４００の中に、被写体として人の顔４０１（胴体部は不図示）と遠距離の背景（空白部分）、および柱４０２をとらえているシーンを示す。このシーンにおいて、被写体抽出回路１１１による顔検出結果によって顔枠４０３が設定される。さらに、設定された顔枠に基づいてＡＦ枠４０４が設定される。顔枠４０３は検出した顔の外周を一つの枠としており、顔の大きさにもよるが、図４においては３×３に顔枠を９分割した枠をＡＦ枠４０４として設定し、各９枠個別に測距、デフォーカス量を算出する。図示していないが、設定される顔枠４０３が小さくなれば、段階的に２×２の４枠でＡＦ枠を構成したり、１×１の１枠でＡＦ枠を構成し、測距する構成となっている。本実施例では、３×３の９枠でＡＦ枠４０４を構成する場合を例にとり、以後の説明を行う。  Next, FIGS. 4A and 4B show aface frame 403 and anAF frame 404 that are set when a person is imaged in this embodiment. FIG. 4 shows a scene in which an imaging range (angle of view) 400 captures a human face 401 (the body portion is not shown), a long distance background (blank portion), and apillar 402 as subjects. In this scene, aface frame 403 is set based on the face detection result by thesubject extraction circuit 111. Further, anAF frame 404 is set based on the set face frame. In theface frame 403, the outer periphery of the detected face is a single frame, and depending on the size of the face, in FIG. Ranging and defocusing amounts are calculated for each frame. Although not shown, when theface frame 403 to be set becomes smaller, the AF frame is composed of 4 frames of 2 × 2 stepwise, or the AF frame is composed of 1 frame of 1 × 1 to measure the distance. It has a configuration. In the present embodiment, the following description will be given by taking as an example a case where theAF frame 404 is configured by 3 × 3 9 frames.

図５（ａ）〜（ｆ）には、人が移動しているときに顔枠４０３が顔４０１を追尾している様子を所定時間間隔でサンプリングした際の各フレームにおける画像５００と顔枠４０３を示す。図５（ａ）に示した時刻ｔ_１では、追尾対象である顔４０１が画像５００のｘ方向（紙面横方向）においてＸ_１の位置にあり、顔検出により顔枠４０３が表示されている状態である。顔４０１は矢印で示した移動方向５０１で示される方向へ移動している。なお、この移動方向５０１はカメラへｔ近づく方向の移動でもあり、画角上の平面方向（Ｘ，Ｙ方向）と、カメラの光軸方向（Ｚ方向）へも等速で歩くまたは走る等の移動しているものとする。顔４０１は時刻ｔ_２でＸ_２に（図５（ｂ））、時刻ｔ_３でＸ_３に（図５（ｃ））、時刻ｔ_４でＸ_４に（図５（ｄ））移動している。時刻ｔ_３では顔４０１の一部が柱に隠れてしまっており、顔検出ができておらず、追尾対象を見失った（ロスト）状態となっている。時刻ｔ_４でも顔４０１は完全に柱４０２に隠れており、被写体抽出回路１１１は追尾対象を完全にロストした状態である。ただ、顔４０１が等速で移動しているとすると、顔４０１はＸ_４の位置を中心に存在していることになる。FIGS. 5A to 5F show animage 500 and aface frame 403 in each frame when a state in which theface frame 403 tracks theface 401 when a person is moving is sampled at predetermined time intervals. Indicates. At time t₁ shown in FIG. 5A, theface 401 to be tracked is at the position X₁ in the x direction (horizontal direction of the paper) of theimage 500 and theface frame 403 is displayed by face detection. It is. Theface 401 is moving in the direction indicated by the movingdirection 501 indicated by the arrow. Thismovement direction 501 is also a movement in the direction of approaching t to the camera, such as walking or running at a constant speed in the plane direction (X, Y direction) on the angle of view and the optical axis direction (Z direction) of the camera. Assume that it is moving. The_{X 2} in theface 401 times_{t 2} (FIG. 5 (b)), the_{X 3} at time_{t 3} (FIG. 5 (c)), the_{X 4} at time_{t 4} (FIG. 5 (d)) to move Yes. Part of the time t₃ inface 401 has got hidden in the pillar, not able to face detection, has become a lost sight of the tracking target (lost) state. Time t₄ even face 401 is hidden completelycolumn 402, subject extractingcircuit 111 is a state of complete lost the tracking target. However, if theface 401 is moving with constant velocity, theface 401 will be present around the position of the X_4.

時刻ｔ_５では顔４０１はＸ_５に位置しており（図５（ｅ））、顔４０１の約半分が見えているが、この段階では被写体抽出回路１１１では顔と検出できない。時刻ｔ_６では顔４０１はＸ_６に移動し、柱４０１から完全に顔４０１がでており（図５（ｆ））、追尾対象の顔４０１を再び検出でき、顔枠４０３を再度設定できている。図５（（ａ）〜（ｆ））に示したこのようなシーンにおけるＡＦ枠４０４の動きを、図６（（ａ）〜（ｆ））に示している。なお図５（ａ）〜図５（ｆ）にそれぞれ図６（ａ）〜図６（ｆ）が対応している。Time_{t 5} theface 401 is located in_{X 5} (FIG. 5 (e)), but is visible about half of theface 401, can not be detected and a face in theobject extraction circuit 111 at this stage. Face 401 At time_{t 6} is moved to_{X 6,} which completely face 401 out of the column 401 (FIG. 5 (f)), thetracking target face 401 can be detected again, and can set theface frame 403 again Yes. The movement of theAF frame 404 in such a scene shown in FIG. 5 ((a) to (f)) is shown in FIG. 6 ((a) to (f)). FIGS. 6A to 6F correspond to FIGS. 5A to 5F, respectively.

時刻ｔ_１で顔４０１がＸ_１の位置で顔検出されているとき、ＡＦ枠４０４は３×３の９枠が設定されている（図６（ａ））。顔４０１は時刻ｔ_２でＸ_２に移動しているが、顔検出されており、図６（ａ）と同様に９枠のＡＦ枠４０４が設定されている（図６（ｂ））。尚、ここでは被写体抽出回路１１１において検出された顔４０１が同一であるか特徴量から判断を行っている。検出された顔４０１が同一であると判断されると、得られた各フレームの画像を比較することで追尾対象である顔４０１の移動方向に関する情報である動きベクトルを取得し、この取得結果を用いてＸＹ平面上での追尾対象の動きを追尾（トラッキング）を行う。また、各フレームのＡＦ枠４０４による焦点状態の検出結果を比較することで、Ｚ方向の動きもトラッキングを行う。When theface 401 at time_{t 1} is the face detected by the position of the_{X 1,}AF frame 404 is set 9 frame of 3 × 3 (FIG. 6 (a)). While theface 401 is moving at time_{t 2} to_{X 2,} which is detected face,AF frame 404 similarly 9 frame and FIGS. 6 (a) is set (Figure 6 (b)). Here, it is determined from the feature amount whether thefaces 401 detected by thesubject extraction circuit 111 are the same. When it is determined that the detected faces 401 are the same, a motion vector, which is information regarding the moving direction of theface 401 to be tracked, is obtained by comparing the images of the obtained frames, and the obtained result is It is used to track (track) the movement of the tracking target on the XY plane. Further, the movement in the Z direction is also tracked by comparing the detection result of the focus state by theAF frame 404 of each frame.

時刻ｔ_３では顔４０１はＸ_３に移動している（図６（ｃ））。時刻ｔ_３におけるＡＦ枠４０４の設定は、直前のフレームを取得した時刻ｔ_２までに取得した顔４０１の移動方向に関する情報に基づいて時刻ｔ_３における顔４０１の位置の予測した結果に基づいて行われる。移動方向に関する情報は、追尾対象が移動する方向だけでなく、速度（移動量）の情報も含むことが好ましい。また、ｘｙ平面上における方向だけでなく、ｚ軸方向における移動の情報も含まれることが好ましい。Face 401 at time_{t 3} is moved in_{X 3} (Figure 6 (c)). SettingAF frame 404 at time t_3, the rows based on a prediction of the position of theface 401 at time t₃ based on the information on the direction of movement of theface 401 obtained by the time t₂ which has acquired the previous frame Is called. It is preferable that the information regarding the moving direction includes not only the direction in which the tracking target moves but also information on the speed (movement amount). Further, it is preferable that information on movement in the z-axis direction as well as the direction on the xy plane is included.

時刻ｔ_３では、顔４０１の一部が柱４０２に隠れてしまっていて、被写体抽出回路１１１は顔４０１を検出できていない。しかしながら、時刻ｔ_１、ｔ_２で得られた各フレームの画像から取得した移動方向に関する情報に基づいてＡＦ枠４０４を設定することで、９枠のうち、Ｗｉｎｄｏｗ３、６、９がおよそ追尾対象の被写体（顔４０１）の位置をとらえている。またそれ以外のＷｉｎｄｏｗでは顔４０１よりも近距離にある柱４０２の位置をとらえており、柱４０２までの距離を測距することになる。時刻ｔ_４では顔４０１は完全に柱４０２に隠れており（図６（ｄ））、さらに、前のフレーム（図６（ｃ））ですでに顔検出できていない。また前のフレームの測距結果よって予測通りの測距結果（Ｗｉｎｄｏｗ３、６、９）に加えて、Ｗｉｎｄｏｗ１などで近距離側に被写体を捕捉できているので、このフレームでは、一旦ロストした顔４０１が再度現れる位置をサーチする動きを行う。具体的には、追尾対象（顔４０１）の移動方向５０１において、どこまで近距離被写体（柱４０２）が存在するのか、またどの位置で背景抜けして、追尾対象よりも遠距離側の測距結果が得られるか、をサーチする。それにより、顔４０１の移動方向５０１において、顔よりも近距離側に存在する被写体（柱４０２）と遠距離側に存在する被写体（背景）との境界の位置を取得し、この位置周辺に追尾対象が現れるものと予測してＡＦ枠４０４を設定する。追尾対象が現れると予測される境界の位置を出現予測位置とし、出現予測位置を含む位置もしくは出現予測位置よりも移動方向側にＡＦ枠４０４を設定するものとする。このような、被写体が再出現する位置を予測するために、追尾対象をロストした周辺から出現予測位置を捜索する動作を、周辺捜索動作とよぶ。周辺捜索動作においては、ＡＦ枠４０４の中心（Ｗｉｎｄｏｗ５の中心）が、動きベクトルから予測した、ｔ_４における顔４０１の中心位置に配置されるようにＡＦ枠が設定される。At time t₃ , a part of theface 401 is hidden behind thepillar 402, and thesubject extraction circuit 111 cannot detect theface 401. However, by setting theAF frame 404 based on the movement direction information acquired from the images of the frames obtained at the times t₁ and t₂ , among the nine frames, thewindows 3, 6, and 9 are approximately the tracking target. The position of the subject (face 401) is captured. In other windows, the position of thepillar 402 that is closer than theface 401 is captured, and the distance to thepillar 402 is measured. Time_{t 4} in theface 401 is hidden completely pillars 402 (FIG. 6 (d)), further, not be already face detection in the previous frame (Figure 6 (c)). Further, in addition to the distance measurement results as expected (Window 3, 6, 9) according to the distance measurement results of the previous frame, the subject can be captured on the short distance side by usingWindow 1 or the like. Move to search for the position where appears again. Specifically, in the movingdirection 501 of the tracking target (face 401), how far the near-distance subject (column 402) exists, and at which position the background is lost, and the distance measurement result on the far side from the tracking target To find out if As a result, in themovement direction 501 of theface 401, the position of the boundary between the subject (column 402) that is closer to the face than the face and the subject (background) that is on the far side is acquired, and tracking is performed around this position. TheAF frame 404 is set by predicting that an object appears. Assume that the position of the boundary predicted to appear as a tracking target is the appearance prediction position, and theAF frame 404 is set on the moving direction side from the position including the appearance prediction position or the appearance prediction position. Such an operation of searching for a predicted appearance position from the periphery where the tracking target is lost in order to predict a position where the subject reappears is called a peripheral search operation. In the peripheral search operation, the center of the AF frame 404 (the center of Window5) is predicted from the motion vector, the AF frame is set to be positioned at the center position of theface 401 at_{t 4.}

これにより、時刻ｔ_４において、時刻ｔ_３でＡＦ枠４０４の中心（Ｗｉｎｄｏｗ５の中心）が位置した位置よりも移動方向５０１方向よりにＡＦ枠４０４の中心が位置するようにＡＦ枠４０４の位置が移動し、測距が行われる。本実施例では、近距離被写体である柱４０２が移動しないものとみなし、各フレーム間（ここではｔ_３とｔ_４）において、ＡＦ枠４０４同士の重複を大きくしない。ｔ_３ではＷｉｎｄｏｗ１、２、４、５、７、８が柱４０２を捉えており、ｔ_４においても柱４０２は同じ位置に存在すると考えられる。よって、Ｗｉｎｄｏｗ３、６、９のそれぞれが、ｔ_３におけるＷｉｎｄｏｗ１、４、７のそれぞれと同じ位置もしくはそれぞれの位置よりも移動方向５０１側になるようにＡＦ枠を設定する。これにより、フレーム間でＡＦ枠４０４が、ＡＦ枠を分割した分割枠（各Ｗｉｎｄｏｗ）の複数行及び複数列分重複しない。本実施例では、ｔ_４において、Ｗｉｎｄｏｗ３、６、９のそれぞれが、ｔ_３におけるＷｉｎｄｏｗ１、４、７のそれぞれと同じ位置になるようにＡＦ枠４０４を設定する。これにより、ｔ_４ではＷｉｎｄｏｗ１〜Ｗｉｎｄｏｗ９のすべてで柱４０２を捉えており、柱までの距離を測距することになる。よって、時刻ｔ_３で検出された距離と同じような位置に近距離被写体が存在していることが検出できることになる。Thus, at time t₄ , the position of theAF frame 404 is positioned so that the center of theAF frame 404 is positioned in the movingdirection 501 direction from the position where the center of the AF frame 404 (center of Window 5) is positioned at time t_3. Move and measure the distance. In this embodiment, it is assumed that thepillar 402 which is a short-distance subject does not move, and the overlap between the AF frames 404 is not increased between the frames (here, t₃ and t₄ ). Windows₁ , 2,₄ ,₅ , 7, and 8 capture thecolumn 402 at t₃ , and it is considered that thecolumn 402 exists at the same position at t₄ . Therefore, the AF frame is set so that each of the windows₃ , 6, and 9 is at the same position as each of thewindows 1, 4, and 7 at t3 or closer to the movingdirection 501 than each position. As a result, theAF frame 404 does not overlap between a plurality of rows and a plurality of columns of the divided frames (each window) obtained by dividing the AF frame between frames. In the present embodiment, theAF frame 404 is set so that the windows₃ , 6, and 9 are at the same positions as thewindows 1,₄ , and 7 at t3 at t4. Accordingly, and capture theposts 402 on all_{t 4} in Window1～Window9, will range finding the distance to the pillar. Therefore, the similar position as the detected distance at time t₃ that the short distance object exists can be detected.

続いて時刻ｔ_５（図６（ｅ））でも、ｔ_４（図６（ｄ））の時と同様にＡＦ枠４０４を顔４０１の移動方向（時刻ｔ_２までに検出した移動方向から予測される、ｔ_４とｔ_５の間の移動方向）に動かしている。これにより、時刻ｔ_５においてＡＦ枠４０４は柱４０２（Ｗｉｎｄｏｗ３など）、背景（Ｗｉｎｄｏｗ１など）、および顔４０１（Ｗｉｎｄｏｗ５など）を捕捉している。このように追尾対象の被写体が近距離被写体に一時的に隠れるような場面では、追尾対象の被写体の移動方向を予測し、予測される追尾対象の被写体よりも遠距離側に位置する遠距離被写体（背景を含む）、および近距離被写体の検出を行う（周辺捜索）。そして、追尾対象の被写体が現れる位置を予測してＡＦ枠４０４を先行して配置する。これにより、図６（ｆ）に示す時刻ｔ_６では、Ｘ_６に追尾対象の被写体が来て、顔検出により顔４０１を検出できた瞬間にはＡＦ枠４０４を構成する各分割枠（Ｗｉｎｄｏｗ）においてＡＦ用の測距結果を得ていることになる。そのため、すぐにフォーカス動作が可能となる。Subsequently, at the time t₅ (FIG. 6E), theAF frame 404 is predicted from the movement direction of the face 401 (the movement direction detected by the time t₂ ) as in the case of t₄ (FIG. 6D). that it is moving in the moving direction) between_{t 4} and_{t 5.} Thus, at time_{t 5} AF frame 404 (such as Window3)columns 402, entrapping background (such as Window1), and a face 401 (like Window5). In such a situation where the tracking target subject is temporarily hidden behind a short-distance subject, the moving direction of the tracking target subject is predicted, and the long-distance subject located farther than the predicted tracking target subject (Including background) and short-distance subject detection (periphery search). Then, theAF frame 404 is arranged in advance by predicting the position where the tracking target subject appears. Thus, at time_{t 6} shown in FIG. 6 (f), came the tracking target object in_{X 6,} at the moment that could detect theface 401 by the face detecting the divided frames constituting the AF frame 404 (Window) Thus, the AF distance measurement result is obtained. Therefore, the focus operation can be performed immediately.

上述したｔ_１〜ｔ_６までの被写体追尾及び周辺捜索に伴うＡＦ枠設定とＡＦ枠内の測距結果を図７に示す。図７の上方のグラフは、時間と測距結果との関係を示すグラフであり、横軸を時間ｔ、縦軸をＡＦ枠内の測距結果（デフォーカス量を被写体距離換算したもの）としている。また、下方の表は、それぞれの時刻におけるＡＦ枠設定方法を示す表である。その時刻におけるＡＦ枠の位置の設定が、追尾対象の追尾結果又は追尾予測によるものである場合は、表の追尾予測の欄に四角を示す（ｔ_１、ｔ_２）。また、その時刻におけるＡＦ枠の位置の設定が、追尾対象が再出現する位置の捜索を行うための周辺捜索を行うためのものである場合は、表の周辺捜索の欄に四角を示す（ｔ_３〜ｔ_５）。周辺捜索を行うためのＡＦ枠の設定は、追尾対象をロストしている期間（図７上方に矢印で示す）内に取得されるフレームにおいて行われる。また、その時刻におけるＡＦ枠の位置の設定が、周辺捜索により取得された再出現予測位置に基づくものである場合は、表の出現予測位置の欄に四角を示す（ｔ_６）。FIG. 7 shows the AF frame setting and the distance measurement result in the AF frame associated with the subject tracking and the peripheral search from t₁ to t₆ described above. The upper graph in FIG. 7 is a graph showing the relationship between time and the distance measurement result. The horizontal axis represents time t, and the vertical axis represents the distance measurement result in the AF frame (defocus amount converted to subject distance). Yes. The lower table is a table showing the AF frame setting method at each time. If the setting of the position of the AF frame at that time is based on the tracking result or tracking prediction of the tracking target, a square is shown in the tracking prediction column of the table (t₁ , t₂ ). In addition, when the setting of the position of the AF frame at that time is for performing a peripheral search for searching for a position where the tracking target reappears, a square is shown in the peripheral search column of the table (t₃ ~t_5). The setting of the AF frame for performing the peripheral search is performed in a frame acquired within a period during which the tracking target is lost (indicated by an arrow in the upper part of FIG. 7). In addition, when the setting of the position of the AF frame at that time is based on the re-appearance predicted position acquired by the peripheral search, a square is shown in the column of the predicted appearance position in the table (t₆ ).

ｔ_１〜ｔ_２の間は、分割枠９枠がほぼ追尾対象をとらえており、実際に取得したフレームの画像を用いて追尾対象の検出を行い、追尾対象が検出された位置にＡＦ枠を設定しており、約５ｍから近付いている追尾対象の動作を捕捉している。時刻ｔ_３では追尾対象の移動方向情報に基づいて、周辺捜索を行うためのＡＦ枠を設定している。設定されたＡＦ枠内の測距によって、追尾対象の予測位置に近い距離（約４．５ｍ）と、追尾対象の予測位置より手前（約２ｍ）に障害物であろう近距離被写体が存在する結果が得られている。Between t_{1 and} t₂ , the divided frame 9 almost captures the tracking target, detects the tracking target using the actually acquired frame image, and sets the AF frame at the position where the tracking target is detected. It is set and the movement of the tracking target approaching from about 5 m is captured. At time t₃ based on the movement direction information of the tracking target, and sets the AF frame for performing a neighboring search. By the distance measurement within the set AF frame, there is a distance close to the predicted position of the tracking target (about 4.5 m) and a near-distance subject that may be an obstacle before the predicted position of the tracking target (about 2 m). The result is obtained.

時刻ｔ_４、ｔ_５でも、追尾対象の移動方向の情報に基づいて、周辺捜索を行うためのＡＦ枠を設定している。時刻ｔ_４では、設定されたＡＦ枠内の測距によって、近距離側の測距結果（近距離被写体に基づく測距結果）のみが得られている。時刻ｔ_５では、ＡＦ枠の大部分は近距離被写体を抜けており、ＡＦ枠内の測距によって、再出現予測位置よりも十分に遠距離側（背景）の測距結果（無限遠）と、追尾対象の予測距離に近い結果（約４ｍ）が得られる。このように、ＡＦ枠内に近距離被写体（柱４０２）と遠距離被写体（背景）の両方がそれぞれ出現したことにより、追尾対象が再出現するであろう再出現予測位置が取得できる。これにより出現予測位置にＡＦ枠４０４を設定することを時刻ｔ_５とｔ_６の間に決定することで、時刻ｔ_６ではＡＦ枠４０４を出現予測位置に配しておくことができる。よって、時刻ｔ_６でフレームを取得すると、追尾対象の検出とＡＦ枠内の測距を同時並行で行うこともできる。また、移動結果として追尾対象の光軸方向を含む移動結果に関する情報を取得しておくと、追尾対象を見失う前までの移動結果に基づく情報から追尾対象までの距離を予測することが可能である。よって、ＡＦ枠の設定と追尾対象の予測位置へのピント調節を同時に行うことができる。こうすることによって、予測位置が正確であれば、追尾対象を再度検出するよりも先に追尾対象に対してピントを合わせることができる。つまり、追尾対象が柱４０２から半分だけ出ているような状況であっても、被写体追尾ＡＦにより追尾対象にピントを合わせることができるため、追尾対象の被写体が復帰した際、より高速に追尾対象の被写体に対してピントを合わせることができると考えられる。At times t₄ and t₅ , an AF frame for performing a peripheral search is set based on information on the movement direction of the tracking target. At time t_4, the distance measurement in the AF frame that has been set, only the near side of the measurement result (measurement result based on the close range object) is obtained. At time t_5, the majority of the AF frame is missing a near object, the distance measurement in the AF frame, the measurement result of the re-appearance estimated sufficiently far side of a position (background) and (infinity) A result (about 4 m) close to the predicted distance of the tracking target is obtained. As described above, when both the short-distance subject (column 402) and the long-distance subject (background) appear in the AF frame, the re-appearance predicted position where the tracking target will reappear can be acquired. By thus determining between times t₅ and t₆ to set theAF frame 404 to the appearance estimated position, theAF frame 404 at time t₆ it can be kept by disposing the appearance estimated position. Therefore, when acquiring the frame at time t_6, you are also possible to carry out the distance measurement in the detection and AF frame of the tracking target simultaneously in parallel. In addition, if information about the movement result including the optical axis direction of the tracking target is acquired as the movement result, it is possible to predict the distance to the tracking target from information based on the movement result before losing sight of the tracking target. . Therefore, the setting of the AF frame and the focus adjustment to the predicted position of the tracking target can be performed simultaneously. By doing so, if the predicted position is accurate, the tracking target can be focused before the tracking target is detected again. In other words, even when the tracking target is only half out of thepillar 402, the tracking target can be focused by subject tracking AF, so when the tracking target subject returns, the tracking target is faster. It is thought that the subject can be focused.

次に、カメラＣによる被写体追尾の動作を図８から図１２までのフローチャートを用いて説明する。尚、フローチャートにおいて符号の頭につくＳはステップを示す。  Next, the subject tracking operation by the camera C will be described with reference to the flowcharts of FIGS. In the flowchart, S at the beginning of the code indicates a step.

図８は本実施例における被写体追尾のＡＦ処理を示すフローチャートである。Ｓ８０１でＡＦ動作を開始した後、Ｓ８０２において撮像素子１０１からの画像を取り込み、焦点検出用の画像生成および生成した画像の記憶を行う。次のＳ８０３では焦点検出用の画像を用いて像面の位相差測距による焦点検出を９枠分個別に行い、検出結果を記憶する。Ｗｉｎｄｏｗ１〜９の測距結果をそれぞれｆ１〜ｆ９としている。測距結果として像面のデフォーカス量を用い、デフォーカス量を記憶してもよいが、本実施例ではデフォーカス量を被写体距離に換算したものを測距結果として用いるものとして説明を行う。Ｓ８０４では現在、追尾対象の被写体が特定されているかを判定するために、追尾対象特定中フラグがＯＮか否かを判定し、フラグがＯＮの場合には、Ｓ８０５へ進み、フラグがＯＮでない場合には、Ｓ８０６へ進む。Ｓ８０６では、被写体の検出・または抽出処理を行い、Ｓ８０７では、追尾対象を特定したか否かを判定する。Ｓ８０７で人の顔など特定の被写体が追尾対象とされていると判定された場合には、Ｓ８０８に進み、追尾状態であることを保持するフラグとして追尾対象特定中フラグをＯＮとしてＳ８０２に戻り、次のフレームの処理を行う。また追尾対象の被写体が特定できなければ、このフラグをＯＮとしないままＳ８０２に戻り、次のフレーム処理を行う。  FIG. 8 is a flowchart showing subject tracking AF processing in this embodiment. After the AF operation is started in S801, an image from theimage sensor 101 is captured in S802, an image for focus detection is generated, and the generated image is stored. In the next step S803, focus detection is performed individually for nine frames by phase difference ranging of the image plane using the focus detection image, and the detection result is stored. The distance measurement results ofWindows 1 to 9 are set to f1 to f9, respectively. Although the defocus amount of the image plane may be used as the distance measurement result and the defocus amount may be stored, in the present embodiment, the description will be made assuming that the defocus amount converted into the subject distance is used as the distance measurement result. In S804, in order to determine whether the tracking target subject is currently specified, it is determined whether the tracking target specifying flag is ON. If the flag is ON, the process proceeds to S805, and the flag is not ON. In step S806, the process proceeds to step S806. In step S806, subject detection / extraction processing is performed. In step S807, it is determined whether a tracking target has been specified. If it is determined in S807 that a specific subject such as a person's face is the tracking target, the process proceeds to S808, the tracking target specifying flag is turned ON as a flag for holding the tracking state, and the process returns to S802. Process the next frame. If the subject to be tracked cannot be specified, the process returns to S802 without turning this flag ON, and the next frame processing is performed.

一方で、Ｓ８０４において、追尾対象特定中フラグがＯＮである場合は、Ｓ８０５へ進み、被写体トラッキング処理を行う。この被写体トラッキング処理のフローチャートを図９に示す。  On the other hand, if the tracking target identifying flag is ON in S804, the process proceeds to S805 to perform subject tracking processing. FIG. 9 shows a flowchart of the subject tracking process.

被写体トラッキング処理が開始されると、Ｓ９０１では追尾対象の被写体が画像中に存在するかサーチを行う。Ｓ９０２では、Ｓ９０１でのサーチ結果に基づいて、追尾対象と思われる被写体が見つかった否かを判定する。追尾対象と思われる被写体が見つかった場合はＳ９０３へ進み、追尾対象と思われる被写体が見つからなかった場合（ロストした場合）はＳ９０９へ進み、ロスト時処理を行う。Ｓ９０３では、追尾対象をロストした後に復帰した場合であるかを判定する。一旦追尾対象の被写体をロストした後に再度追尾対象が見つかったロスト後の復帰である場合には、Ｓ９１０へ進み、ロスト後復帰処理が行われる。ロストしたわけでなく、直前のフレームでも追尾対象を検出している場合には、Ｓ９０４へ進み、撮像範囲（画角）における追尾対象の位置を記憶し、次のＳ９０５では追尾対象のサイズを記憶する。次にＳ９０６において、前回のフレームでの追尾対象の位置と今回のフレームでの追尾対象の位置とを比較することで、ｘｙ平面での移動量を取得し、次のＳ９０７ではＳ９０６で取得した移動量を用いてトラッキング枠設定処理を行う。尚、被写体トラッキング処理のフローを図６に当てはめると、ｔ_２はＳ９０１〜９０８を進み、ｔ_３〜ｔ_５はＳ９０２でＳ９０９へ進み、ｔ_６はＳ９０３でＳ９０１へ進む。When the subject tracking process is started, a search is performed in S901 as to whether or not the subject to be tracked exists in the image. In step S902, based on the search result in step S901, it is determined whether a subject that is considered to be a tracking target has been found. If a subject considered to be a tracking target is found, the process proceeds to step S903. If a subject considered to be a tracking target is not found (if lost), the process proceeds to step S909, and a lost time process is performed. In step S <b> 903, it is determined whether the tracking target has returned after being lost. If the tracking target is once lost and then the tracking target is found again, and the return is after lost, the process proceeds to S910, and the recovery processing after lost is performed. If the tracking target has not been lost and the tracking target has been detected in the immediately preceding frame, the process proceeds to S904, where the tracking target position in the imaging range (angle of view) is stored, and in the next S905, the tracking target size is stored. To do. Next, in S906, the amount of movement on the xy plane is acquired by comparing the position of the tracking target in the previous frame with the position of the tracking target in the current frame. In the next S907, the movement acquired in S906 is acquired. The tracking frame setting process is performed using the amount. Incidentally, when applying a flow of the subject tracking process in FIG. 6,_{t 2} advances the_S901~908,t 3 ~t₅ proceeds to S902 in S909,_{t 6} proceeds to S901 in S903.

Ｓ９０７のトラッキング枠設定処理の詳細について図１１を用いて説明を行う。
図１１は、トラッキング枠設定処理のフローチャートである。トラッキング枠設定処理が開始されると、まずＳ１１０１において次のフレームまでの移動量を予測する予測処理を行う。この移動量は、ｘｙ平面における移動量であり、Ｓ９０６で取得した移動量をもとに取得する。次のＳ１１０２では、Ｓ８０３において保持されている被写体の距離（ｆ１〜ｆ９）の履歴を用いて、カメラの光軸方向（ｚ方向）における移動量を予測し、追尾対象がカメラに近づいているかを判定する。追尾対象がカメラに近づいている場合には、Ｓ１１０７へ進み、次のフレームでの追尾対象の大きさを推定計算して、ＡＦ枠のサイズ（面積）を大きくする。追尾対象がカメラに近づいていない場合には、Ｓ１１０３に進み、追尾対象がカメラから遠ざかっているかを判定する。追尾対象がカメラに遠ざかっている場合にはＳ１１０８に進み、ＡＦ枠サイズを小さくするように設定する。追尾対象とカメラとの距離が変わらない場合にはＡＦ枠サイズも変わらないようにする。次のＳ１１０４においては、Ｓ１１０４までに決定したＡＦ枠サイズの大きさから、枠数の最適化がおこなわれる。本実施例では、ＡＦの分割枠サイズに上限と下限を設けて、例えば特定されている追尾対象の大きさによってＡＦ枠の分割数を決定する。例えば水平方向において、分割枠のサイズは４０ｐｉｘから８０ｐｉｘと設定し、ＡＦ枠サイズが１０８ｐｉｘの場合、このＡＦ枠を５４ｐｉｘの２枠に分割する。同様に垂直方向も分割枠サイズの最適化を行う。次のＳ１１０５において、Ｓ１１０４までに設定した分割枠数、ＡＦ枠サイズを次のフレーム（次回）のＡＦ枠の分割数、ＡＦ枠サイズとする設定を行う。加えて、Ｓ９０４及びＳ９０６に基づいて次フレームの追尾対象の位置を予測し、予測位置に次回のＡＦ枠の位置を設定する。次のＳ１１０６では、今回フレームでのＡＦ枠の分割枠それぞれの測距結果（ｆ１〜ｆ９）のうち、前回フレームでの予測結果に最も近い結果を得られているデフォーカス検出結果を用いてフォーカス駆動量の設定を行う。以上がトラッキング枠設定処理となる。Details of the tracking frame setting process in S907 will be described with reference to FIG.
FIG. 11 is a flowchart of the tracking frame setting process. When the tracking frame setting process is started, first, a prediction process for predicting a movement amount to the next frame is performed in S1101. This movement amount is a movement amount in the xy plane, and is acquired based on the movement amount acquired in S906. In the next S1102, the movement distance in the optical axis direction (z direction) of the camera is predicted using the history of the subject distances (f1 to f9) held in S803, and it is determined whether the tracking target is approaching the camera. judge. If the tracking target is approaching the camera, the process advances to step S1107 to estimate the size of the tracking target in the next frame and increase the size (area) of the AF frame. If the tracking target is not approaching the camera, the process advances to step S1103 to determine whether the tracking target is moving away from the camera. If the tracking target is away from the camera, the process advances to step S1108 to set the AF frame size to be small. When the distance between the tracking target and the camera does not change, the AF frame size is also prevented from changing. In the next S1104, the number of frames is optimized based on the size of the AF frame size determined up to S1104. In the present embodiment, an upper limit and a lower limit are provided for the AF division frame size, and the number of AF frame divisions is determined based on, for example, the size of the tracking target that is specified. For example, in the horizontal direction, the size of the divided frame is set from 40 pix to 80 pix, and when the AF frame size is 108 pix, the AF frame is divided into two frames of 54 pix. Similarly, the size of the divided frame is also optimized in the vertical direction. In the next S1105, the number of divided frames and the AF frame size set up to S1104 are set as the number of divided AF frames and the AF frame size of the next frame (next time). In addition, the tracking target position of the next frame is predicted based on S904 and S906, and the position of the next AF frame is set as the predicted position. In the next S1106, focusing is performed by using the defocus detection result that has obtained the result closest to the prediction result in the previous frame among the distance measurement results (f1 to f9) of the divided frames of the AF frame in the current frame. Set the drive amount. The above is the tracking frame setting process.

トラッキング枠設定処理が終了すると、図９に戻って、Ｓ９０８に進む。Ｓ９０８では、Ｓ９０７のＳ１１０６で設定したフォーカス駆動量に基づいて、ＡＦ動作を行う。このとき、同時にＡＥ動作を行ってもよい。複数のフレームにまたがって追尾対象の被写体を検出してトラッキングしている期間は、これまでに説明した動作を繰り返すことになる。  When the tracking frame setting process ends, the process returns to FIG. 9 and proceeds to S908. In S908, an AF operation is performed based on the focus drive amount set in S1106 of S907. At this time, the AE operation may be performed simultaneously. The operation described so far is repeated during a period in which the tracking target object is detected and tracked across a plurality of frames.

ここでＳ９０２において追尾対象の被写体を見失った場合、Ｓ９０９へ移行して、ロスト時処理が行われる。このロスト時処理を図１０を用いて説明する。ロスト時処理が始まると、まずＳ１００１において前のフレームまでは追尾対象の被写体が検出できており、このフレームがロスト直後であるかどうかの判定が行われる。ロスト直後の場合、Ｓ１００２に進んでロスト位置（前のフレームにおける追尾対象の位置）のｘ、ｙ、ｚ方向における位置をｆ＿ｌｏｓｔとして記憶し、ロスト状態であることを保持するロストフラグをＯＮとして、Ｓ１００３へ進む。  If the subject to be tracked is lost in S902, the process proceeds to S909 and the lost time process is performed. This lost process will be described with reference to FIG. When the lost process starts, first, in S1001, the subject to be tracked can be detected up to the previous frame, and it is determined whether or not this frame is immediately after the lost frame. In the case of immediately after the lost, the process proceeds to S1002, the position in the x, y, z direction of the lost position (tracking target position in the previous frame) is stored as f_lost, and the lost flag that holds that the lost state is set to ON, The process proceeds to S1003.

Ｓ１００３では、今回のフレームのＡＦ枠の各分割枠の測距結果から、ロストした位置（距離）よりも近距離側に被写体が存在するかどうかを判定する。ＡＦ枠内に近距離被写体が存在しない場合、Ｓ１００６に進み、次のフレームにおけるＡＦ枠（次回枠と呼ぶことがある）の位置を変更しないものとし、次のステップＳ１００５で、フォーカス駆動も行わないように駆動量をゼロに設定する。  In S1003, it is determined from the distance measurement result of each divided frame of the AF frame of the current frame whether or not the subject is present on the nearer side than the lost position (distance). If there is no short-distance subject within the AF frame, the process proceeds to S1006, where the position of the AF frame (sometimes referred to as the next frame) in the next frame is not changed, and focus driving is not performed in the next step S1005. Set the drive amount to zero.

またＳ１００３においてＡＦ枠内に近距離被写体が存在していると判定された場合、Ｓ１００４では次回枠を設定する。本実施例では、Ｓ１００４における次回枠の設定は、今回のフレームの測距により、近距離被写体が存在すると判定された分割枠（Ｗｉｎｄｏｗ）の移動方向側の端が、次回フレームのＡＦ枠内に含まれるように次回フレームのＡＦ枠位置を設定することで行う。言い換えると、ｔ３において近距離被写体が存在すると判定された分割枠Ｗｉｎｄｏｗ１、４、７の左端が、ｔ４においてＡＦ枠内に含まれるようにｔ４におけるＡＦ枠を設定する。このとき、分割枠の移動方向の端は、次回フレームのＡＦ枠のうち、移動方向と反対側の端に位置する分割枠（Ｗｉｎｄｏｗ３、６、９）に含まれることが好ましく、次回フレームのＡＦ枠のうち移動方向と反対側の端と重なることがさらに好ましい。そのうえで次のステップＳ１００５で、フォーカス駆動を行わないように駆動量をゼロに設定する。  If it is determined in S1003 that a short-distance subject exists within the AF frame, the next frame is set in S1004. In the present embodiment, the next frame setting in S1004 is performed by setting the end in the moving direction of the divided frame (Window) determined that the near-distance subject exists by the distance measurement of the current frame within the AF frame of the next frame. This is done by setting the AF frame position of the next frame so that it is included. In other words, the AF frame at t4 is set so that the left ends of the divided frames Windows1, 4, and 7 determined to have a short-distance subject at t3 are included in the AF frame at t4. At this time, the end of the divided frame in the moving direction is preferably included in the divided frame (Window 3, 6, 9) located at the end opposite to the moving direction in the AF frame of the next frame. More preferably, the frame overlaps with the end opposite to the moving direction. In step S1005, the driving amount is set to zero so that focus driving is not performed.

また、Ｓ１００１において、ロスト直後でないつまり今回のフレームがロスト後の２フレーム目以降のフレームであると判定された場合には、Ｓ１００７へ進み、まずロスト回数をカウントする。ロストカウントが所定以上の場合には、完全にロストしたことによる初期化を行うためのタイムアウト機能を実行するためである。次のステップＳ１００８において追尾対象の移動予測方向に、ロストした追尾対象よりも近距離側に被写体があるかどうかの判定を行う。近距離被写体がある場合には、Ｓ１００９へ進み、さらに追尾対象の移動予測方向にロストした追尾対象よりも遠距離側に被写体があるかどうかを判定する。Ｓ１００８、Ｓ１００９ともにロスト直前の距離（ｆ＿ｌｏｓｔのｚ方向の位置）と毎フレームごとに設定した各ＡＦ枠から得られた測距結果をもとに判断を行う。追尾対象のロスト位置よりも近距離側、および遠距離側に被写体の存在が検出できるとＳ１０１０に進み、遠距離側の被写体と近距離側の被写体の間に（境界を含むように）次回フレームのＡＦ枠を設定し、Ｓ１００５に進む。この次回枠の設定は、上述した出現予測位置におけるＡＦ枠の設定であり、ｔ５のフレームを取得した際のｔ６のフレーム（次回フレーム）のＡＦ枠の設定である。  If it is determined in S1001 that the frame is not immediately after the loss, that is, the current frame is the second or subsequent frame after the loss, the process proceeds to S1007, and the number of lost times is first counted. This is because when the lost count is greater than or equal to a predetermined value, a time-out function for performing initialization due to complete loss is executed. In the next step S1008, it is determined whether or not there is an object closer to the tracking target movement direction than the lost tracking target. If there is a near-distance subject, the process proceeds to S1009, and it is further determined whether or not there is a subject on the far side of the tracking target lost in the movement prediction direction of the tracking target. In both S1008 and S1009, a determination is made based on the distance immediately before the loss (position of f_lost in the z direction) and the distance measurement result obtained from each AF frame set for each frame. If it is possible to detect the presence of the subject on the near side and the far side of the tracking target lost position, the process proceeds to S1010, and the next frame (including the boundary) between the far side subject and the near side subject. AF frame is set, and the process proceeds to S1005. The setting of the next frame is the setting of the AF frame at the appearance prediction position described above, and is the setting of the AF frame of the frame at t6 (next frame) when the frame at t5 is acquired.

追尾対象のロスト位置よりも遠距離側、又は近距離側のどちらか一方でもＡＦ枠検出結果から被写体の存在を検出できない場合には、Ｓ１０１１へ移行して、ロスト回数が所定以上かを判定する。ロスト回数が所定の回数以上である場合（例えば２０回以上連続して被写体が見つからない場合）、Ｓ１０１３に進み、タイムアウト処理として、被写体トラッキング状態を保持する、追尾対象特定中フラグをＯＦＦにし、トラッキングを終了する。その後次のステップＳ１０１４においてＡＦ枠をデフォルトの位置に設定する。本実施例では、デフォルトの位置として画角中央に次回枠設定を行う。またステップＳ１０１１においてロスト回数が所定回数より少ないと判定された場合、Ｓ１０１２において次回フレームにおけるＡＦ枠の設定を行う。この次回枠の設定は、上述した周辺捜索によるＡＦ枠の設定であり、ｔ３、ｔ４フレームを取得した際の次回フレームのＡＦ枠の設定である。Ｓ１０１２による次回枠の設定は、移動予測設定であり、追尾対象がロスト前の追尾対象の移動方向へ動いているものとして、次回フレームのＡＦ枠を前フレームのＡＦ枠よりも移動方向へ移動させた位置として設定するものである。このような次回枠の移動により、次のフレームでも再度追尾対象をロスト中であれば、被写体の移動方向に追尾対象のロスト位置よりも近距離側、遠距離側の両方に被写体が見つかるまで、ＡＦ枠サーチするような動作となる。Ｓ１００６、Ｓ１００４、Ｓ１０１０、Ｓ１０１２、Ｓ１０１４において次回枠が設定されると、Ｓ１００５へ進む。Ｓ１００５ではフォーカス駆動量をゼロに設定する。つまり、ロスト時はフォーカスレンズの駆動は行わない。ロスト時処理が終了すると、図９の被写体トラッキング処理のフローに戻り、Ｓ９０８へ進む。Ｓ１００５でフォーカス駆動量をゼロに設定しているため、Ｓ９０９からＳ９０８に進む場合はＳ９０８にてフォーカス駆動は行われず、被写体トラッキング処理として次のＡＦ検出枠設定が行われてＳ８０２に戻り、次回フレームの処理が行われる。  If the presence of the subject cannot be detected from the AF frame detection result on either the far side or the near side of the tracking target lost position, the process proceeds to S1011 to determine whether the number of lost times is equal to or greater than a predetermined value. . When the number of lost times is equal to or greater than a predetermined number (for example, when no subject is continuously found 20 times or more), the process proceeds to S1013, and the tracking target identification flag that holds the subject tracking state is turned off as a time-out process. Exit. Thereafter, in the next step S1014, the AF frame is set to a default position. In this embodiment, the next frame is set at the center of the angle of view as the default position. If it is determined in step S1011 that the number of lost times is less than the predetermined number, in step S1012, an AF frame is set in the next frame. The setting of the next frame is the setting of the AF frame by the peripheral search described above, and is the setting of the AF frame of the next frame when the t3 and t4 frames are acquired. The setting of the next frame in S1012 is a movement prediction setting, and the AF frame of the next frame is moved in the movement direction more than the AF frame of the previous frame, assuming that the tracking target is moving in the movement direction of the tracking target before the lost. This is set as the position. If the tracking target is lost again in the next frame due to the movement of the next frame, until the subject is found on both the near side and the far side of the tracking target in the moving direction of the subject, The operation is similar to AF frame search. When the next frame is set in S1006, S1004, S1010, S1012, and S1014, the process proceeds to S1005. In step S1005, the focus drive amount is set to zero. That is, the focus lens is not driven during the lost time. When the lost process is completed, the process returns to the subject tracking process flow of FIG. 9 and proceeds to S908. Since the focus drive amount is set to zero in S1005, when the process proceeds from S909 to S908, focus drive is not performed in S908, the next AF detection frame setting is performed as subject tracking processing, and the process returns to S802 to return to the next frame. Is performed.

被写体トラッキング処理のＳ９０３において、ロスト後の復帰であると判定された場合、Ｓ９１０へ進み、ロスト後の再復帰処理が行われる。ロスト後の再復帰処理について図１２を用いて説明をする。図１２は、ロスト後の再復帰処理のフローチャートである。ロスト後の再復帰処理が始まると、最初のステップＳ１２０１では今回フレームでのＡＦ検出結果および追尾対象のｘｙ平面での位置がロスト位置及びロスト時からの時間に基づいて予測される、予測範囲内であるかどうかを判定する。復帰した追尾対象が、予測範囲内に存在する場合は、Ｓ１２０２においてロスト状態であることを保持するロストフラグをＯＦＦとしてＳ１２０３に進み、再度トラッキング状態に入る。Ｓ１２０３〜Ｓ１２０６は、図９のＳ９０４〜９０７と同じステップであるため、説明を省略する。  If it is determined in S903 of the subject tracking process that the return is after the lost process, the process proceeds to S910, and the return process after the lost process is performed. The re-restoration process after the lost will be described with reference to FIG. FIG. 12 is a flowchart of re-restoration processing after lost. When the re-restoration process after lost starts, in the first step S1201, the AF detection result in the current frame and the position of the tracking target on the xy plane are predicted based on the lost position and the time from the lost time. It is determined whether or not. If the returned tracking target exists within the prediction range, the lost flag that holds that it is in the lost state is turned off in S1202, the process proceeds to S1203, and the tracking state is entered again. Since S1203 to S1206 are the same steps as S904 to 907 in FIG.

一方で、ステップＳ１２０１において復帰した追尾対象が予測範囲外に位置する場合には、ステップＳ１２０７へ進み、移動量の再予測処理を行う。この処理は、予測処理のリセットとなり、今回のフレームでは正しい予測結果がえられないので追尾対象を最初に検出した時と同様の処理（Ｓ８０７、Ｓ８０８と同様の処理）となる。よって次のステップＳ１２０８では追尾対象の検出位置に次回枠を設定し、Ｓ１２０９では今回フレームでの測距結果に基づいてフォーカス駆動量を設定し、ロスト後再復帰処理の終了となる。  On the other hand, if the tracking target returned in step S1201 is located outside the prediction range, the process proceeds to step S1207, and the movement amount re-prediction processing is performed. This process is a reset of the prediction process, and since a correct prediction result cannot be obtained in the current frame, the process is the same as when the tracking target is first detected (the process similar to S807 and S808). Therefore, in the next step S1208, the next frame is set at the tracking target detection position, and in S1209, the focus drive amount is set based on the distance measurement result in the current frame, and the post-lost re-restoration process is completed.

（変形例）
上述の実施例では、焦点検出装置を備える撮像装置であるレンズ一体型のカメラに本発明を適用した場合の一実施例について説明をした。しかしながら、本発明にかかる焦点検出装置は撮像センサの画像信号を用いて焦点検出を行う任意の電子機器に適用可能である。電子機器としては、レンズ交換式のデジタルカメラや、ビデオカメラの他、カメラを備えた携帯電話機、パーソナルコンピュータ、ゲーム機、家電機器などが例として挙げられる。(Modification)
In the above-described embodiment, an embodiment in which the present invention is applied to a lens-integrated camera that is an imaging device including a focus detection device has been described. However, the focus detection apparatus according to the present invention can be applied to any electronic device that performs focus detection using an image signal of an imaging sensor. Examples of electronic devices include interchangeable lens digital cameras and video cameras, as well as mobile phones equipped with cameras, personal computers, game machines, and home appliances.

また、上述の実施例では、追尾対象が検出されている間も追尾予測を行い、追尾予測に基づいて次回枠の設定を行ったが、追尾対象が検出されている間は追尾予測を行わず、追尾対象の検出結果に基づいてＡＦ枠を設定してもよい。予測ではなく実測で追尾対象に対してＡＦ枠を設定するため、より正確に追尾対象に対してＡＦ枠を設定することができる。一方、フレームの取得、及び追尾対象の検出を行ってからＡＦ枠を設定するため、追尾予測でＡＦ枠を設定するよりもＡＦ枠の設定まで時間が必要である。  Further, in the above-described embodiment, the tracking prediction is performed while the tracking target is detected, and the next frame is set based on the tracking prediction. However, the tracking prediction is not performed while the tracking target is detected. The AF frame may be set based on the detection result of the tracking target. Since the AF frame is set for the tracking target by actual measurement rather than prediction, the AF frame can be set for the tracking target more accurately. On the other hand, since the AF frame is set after obtaining the frame and detecting the tracking target, it takes more time to set the AF frame than setting the AF frame in tracking prediction.

また、上述の実施例では、被写体までの距離を用いて近距離被写体と遠距離被写体の有無を判定したが、デフォーカス量を用いて近距離被写体と遠距離被写体をの有無を判定してもよい。また、図１０に示したロスト時処理のフローにおいて、Ｓ１００６では次のフレームにおけるＡＦ枠の位置を変更しないものとしたが、ＡＦ枠の位置を変更してもよい。例えば、近距離被写体がないため、追尾対象がフレームアウトしたとみなし、ＡＦ枠を画角の境界を含む境界部に配してもよいし、撮影者が撮像装置の画角を移動させることを期待して画角の中央に移動してもよい。  In the above-described embodiment, the presence / absence of a short-distance subject and a long-distance subject is determined using the distance to the subject. However, the presence / absence of a short-distance subject and a long-distance subject can be determined using the defocus amount. Good. Further, in the lost time processing flow shown in FIG. 10, the position of the AF frame in the next frame is not changed in S1006, but the position of the AF frame may be changed. For example, since there is no near-distance subject, it is considered that the tracking target is out of frame, and the AF frame may be arranged at the boundary including the boundary of the angle of view, or the photographer may move the angle of view of the imaging device. You may move to the center of the angle of view in anticipation.

また、上述の実施例では、被写体抽出等を回路により実行したが、ソフトウェアで実行してもよい。上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する部（例えば、ＡＳＩＣ）によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。In the above-described embodiment, the subject extraction and the like are executed by the circuit, but may be executed by software. A program that realizes one or more functions of the above-described embodiments is supplied to a system or apparatus via a network or a storage medium, and is also realized by a process in which one or more processors in a computer of the system or apparatus read and execute the program Is possible. It can also be realized by a unit (for example, ASIC) that realizes one or more functions.
Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.

１００ レンズユニット
１０１ 撮像素子
１０２ 分割像取得回路
１０３ 位相差検出用アクセラレータ回路
１０４ 撮像信号処理回路
１０５ 画像処理回路
１０６ 記録回路
１０７ 画像メモリ
１０８ メモリ
１０９ ＣＰＵ
１１０ レンズ駆動回路
１１１ 被写体抽出回路DESCRIPTION OFSYMBOLS 100Lens unit 101 Image pick-upelement 102 Division | segmentationimage acquisition circuit 103 Accelerator circuit forphase difference detection 104 Image pick-upsignal processing circuit 105Image processing circuit 106Recording circuit 107Image memory 108 Memory 109 CPU
110Lens drive circuit 111 Subject extraction circuit

Claims (8)

Translated fromJapanese

フォーカスレンズを備える撮像光学系により結像された被写体像を撮像する撮像素子から出力された画像信号に基づいて焦点検出領域内に位置する追尾対象の被写体を検出する検出手段と、
前記画像信号に基づいて、前記検出された追尾対象の被写体に対してのデフォーカス量に対応する情報を含む、前記検出された追尾対象の被写体の位置情報を取得する位置情報取得手段と、
前記取得した位置情報を用いて前記追尾対象の被写体の光軸方向を含む移動結果に関する情報を取得する移動結果取得手段と、
前記追尾対象の被写体の少なくとも一部が含まれるように前記焦点検出領域を設定する設定手段と、
前記設定された焦点検出領域に対応する画像信号に基づいて前記フォーカスレンズの位置を調整する焦点調節手段と、を備え、
前記検出手段が前記追尾対象の被写体を検出できないときは、
前記移動結果取得手段が取得した移動結果に基づいた位置に、前記設定手段が前記焦点検出領域を設定するとともに前記焦点調節手段が前記フォーカスレンズの位置を調整することを特徴とする焦点検出装置。Detecting means for detecting a subject to be tracked located in a focus detection region based on an image signal output from an image sensor that images a subject image formed by an imaging optical system including a focus lens;
Position information acquisition means for acquiring position information of the detected subject to be tracked including information corresponding to a defocus amount with respect to the detected subject to be tracked based on the image signal;
Movement result acquisition means for acquiring information related to a movement result including the optical axis direction of the subject to be tracked using the acquired position information;
Setting means for setting the focus detection area so as to include at least a part of the subject to be tracked;
Focus adjusting means for adjusting the position of the focus lens based on an image signal corresponding to the set focus detection area;
When the detection means cannot detect the subject to be tracked,
The focus detection apparatus, wherein the setting unit sets the focus detection area at a position based on the movement result acquired by the movement result acquisition unit, and the focus adjustment unit adjusts the position of the focus lens. 前記位置情報取得手段は、
前記検出手段が前記追尾対象の被写体を検出できないときは、前記追尾対象の被写体よりも近くに位置する被写体の前記焦点検出領域内での有無を判定し、
前記位置情報取得手段により前記焦点検出領域内に前記追尾対象の被写体よりも近くに位置する被写体があると判定されたとき、
前記移動結果取得手段が取得した移動結果に基づいた位置に、前記設定手段が前記焦点検出領域を設定するとともに前記焦点調節手段が前記フォーカスレンズの位置を調整することを特徴とする請求項１に記載の焦点検出装置。The position information acquisition means includes
When the detection means cannot detect the subject to be tracked, determine whether or not a subject located nearer the subject to be tracked is within the focus detection area,
When it is determined by the position information acquisition means that there is a subject located closer to the tracking target subject in the focus detection area,
The focus setting unit adjusts the position of the focus lens while the setting unit sets the focus detection area at a position based on the movement result acquired by the movement result acquisition unit. The focus detection apparatus described. 前記設定手段は、
前記移動結果取得手段が取得した移動結果に基づいて前記追尾対象の被検体が現れる位置を予測し、予測した位置を含むように前記焦点検出領域を設定することを特徴とする請求項１又は２に記載の焦点検出装置。The setting means includes
The position of the tracking target subject is predicted based on the movement result acquired by the movement result acquisition unit, and the focus detection area is set to include the predicted position. The focus detection apparatus described in 1. 前記位置情報取得手段は、
前記検出手段が前記追尾対象の被写体を検出できないときは、前記追尾対象の被写体よりも近くに位置する被写体の前記焦点検出領域内での有無を判定し、
前記設定手段は、
前記位置情報取得手段により前記焦点検出領域内に前記追尾対象の被写体よりも近くに位置する被写体がないと判定されたとき、前記焦点検出領域の位置を変更しないことを特徴とする請求項１乃至３のいずれか１項に記載の焦点検出装置。The position information acquisition means includes
When the detection means cannot detect the subject to be tracked, determine whether or not a subject located nearer the subject to be tracked is within the focus detection area,
The setting means includes
The position of the focus detection area is not changed when it is determined by the position information acquisition means that there is no subject located in the focus detection area closer to the subject to be tracked. 4. The focus detection apparatus according to any one of items 3. 前記位置情報取得手段は、
前記検出手段が前記追尾対象の被写体を検出できないときは、前記追尾対象の被写体よりも近くに位置する被写体の前記焦点検出領域内での有無を判定し、
前記設定手段は、
前記位置情報取得手段により前記焦点検出領域内に前記追尾対象の被写体よりも近くに位置する被写体がないと判定されたとき、撮像範囲の中央または撮像範囲の境界部の少なくともいずれかを含むように前記焦点検出領域を設定することを特徴とする請求項１乃至４のいずれか１項に記載の焦点検出装置。The position information acquisition means includes
When the detection means cannot detect the subject to be tracked, determine whether or not a subject located nearer the subject to be tracked is within the focus detection area,
The setting means includes
When it is determined by the position information acquisition means that there is no subject located closer to the tracking target subject in the focus detection area, at least one of the center of the imaging range or the boundary of the imaging range is included. The focus detection apparatus according to claim 1, wherein the focus detection area is set. 前記位置情報取得手段は、
前記検出手段が前記追尾対象の被写体を検出できないときは、前記追尾対象の被写体よりも近くに位置する被写体の前記焦点検出領域内での有無を判定し、
前記設定手段は、
前記位置情報取得手段により前記焦点検出領域内に前記追尾対象の被写体よりも近くに位置する被写体があると判定されたとき、前記移動結果取得手段が取得した移動結果と前記画像信号を取得した時の前記焦点検出領域とに基づいて、
前記画像信号を取得した時の前記焦点検出領域よりも前記前記追尾対象の被写体の移動方向側に位置し、かつ、前記画像信号を取得した時の前記焦点検出領域の一部と重なるように前記焦点検出領域を設定することを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。The position information acquisition means includes
When the detection means cannot detect the subject to be tracked, determine whether or not a subject located nearer the subject to be tracked is within the focus detection area,
The setting means includes
When the movement information obtained by the movement result obtaining unit and the image signal are obtained when it is determined by the position information obtaining unit that there is a subject located closer to the tracking target subject in the focus detection area. Based on the focus detection area of
The focus detection area is located on the moving direction side of the subject to be tracked with respect to the focus detection area when the image signal is acquired, and overlaps with a part of the focus detection area when the image signal is acquired. The focus detection apparatus according to claim 1, wherein a focus detection area is set. 前記位置情報取得手段は、
前記検出手段が前記追尾対象の被写体を検出できないときは、前記追尾対象の被写体よりも近くに位置する被写体の前記焦点検出領域内での有無及び前記追尾対象の被写体よりも遠くに位置する被写体の前記焦点検出領域内での有無を判定し、
前記設定手段は、
前記位置情報取得手段により前記焦点検出領域内に前記追尾対象の被写体よりも近くに位置する被写体及び前記追尾対象の被写体よりも遠くに位置する被写体があると判定されたとき、前記追尾対象の被写体よりも遠くに位置する被写体が含まれるように前記焦点検出領域を設定することを特徴とする請求項１乃至６のいずれか１項に記載の焦点検出装置。The position information acquisition means includes
When the detection means cannot detect the subject to be tracked, the presence / absence of the subject located near the subject to be tracked in the focus detection area and the subject located far from the subject to be tracked Determining the presence or absence within the focus detection area;
The setting means includes
When it is determined by the position information acquisition means that there is a subject located closer to the tracking target subject and a subject located farther than the tracking target subject in the focus detection area, the tracking target subject The focus detection apparatus according to claim 1, wherein the focus detection region is set so as to include a subject located farther away. 前記追尾対象の被写体との距離が第１の距離のときよりも前記追尾対象の被写体との距離が前記第１の距離より短い第２の距離のときのほうが前記焦点検出領域の面積が大きくなるように前記焦点検出領域を設定することを特徴とする請求項１乃至７のいずれか１項に記載の焦点検出装置。  The area of the focus detection region is larger when the distance to the tracking target object is a second distance shorter than the first distance than when the distance to the tracking target object is the first distance. The focus detection apparatus according to claim 1, wherein the focus detection area is set as described above.

Images