本発明は、カメラ等により撮像された画像データ上の目標を追尾する技術に関する。 The present invention relates to a technique for tracking a target on image data captured by a camera or the like.
可視カメラや赤外線カメラで撮影された画像をディジタル処理することにより目標を追尾する技術は、監視カメラにより侵入者を検出・追跡するセキュリティシステム、航空機搭載カメラにより目標を追尾する防衛用偵察・監視システム、自動車による通行人の検出・追尾システムなどに応用されている。 The technology for tracking targets by digitally processing images taken with a visible camera or infrared camera is a security system that detects and tracks intruders with a surveillance camera, and a reconnaissance reconnaissance and surveillance system for defense that tracks targets with an airborne camera. It is applied to the detection / tracking system of passersby by automobiles.
ディジタル画像処理による目標追尾では、カメラ等により撮像された画像データから目標領域が抽出され、その領域に含まれる画像上の目標が追尾目標とされる。そして、目標の移動やカメラが搭載されたプラットフォームの移動による、視野内での画像上の目標の動きに合わせて、目標を包含するゲート（矩形領域）や目標の中心を示すクロス・ヘア・マーク（十字線）が表示されることにより、監視者の注意が惹起させられる。或いは、目標を追尾し視野中心に目標をとどめるように、カメラの視軸を制御するための信号（追尾偏差）が算出される。 In target tracking by digital image processing, a target area is extracted from image data captured by a camera or the like, and a target on an image included in the area is set as a tracking target. A gate (rectangular area) that contains the target and a cross hair mark that indicates the center of the target according to the movement of the target on the image in the field of view due to the movement of the target or the platform on which the camera is mounted. (Crosshair) is displayed, thereby alerting the observer. Alternatively, a signal (tracking deviation) for controlling the visual axis of the camera is calculated so as to track the target and keep the target at the center of the visual field.
画像追尾装置は、画像データから目標領域を抽出し、抽出した領域内の目標位置を計算し、その追尾点をマーカ等で画面上に指示する動作、或いはカメラ視軸を制御して目標を画面中心に保持する動作を行う。 The image tracking device extracts a target area from the image data, calculates a target position in the extracted area, indicates the tracking point on the screen with a marker or the like, or controls the camera visual axis to display the target on the screen. Perform the action of holding in the center.
目標位置の計算方法としては、一般に、レファレンス画像との目標画像のマッチング位置を目標位置とする相関追尾手法、画像を２値化して抽出した目標の重心点を目標位置とする重心点追尾手法、輝度レベルの最高値を目標位置とするピーク点追尾手法等が知られている。 As a calculation method of the target position, in general, a correlation tracking method using the matching position of the target image with the reference image as the target position, a barycentric point tracking method using the target barycentric point extracted by binarizing the image as the target position, A peak point tracking method with the highest value of the luminance level as a target position is known.
相関追尾手法においては、レファレンスの更新が課題となる。
追尾における相関処理では、レファレンス画像と同じ画像部分をサーチしながら目標位置を決定する場合に、画像全体ではなく、画像信号の更新レートに対応する移動量、変化量で決まる範囲のみが、サーチ範囲となる。このため、追尾の結果得られる目標位置の近傍領域に対してのみ相関処理が行われ、レファレンス画像と一致する画像部分が存在する位置（一致度が一番高い点）がサーチされる。このため、相関追尾手法では、基本的には、目標の変化は急激でないことが前提となる。In the correlation tracking method, updating the reference is an issue.
In the correlation processing in tracking, when the target position is determined while searching for the same image portion as the reference image, only the range determined by the movement amount and change amount corresponding to the update rate of the image signal is used instead of the entire image. It becomes. For this reason, correlation processing is performed only on the region near the target position obtained as a result of tracking, and the position where the image portion that matches the reference image exists (the point with the highest degree of matching) is searched. For this reason, the correlation tracking method basically assumes that the target change is not abrupt.
本発明の従来技術に関連して、下記の特許文献が公知例として存在する。
相関追尾手法において、追尾対象となる入力画像上の目標の大きさ、形や色、明るさなどの状態が変化せず一定であれば、入力画像上でレファレンス画像と常に一致する画像部分が存在するために、目標位置を正確に計算することができる。しかし、目標の状態が変化すると、入力画像上でレファレンス画像と一致する画像部分が無くなるため、目標の位置を正確に計算することができなくなる。ただし、多少の目標の変化には対応することができる。 In the correlation tracking method, if the target size, shape, color, brightness, etc. on the input image to be tracked is constant and does not change, there is an image part that always matches the reference image on the input image. In order to do so, the target position can be calculated accurately. However, if the target state changes, there will be no image portion that matches the reference image on the input image, and the target position cannot be calculated accurately. However, it can cope with a slight change in the target.
そこで、従来、目標の変化に合わせてレファレンスを定期的に更新する手法が考えられる。しかし例えば、ゲート等で囲まれ目標だけでなく背景が含まれる目標領域のような、変化した目標シーンに対して、相関追尾が行われた場合、レファレンス画像との一致度が一番大きい画像部分の位置が目標位置として算出されるが、その位置は目標の一部分ではあるが目標全体や目標中心を正確に捉えたものではない。この追尾点に基づいてレファレンス画像が更新されてしまうと、次の追尾点計算では、この目標とずれたレファレンス画像との一致度が近い点が計算されることになる。このような更新が繰り返されるうちに、検出位置が目標から徐々にずれてゆき、最後には目標とは全く異なるシーンがレファレンス画像とされてしまうことがおこる、という問題点を有していた。 Therefore, conventionally, a method of periodically updating the reference according to the change of the target can be considered. However, for example, when correlation tracking is performed on a changed target scene, such as a target area that is surrounded by a gate or the like and includes not only the target but also the background, the image portion having the highest degree of coincidence with the reference image The position is calculated as the target position, but the position is a part of the target but does not accurately capture the entire target or the target center. If the reference image is updated based on this tracking point, in the next tracking point calculation, a point having a close degree of coincidence with the reference image shifted from this target is calculated. While such updating is repeated, the detection position gradually deviates from the target, and finally, a scene completely different from the target may be used as a reference image.
このように、レファレンスが正しく更新されるようにするためには、目標の位置を正しく特定することが必要である。
そのための従来技術として、目標の重心点を計算し、その計算された重心点を中心とする画像をレファレンスとする技術が考えられる。しかしそれでは、重心点追尾手法と変わらず、２値化による目標抽出が困難で重心点を算出できないような複雑なシーンに対しても追尾点算出が可能であるという相関追尾手法の特徴を生かすことができない、という問題点を有していた。Thus, in order to correctly update the reference, it is necessary to correctly specify the position of the target.
As a conventional technique for that purpose, a technique is conceivable in which a target barycentric point is calculated and an image centered on the calculated barycentric point is used as a reference. However, the feature of the correlation tracking method is that the tracking point can be calculated even for complex scenes where it is difficult to extract the target by binarization and the center of gravity cannot be calculated, as is the case with the center of gravity tracking method. The problem was that it was not possible.
また、レファレンス画像と入力画像を共にエッジ画像に変換して相関追尾を行うことにより、目標の構造的な特徴をエッジ画像として抽出して目標位置を特定しやすくした手法が従来考案されている。この従来技術においては、目標は微小時間には急変しないという前提でレファレンス画像を素早く更新すれば、目標の構造的な大きさや形状が変化しても、エッジ構造の一致度から目標を特定することができる。そして、この従来技術では、エッジ画像を２値化することにより、目標の輝度や色の変化による影響を排除している。しかし、この従来技術は、目標の構造が単純である場合に有効であるが、エッジが輻輳するシーンや、背景のエッジ構造が複雑なシーンが対象とされる場合には、目標の特定が困難であり、背景と目標の区別を付けることができないという問題点を有していた。 In addition, a method has been devised in which both a reference image and an input image are converted into edge images and correlation tracking is performed to extract a target structural feature as an edge image to easily identify a target position. In this prior art, if the reference image is updated quickly on the assumption that the target does not change suddenly in a minute time, the target can be identified from the degree of coincidence of the edge structure even if the structural size or shape of the target changes. Can do. In this prior art, the edge image is binarized to eliminate the influence of the target luminance and color change. However, this conventional technology is effective when the target structure is simple, but it is difficult to specify the target when scenes with congested edges or scenes with complex background edge structures are targeted. However, there is a problem that the background and the target cannot be distinguished.
例えば、図８（ａ）は、レファレンス画像とそれに対してエッジ抽出を行って得られるレファレンスエッジ画像の例である。また、図８（ｂ）は、目標領域における入力画像とそれに対してエッジ抽出を行って得られる入力エッジ画像の例である。図８（ｂ）の入力画像の例では、入力画像の輝度分布の変動により、入力エッジ画像において、２つのエッジが抽出されている。この場合に、図８（ａ）に示されるレファレンスエッジ画像の１つのエッジが、本来であれば図８（ｂ）に示される入力エッジ画像の左側のエッジにマッチしなければいけないにもかかわらず、右側のエッジにマッチしてしまうというような誤抽出が行われる可能性がある。 For example, FIG. 8A is an example of a reference image and a reference edge image obtained by performing edge extraction on the reference image. FIG. 8B is an example of an input image in the target area and an input edge image obtained by performing edge extraction on the input image. In the example of the input image in FIG. 8B, two edges are extracted from the input edge image due to the variation in the luminance distribution of the input image. In this case, one edge of the reference edge image shown in FIG. 8 (a) is supposed to match the left edge of the input edge image shown in FIG. 8 (b). There is a possibility that erroneous extraction is performed such that the right edge is matched.
本発明の課題は、エッジを用いることにより構造的な特徴を活かす利点を残しつつ、エッジの目標に対する位置の正確さを高めることができる相関追尾手法を提供することにある。 An object of the present invention is to provide a correlation tracking method capable of improving the accuracy of the position of an edge with respect to a target while leaving the advantage of utilizing structural features by using an edge.
本発明は、画像追尾処理を実行するコンピュータのプログラム、装置、又は方法として実現される。
まず、本発明の第１の機能は、画像フレーム単位で、入力画像とその入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報と該エッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する。The present invention is realized as a computer program, apparatus, or method for executing image tracking processing.
First, the first function of the present invention is that, for each of an input image and a reference image indicating a tracking target on the input image, edge information related to a pixel value and multi-value information on or near the edge for each image frame. An input processing image and a reference processing image consisting of are calculated.
本発明の第２の機能は、画像フレーム毎に、入力処理画像上の所定領域を走査しながら
レファレンス処理画像との相関処理を実行する。この多値情報は、例えば輝度値情報であるが、色情報や彩度情報等であってもよい。The second function of the present invention executes correlation processing with the reference processing image while scanning a predetermined area on the input processing image for each image frame. The multi-value information is, for example, luminance value information, but may be color information, saturation information, or the like.
本発明の第３の機能は、画像フレーム毎に、相関処理の結果得られる相関係数に基づいて入力画像上の目標の追尾を行う。この機能は、得られる相関係数において、相関度が最も高い点を追尾点として抽出するように構成することができる。 The third function of the present invention performs tracking of a target on an input image based on a correlation coefficient obtained as a result of correlation processing for each image frame. This function can be configured to extract a point having the highest correlation degree as a tracking point in the obtained correlation coefficient.
上記発明の構成に加えて更に、第３の機能によって算出される目標の追尾に関する情報に基づいて、レファレンス画像を更新する第４の機能を有するように構成することができる。 In addition to the configuration of the invention described above, a fourth function for updating the reference image based on information on target tracking calculated by the third function can be provided.
本発明によれば、エッジを用いることで構造的な特徴を活かす利点を残しつつ、エッジのみの追尾では同等のエッジ形状があった場合に区別がつかずどちらが目標かの判断ができないような場合であっても、エッジ上又はエッジ近傍の輝度情報等の多値情報を付随させて相関処理に用いることにより、エッジとその近傍の多値情報との総合判断に基づく目標に対する正確な追尾を実現することが可能となる。特に、障害物があるような場合における画像追尾性能の向上が実現できる。 According to the present invention, when the edge is used, the advantage of utilizing the structural features is left, but the tracking of only the edge is indistinguishable when there is an equivalent edge shape and it is not possible to determine which is the target. Even so, by using multi-value information such as brightness information on or near the edge with correlation processing, accurate tracking of the target based on comprehensive judgment of the edge and its multi-value information is realized. It becomes possible to do. In particular, it is possible to improve the image tracking performance when there is an obstacle.
また、エッジ上又はエッジ近傍の多値情報のみを相関計算に用い、それ以外の領域の情報はゼロとして相関計算に用いないことにより、高速な相関計算が可能となり、画像追尾システムの追尾性能と応答性能を同時にアップさせることが可能となる。 In addition, only multi-value information on or near the edge is used for correlation calculation, and other area information is set to zero and not used for correlation calculation, enabling high-speed correlation calculation, and tracking performance of the image tracking system. It becomes possible to improve the response performance at the same time.
更に、上記相関計算の結果に基づいて、レファレンス画像が逐次更新されることによって、目標を継続的かつ正確に追尾することが可能となる。 Furthermore, the target image can be continuously and accurately tracked by sequentially updating the reference image based on the result of the correlation calculation.
以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
本発明の実施形態では、エッジを用いることにより構造的な特徴を活かす利点を残しつつ、エッジ線の両側の輝度情報がエッジに付随して相関処理に用いられ、これにより得られた追尾点の画像がレファレンス画像の更新に用いられることにより、エッジの目標に対する位置の正確さを高めることができる。The best mode for carrying out the present invention will be described below in detail with reference to the drawings.
In the embodiment of the present invention, while using the edge, the luminance information on both sides of the edge line is used for correlation processing in association with the edge while leaving the advantage of utilizing the structural features, and the tracking point obtained thereby is used. By using the image to update the reference image, the accuracy of the position of the edge with respect to the target can be increased.
本発明の第１の実施形態
図１は、本発明をプログラムとして実現した場合の第１の実施形態の構成図である。図１に示される各プログラム機能は、後述する図２に例示されるコンピュータによって実行される。First Embodiment of the Invention FIG. 1 is aconfiguration diagram of a firstembodiment when the present invention is implemented as a program. Each program function shown in FIG. 1 is executed by a computer exemplified in FIG. 2 described later.
機能１０１として、入力画像データ１０５に対し、エッジ抽出画像に、エッジ近傍の輝度情報が付加される。入力画像データ１０５の縦方向と横方向に対して別々に、全ての処理が最後まで実行される。又は、入力画像データ１０５の縦方向と横方向に対し別々に、エッジ抽出処理が実行され近傍輝度が付加された後に、縦方向と横方向の各画像が合成される。 As the function 101, luminance information in the vicinity of the edge is added to the edge extracted image with respect to the input image data 105. All processes are executed to the end separately for the vertical and horizontal directions of the input image data 105. Alternatively, the edge extraction processing is executed separately for the vertical direction and the horizontal direction of the input image data 105 and the neighborhood luminance is added, and then the vertical and horizontal images are combined.
本発明においては、相関度算出のための目標自身の固有値としての構造と輝度が必要である。フレーム間差分によるエッジ（輪郭）抽出手法は、移動目標が抽出できるが、動きによるブレ量がエッジ幅を変動させるので適さない。そこで、本実施形態におけるエッジ抽出画像の生成においては、１フレーム内の画像に対する隣接画素同士のラプラシアン（微分画像＝隣の画素との差の絶対値）等が用いられる。ラプラシアン等により算出された隣接画素の差分画像に対して、大きい値の閾値が設定されてエッジが抽出されることにより、大きなエッジのみが抽出される。 In the present invention, a structure and luminance are required as eigenvalues of the target itself for calculating the correlation. The edge (contour) extraction method based on the difference between frames can extract a moving target, but is not suitable because the amount of blur due to movement varies the edge width. Therefore, in the generation of the edge extraction image according to the present embodiment, the Laplacian (differential image = the absolute value of the difference from the adjacent pixel) between adjacent pixels with respect to the image in one frame is used. Only a large edge is extracted by setting a large threshold value and extracting an edge from the difference image of adjacent pixels calculated by Laplacian or the like.
エッジ近傍の輝度情報の付加においては、上述のようにして抽出されたエッジ画像の各エッジについて、縦、横の各方向に対して、エッジと垂直の方向に１画素から数画素の幅でエッジを太くする方向に、その領域内の各画素の輝度値が輝度情報として付加される。エッジがない領域では輝度情報を用いずその領域の輝度値は０とする。 In addition of luminance information in the vicinity of the edge, each edge of the edge image extracted as described above has an edge with a width of 1 to several pixels in the vertical and horizontal directions with respect to the vertical and horizontal directions. The luminance value of each pixel in the area is added as luminance information in the direction of increasing the thickness. In a region where there is no edge, luminance information is not used and the luminance value of the region is 0.
機能１０２では、機能１０１にて生成された、入力画像の「エッジ＋エッジ近傍輝度抽出グレー画像」１０６が追尾対象画像とされる。そして、その画像１０６上で追尾目標近傍の目標領域が走査されながら、後述する機能１０４のレファレンス画像更新処理によって得られているレファレンス画像の「エッジ＋エッジ近傍輝度抽出グレー画像」１０７との相関処理（画像マッチング）が実行され、相関係数が算出される。 In the function 102, the “edge + edge vicinity luminance extraction gray image” 106 of the input image generated by the function 101 is set as the tracking target image. Then, while the target area in the vicinity of the tracking target is scanned on the image 106, the correlation process with the “edge + edge vicinity luminance extraction gray image” 107 of the reference image obtained by the reference image update process of the function 104 described later is performed. (Image matching) is executed, and a correlation coefficient is calculated.
機能１０３では、機能１０２によって算出された相関係数のマップ上で、一致度が最大の点として目標位置が検出され、その目標位置に基づいてカメラの視軸の指向制御用の追尾誤差値が追尾点算出結果１０９として算出され、出力される。 In the function 103, the target position is detected as a point having the maximum degree of coincidence on the correlation coefficient map calculated by the function 102, and the tracking error value for directivity control of the visual axis of the camera is calculated based on the target position. The tracking point calculation result 109 is calculated and output.
機能１０４では、追尾点算出結果１０９に基づいて、入力画像の「エッジ＋エッジ近傍輝度抽出グレー画像」１０６のなかから最新の追尾点で示された目標位置の画像が、新たなレファレンス画像の「エッジ＋エッジ近傍輝度抽出グレー画像」１０７として更新されて、メモリに保持される。なお、この更新処理は、リカーシブに行われてもよい。リカーシブな更新方法としては、例えば、旧レファレンス画像に対して、更新されるべき新レファレンス画像が全て置き換えられるのではなく、重み付けをして新旧ともに重み付けの割合で足し合わせる方法を採用することができる。
発明の開示において、図８を用いて説明したように、エッジのみの追尾では同等のエッジ形状があった場合に区別がつかず、どちらのエッジが目標かの判断ができない。In the function 104, based on the tracking point calculation result 109, the image at the target position indicated by the latest tracking point from the “edge + bright edge luminance extracted gray image” 106 of the input image is “ It is updated as “edge + edge vicinity luminance extraction gray image” 107 and held in the memory. This update process may be performed recursively. As a recursive update method, for example, a method in which the old reference image is not replaced with all the new reference images to be updated but weighted and the old and new images are added at the weight ratio can be adopted. .
In the disclosure of the invention, as described with reference to FIG. 8, in tracking only with an edge, it is impossible to distinguish when there is an equivalent edge shape, and it is not possible to determine which edge is a target.
一方、本実施形態のように、エッジの両側の輝度情報が付随していれば、エッジの形状は同等でも、輝度情報の相関一致度が高くなり、目標を正しく判断することができる。例えば、図２の（ａ）（レファレンス画像）及び（ｂ）（入力画像）に示されるように、図１の機能１０１によってエッジ両側の輝度が付加されると、レファレンス画像のエッジ２０１は、入力画像において、エッジ２０３ではなくエッジ２０２に相関マッチすることが理解できる。 On the other hand, if the luminance information on both sides of the edge is attached as in the present embodiment, the degree of correlation coincidence of the luminance information increases even if the shape of the edge is the same, and the target can be determined correctly. For example, as shown in (a) (reference image) and (b) (input image) of FIG. 2, when the luminance on both sides of the edge is added by the function 101 of FIG. 1, the edge 201 of the reference image is input. It can be seen that the image matches the edge 202 instead of the edge 203.
エッジ上のみの輝度を保存する方式も本発明の範囲であり、一定の効果を得ることが可能であるが、その方式では、図３に示されるように、実際にはかなり輝度特性が異なるエッジでも類似のエッジ画像として抽出されてしまう可能性がある。本実施形態のように、エッジ両側の輝度が付加されることにより、それらが更に明確に区別されるようにエッジ画像を抽出することが可能となる。 A method of storing the luminance only on the edge is also within the scope of the present invention, and it is possible to obtain a certain effect. However, in this method, as shown in FIG. However, it may be extracted as a similar edge image. As in the present embodiment, by adding the luminance on both sides of the edge, it is possible to extract the edge image so that they are more clearly distinguished.
また、エッジと輝度の組合せにより、目標が多少変化しても、目標又は目標の一部のエッジが存在する部分との相関が高まる度合いが高くなるため、本実施形態の方式で抽出された相関ピークを中心にレファレンス画像が更新されることにより、目標変化があっても目標を継続的に追尾する性能を高めることが可能となる。 In addition, even if the target changes slightly due to the combination of the edge and the brightness, the degree of increase in the correlation with the target or the part where the target part of the edge exists increases, so the correlation extracted by the method of this embodiment By updating the reference image around the peak, it is possible to improve the performance of tracking the target continuously even if the target changes.
なお、エッジ線の両側の輝度情報に限定するのは、エッジから離れた、エッジがなくて面積のある領域は輝度が一様であるので、その輝度情報は位置を特定することにあまり向かないためである。 Note that the luminance information on both sides of the edge line is limited to the information on the position because the luminance is uniform in a region having no area but having an edge away from the edge. Because.
図４は、図１に示されるプログラム機能を実現できるコンピュータのハードウェア構成の一例を示す図である。
図４に示されるコンピュータは、ＣＰＵ４０１、メモリ４０２、入力装置４０３、出力装置４０４、外部記憶装置４０５、可搬記録媒体４０９が挿入される可搬記録媒体駆動装置４０６、及びネットワーク接続装置４０７を有し、これらがバス４０８によって相互に接続された構成を有する。同図に示される構成は上記システムを実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。FIG. 4 is a diagram showing an example of a hardware configuration of a computer that can realize the program function shown in FIG.
The computer shown in FIG. 4 includes a CPU 401, a memory 402, an input device 403, an output device 404, an external storage device 405, a portable recording medium drive device 406 into which a portable recording medium 409 is inserted, and a network connection device 407. However, these are connected to each other by a bus 408. The configuration shown in the figure is an example of a computer that can implement the above system, and such a computer is not limited to this configuration.
ＣＰＵ４０１は、当該コンピュータ全体の制御を行う。メモリ４０２は、プログラムの実行、データ更新等の際に、外部記憶装置４０５（或いは可搬記録媒体４０９）に記憶されているプログラム又はデータを一時的に格納するＲＡＭ等のメモリである。ＣＵＰ４０１は、プログラムをメモリ４０２に読み出して実行することにより、全体の制御を行う。 The CPU 401 controls the entire computer. The memory 402 is a memory such as a RAM that temporarily stores a program or data stored in the external storage device 405 (or portable recording medium 409) when executing a program, updating data, or the like. The CUP 401 performs overall control by reading the program into the memory 402 and executing it.
入力装置４０３は、例えば、キーボード、マウス等及びそれらのインタフェース制御装置とからなる。入力装置４０３は、ユーザによるキーボードやマウス等による入力操作を検出し、その検出結果をＣＰＵ４０１に通知する。 The input device 403 includes, for example, a keyboard, a mouse, and their interface control devices. The input device 403 detects an input operation by a user using a keyboard, a mouse, or the like, and notifies the CPU 401 of the detection result.
出力装置４０４は、表示装置、印刷装置等及びそれらのインタフェース制御装置とからなる。出力装置４０４は、ＣＰＵ４０１の制御によって送られてくるデータを表示装置や印刷装置に出力する。 The output device 404 includes a display device, a printing device, etc. and their interface control devices. The output device 404 outputs data sent under the control of the CPU 401 to a display device or a printing device.
外部記憶装置４０５は、例えばハードディスク記憶装置である。主に各種データやプログラムの保存に用いられる。
可搬記録媒体駆動装置４０６は、光ディスクやＳＤＲＡＭ、コンパクトフラッシュ（登録商標）等の可搬記録媒体４０９を収容するもので、外部記憶装置４０５の補助の役割を有する。The external storage device 405 is, for example, a hard disk storage device. Mainly used for storing various data and programs.
The portable recording medium driving device 406 accommodates a portable recording medium 409 such as an optical disc, SDRAM, or Compact Flash (registered trademark), and has an auxiliary role for the external storage device 405.
ネットワーク接続装置４０７は、例えばＬＡＮ（ローカルエリアネットワーク）又はＷＡＮ（ワイドエリアネットサーク）の通信回線を接続するための装置である。
本実施形態によるシステムは、図１に示される機能を実現するプログラムをＣＰＵ４０１が実行することで実現される。そのプログラムは、例えば外部記憶装置４０５や可搬記録媒体４０９に記録して配布してもよく、或いはネットワーク接続装置４０７によりネットワークから取得できるようにしてもよい。The network connection device 407 is a device for connecting, for example, a LAN (local area network) or WAN (wide area network) communication line.
The system according to the present embodiment is realized by the CPU 401 executing a program that realizes the functions shown in FIG. The program may be recorded and distributed in, for example, the external storage device 405 or the portable recording medium 409, or may be acquired from the network by the network connection device 407.
本発明の第２の実施形態
図５は、本発明をハードウェアシステムとして実現した場合の第２の実施形態の構成図である。Second Embodiment of the Present Invention FIG. 5 is aconfiguration diagramof the second embodiment when the present invention is implemented as a hardware system.
本実施形態は、入力画像データ５１０を記憶する目標領域抽出画像メモリ５０１と、レファレンス画像データ５１１を記憶するレファレンス画像メモリ５０９と、レファレンス画像を更新するレファレンス更新回路５０８と、相関追尾処理を実行する演算プロセッサ５０２と、相関係数の計算結果をマップとして記憶する相関係数マップメモリ５０７とによって構成される。 In the present embodiment, a target area extraction image memory 501 that stores input image data 510, a reference image memory 509 that stores reference image data 511, a reference update circuit 508 that updates a reference image, and a correlation tracking process are executed. An arithmetic processor 502 and a correlation coefficient map memory 507 that stores a calculation result of the correlation coefficient as a map are configured.
演算プロセッサ５０２内のエッジ＋エッジ近傍輝度抽出グレー画像生成部５０３は、図１に示される本発明の第１の実施形態の機能１０１と同等の機能を実現する演算部で、目標領域抽出画像メモリ５０１から読み出される入力画像データ５１０と、レファレンス画像メモリ５０９から読み出されるレファレンス画像データ５１１のそれぞれに対して、エッジ抽出画像にエッジ近傍の輝度情報が付加された入力画像及びレファレンス画像の各「エッジ＋エッジ近傍輝度抽出グレー画像」を抽出する。 The edge + edge vicinity luminance extraction gray image generation unit 503 in the arithmetic processor 502 is an arithmetic unit that realizes a function equivalent to the function 101 of the first embodiment of the present invention shown in FIG. For each of the input image data 510 read out from 501 and the reference image data 511 read out from the reference image memory 509, each “edge +” of the input image and reference image in which luminance information in the vicinity of the edge is added to the edge extracted image. An edge vicinity luminance extraction gray image ”is extracted.
演算プロセッサ５０２内の相関処理部５０４、最大相関値検出部５０５、及び目標追尾点算出部５０６は、図６に示される動作フローチャートに対応する相関追尾処理を実行す
る。The correlation processing unit 504, the maximum correlation value detecting unit 505, and the target tracking point calculating unit 506 in the arithmetic processor 502 execute a correlation tracking process corresponding to the operation flowchart shown in FIG.
まず、相関処理部５０４は、図１に示される本発明の第１の実施形態の機能１０２と同等の機能を実現する演算部で、画像フレーム毎に、以下の処理を実行する。
まず、相関処理部５０４は、レファレンス画像メモリ５０９からエッジ＋エッジ近傍輝度抽出グレー画像生成部５０３を介して、エッジ画像の「エッジ＋エッジ近傍輝度抽出グレー画像」（以下、「レファレンスグレー画像」と省略する）を取得する（図６のＳ６０１）。First, the correlation processing unit 504 is a calculation unit that realizes a function equivalent to the function 102 of the first embodiment of the present invention illustrated in FIG. 1, and executes the following processing for each image frame.
First, the correlation processing unit 504 sends an “edge + edge vicinity luminance extraction gray image” (hereinafter referred to as “reference gray image”) from the reference image memory 509 via the edge + edge vicinity luminance extraction gray image generation unit 503. (Omitted) is acquired (S601 in FIG. 6).
次に、相関処理部５０４は、目標領域抽出画像メモリ５０１に対して領域指定５１２を指示することにより、目標領域抽出画像メモリ５０１からエッジ＋エッジ近傍輝度抽出グレー画像生成部５０３を介して、入力画像の追尾目標近傍の目標領域における「エッジ＋エッジ近傍輝度抽出グレー画像」（以下、目標領域グレー画像と省略する）を取得する（図６のＳ６０２）。 Next, the correlation processing unit 504 inputs an area designation 512 to the target area extraction image memory 501, thereby inputting the target area extraction image memory 501 via the edge + edge vicinity luminance extraction gray image generation unit 503. An “edge + edge vicinity luminance extraction gray image” (hereinafter, abbreviated as a target region gray image) in a target region near the tracking target of the image is acquired (S602 in FIG. 6).
続いて、相関処理部５０４は、目標領域グレー画像の領域内を走査しながら、レファレンスグレー画像との相関処理計算を実行し、相関係数を算出する（図６のＳ６０３−＞Ｓ６０４−＞Ｓ６０３のループ処理）。 Subsequently, the correlation processing unit 504 performs correlation processing calculation with the reference gray image while scanning the area of the target region gray image, and calculates a correlation coefficient (S603-> S604-> S603 in FIG. 6). Loop processing).
そして、相関処理部５０４は、上述の算出された各走査領域の相関係数を、相関係数マップとして相関係数マップメモリ５０７に記憶させる（図６のＳ６０５）。
演算プロセッサ５０２内の最大相関値検出部５０５及び目標追尾点算出部５０６は、図１に示される本発明の第１の実施形態の機能１０３と同等の機能を実現する演算部で、画像フレーム毎に、以下の処理を実行する。Then, the correlation processing unit 504 stores the calculated correlation coefficient of each scanning region in the correlation coefficient map memory 507 as a correlation coefficient map (S605 in FIG. 6).
The maximum correlation value detection unit 505 and the target tracking point calculation unit 506 in the arithmetic processor 502 are arithmetic units that realize functions equivalent to the function 103 of the first embodiment of the present invention shown in FIG. Then, the following processing is executed.
すなわち、最大相関値検出部５０５が、相関係数マップメモリ５０７に記憶された相関係数マップ上で相関度が最も高い位置を検出し、その検出結果に基づいて、演算プロセッサ５０２内の目標追尾点算出部５０６が、入力画像上の目標追尾点５１３を算出し出力する（図６のＳ６０６）。 That is, the maximum correlation value detection unit 505 detects the position having the highest degree of correlation on the correlation coefficient map stored in the correlation coefficient map memory 507, and based on the detection result, the target tracking in the arithmetic processor 502 is detected. The point calculation unit 506 calculates and outputs the target tracking point 513 on the input image (S606 in FIG. 6).
以上の目標追尾動作に同期して動作するレファレンス更新回路５０８は、図１に示される本発明の第１の実施形態の機能１０４と同等の機能を実現する演算回路であり、画像フレーム毎に、以下の処理を実行する。 The reference update circuit 508 that operates in synchronization with the above target tracking operation is an arithmetic circuit that realizes a function equivalent to the function 104 of the first embodiment of the present invention shown in FIG. The following processing is executed.
即ち、レファレンス更新回路５０８は、目標領域抽出画像メモリ５０１から出力されている目標領域画像内の、演算プロセッサ５０２から出力される目標追尾点５１３に対応する領域の画像に基づいて、レファレンス画像を決定し（図６のＳ６０７）、レファレンス画像メモリ５０９内に記憶されているレファレンス画像データ５１１を更新する（図６のＳ６０８）。この場合、レファレンス更新回路５０８は、本発明の第１の実施形態において説明したように、旧レファレンス画像に対して、更新されるべき新レファレンス画像を全て置き換えるのではなく、重み付けをして新旧ともに重み付けの割合で足し合わせる方法で更新を行うような動作を行うように、構成することが可能である。
以上説明した一連の動作が、画像フレーム毎に繰り返し実行されることにより、本発明による相関追尾動作が実現される。That is, the reference update circuit 508 determines a reference image based on an image of an area corresponding to the target tracking point 513 output from the arithmetic processor 502 in the target area image output from the target area extraction image memory 501. Then (S607 in FIG. 6), the reference image data 511 stored in the reference image memory 509 is updated (S608 in FIG. 6). In this case, as described in the first embodiment of the present invention, the reference update circuit 508 does not replace all the new reference images to be updated with respect to the old reference images, but weights both the old and new ones. It is possible to configure so as to perform an operation of performing an update by a method in which the weights are added together.
The series of operations described above is repeatedly executed for each image frame, thereby realizing the correlation tracking operation according to the present invention.
本発明の第１及び第２の実施形態に対する補足
本発明の第１及び第２の実施形態の特徴を、図７を用いて説明する。
図７（ａ）において、時間進行と共に、フレームｎ−１、フレームｎ、フレームｎ＋１の各画像フレームがカメラから得られる。
現在の処理フレームがフレームｎであった場合、フレームｎ−１で検出されている目標位置に基づいて、現在の処理フレームｎでの目標領域画像が、図７（ａ）の７０１（ｎ）として得られる。Supplement to the first and second embodiments of the present invention The features of the first and second embodiments of the present invention will be described with reference to FIG.
In FIG. 7A, as the time progresses, each image frame of frame n−1, frame n, and frame n + 1 is obtained from the camera.
When the current processing frame is frame n, based on the target position detected in frame n-1, the target area image in the current processing frame n is represented as 701 (n) in FIG. can get.
本発明の第１及び第２の実施形態では、この目標領域画像７０１（ｎ）に対応する目標領域グレー画像の領域内が図７（ｂ）に示されるように走査されながら、処理フレームｎにおけるレファレンス画像７０２（ｎ）のグレー画像との相関処理計算が実行される。 In the first and second embodiments of the present invention, the area of the target area gray image corresponding to the target area image 701 (n) is scanned as shown in FIG. The correlation processing calculation with the gray image of the reference image 702 (n) is executed.
この場合に、単純なエッジ画像のみの相関追尾処理だと、処理フレームｎにおける目標候補７０３（ｎ）に加えて、他の目標候補７０４（ｎ）も類似のエッジ候補として検出されてしまうおそれがある。一方、本発明の第１及び第２の実施形態のように、エッジの両側の輝度情報を付加した相関追尾処理ならば、エッジの形状は同等でも、目標の進行領域と他の目標の進行領域とにおける輝度情報の相違が加味されるため、輝度情報を加味した相関精度が高くなり、目標候補７０３（ｎ）のみを正しく判断することができるようになる。 In this case, in the case of correlation tracking processing using only a simple edge image, in addition to the target candidate 703 (n) in the processing frame n, other target candidates 704 (n) may be detected as similar edge candidates. is there. On the other hand, as in the first and second embodiments of the present invention, in the case of correlation tracking processing to which luminance information on both sides of the edge is added, even if the edge shape is the same, the target progress region and other target progress regions Therefore, the correlation accuracy with the luminance information is increased, and only the target candidate 703 (n) can be correctly determined.
なお、上述した本発明の第１及び第２の実施形態では、画像の輝度情報を対象として２値化されたエッジとそのエッジ近傍の輝度情報が相関追尾処理に利用されたが、画像の色情報等様々な多値情報を対象として２値化されたエッジとそのエッジ近傍の多値情報が相関追尾処理に利用されるようにすることも、本発明の範囲である。 In the first and second embodiments of the present invention described above, the binarized edge for the luminance information of the image and the luminance information in the vicinity of the edge are used for the correlation tracking process. It is also within the scope of the present invention to use binarized edges for various multi-value information such as information and multi-value information in the vicinity of the edges for correlation tracking processing.
本発明は、以下の構成をとることが可能である。
（付記１）
画像追尾処理を実行するコンピュータに、
フレーム毎に、入力画像と該入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報とそのエッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する第１の機能と、
前記フレーム毎に、前記入力処理画像上の所定領域を走査しながら前記レファレンス処理画像との相関処理を実行する第２の機能と、
前記フレーム毎に、前記相関処理の結果得られる相関係数に基づいて前記入力画像上の目標の追尾を行う第３の機能と、
を実行させることを特徴とするプログラム。
（付記２）
前記多値情報は輝度値情報である、
ことを特徴とする付記１に記載のプログラム。
（付記３）
前記第３の機能は、前記フレーム毎に、前記相関処理の結果得られる相関係数において、相関度が最も高い点を追尾点として抽出することにより、前記入力画像上の目標の追尾を行う機能である、
ことを特徴とする付記１又は２の何れか１項に記載のプログラム。
（付記４）
前記第３の機能によって算出される前記目標の追尾に関する情報に基づいて、前記レファレンス画像を更新する第４の機能を更に実行させる、
ことを特徴とする付記１乃至３の何れか１項に記載のプログラム。
（付記５）
画像追尾処理を実行するための装置であって、
フレーム毎に、入力画像と該入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報とそのエッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する第１の手段と、
前記フレーム毎に、前記入力処理画像上の所定領域を走査しながら前記レファレンス処
理画像との相関処理を実行する第２の手段と、
前記フレーム毎に、前記相関処理の結果得られる相関係数に基づいて前記入力画像上の目標の追尾を行う第３の手段と、
を含むことを特徴とする画像追尾装置。
（付記６）
画像追尾処理を実行するための方法であって、
フレーム毎に、入力画像と該入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報とそのエッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する第１の過程と、
前記フレーム毎に、前記入力処理画像上の所定領域を走査しながら前記レファレンス処理画像との相関処理を実行する第２の過程と、
前記フレーム毎に、前記相関処理の結果得られる相関係数に基づいて前記入力画像上の目標の追尾を行う第３の過程と、
を含むことを特徴とする画像追尾方法。The present invention can have the following configurations.
(Appendix 1)
On the computer that executes the image tracking process,
For each frame, for each of the input image and the reference image indicating the tracking target on the input image, an input processing image and a reference processing image composed of edge information related to the pixel value and multi-value information on or near the edge are calculated. A first function to
A second function for executing correlation processing with the reference processing image while scanning a predetermined area on the input processing image for each frame;
A third function for tracking a target on the input image based on a correlation coefficient obtained as a result of the correlation processing for each frame;
A program characterized by having executed.
(Appendix 2)
The multi-value information is luminance value information.
The program according to appendix 1, characterized by:
(Appendix 3)
The third function is a function of performing tracking of a target on the input image by extracting a point having the highest degree of correlation as a tracking point in the correlation coefficient obtained as a result of the correlation processing for each frame. Is,
The program according to any one of appendix 1 or 2, characterized by:
(Appendix 4)
Further executing a fourth function of updating the reference image based on information on tracking of the target calculated by the third function;
The program according to any one of appendices 1 to 3, characterized in that:
(Appendix 5)
An apparatus for executing image tracking processing,
For each frame, for each of the input image and the reference image indicating the tracking target on the input image, an input processing image and a reference processing image composed of edge information related to the pixel value and multi-value information on or near the edge are calculated. First means to:
Second means for executing correlation processing with the reference processed image while scanning a predetermined area on the input processed image for each frame;
Third means for tracking a target on the input image based on a correlation coefficient obtained as a result of the correlation processing for each frame;
An image tracking device comprising:
(Appendix 6)
A method for performing image tracking processing,
For each frame, for each of the input image and the reference image indicating the tracking target on the input image, an input processing image and a reference processing image composed of edge information related to the pixel value and multi-value information on or near the edge are calculated. A first process to
A second step of performing a correlation process with the reference processed image while scanning a predetermined area on the input processed image for each frame;
A third step of tracking a target on the input image based on a correlation coefficient obtained as a result of the correlation processing for each frame;
Including an image tracking method.
１０１ エッジ抽出＋エッジ近傍輝度情報付加処理機能
１０２ 相関処理機能
１０３ 追尾点算出処理機能
１０４ レファレンス画像更新処理機能
１０５ 入力画像データ
１０６ 入力画像の「エッジ＋エッジ近傍輝度抽出グレー画像」
１０７ レファレンス画像の「エッジ＋エッジ近傍輝度抽出グレー画像」
１０８ 相関係数マップ出力
１０９ 追尾点算出結果
２０１、２０２、２０３ エッジ
４０１ ＣＰＵ
４０２ メモリ
４０３ 入力装置
４０４ 出力装置
４０５ 外部記憶装置
４０６ 可搬記録媒体駆動装置
４０７ ネットワーク接続装置
４０８ バス
４０９ 可搬記録媒体
５０１ 目標領域抽出画像メモリ
５０２ 演算プロセッサ
５０３ エッジ＋エッジ近傍輝度抽出グレー画像生成部
５０４ 相関処理部
５０５ 最大相関値検出部
５０６ 目標追尾点算出部
５０７ 相関係数マップメモリ
５０８ レファレンス更新回路
５０９ レファレンス画像メモリ
５１０ 入力画像データ
５１１ レファレンス画像データ
５１２ 領域指定
５１３ 目標追尾点
７０１（ｎ） 目標領域画像
７０２（ｎ） レファレンス画像
７０３（ｎ） 目標候補
７０４（ｎ） 他の目標候補101 Edge extraction + edge vicinity luminance information addition processing function 102 Correlation processing function 103 Tracking point calculation processing function 104 Reference image update processing function 105 Input image data 106 “Edge + edge vicinity luminance extraction gray image” of input image
107 “Edge + Edge Brightness Extraction Gray Image” of Reference Image
108 Correlation coefficient map output 109 Tracking point calculation result 201, 202, 203 Edge 401 CPU
402 memory 403 input device 404 output device 405 external storage device 406 portable recording medium drive device 407 network connection device 408 bus 409 portable recording medium 501 target area extraction image memory 502 arithmetic processor 503 edge + edge neighborhood luminance extraction gray image generation unit 504 Correlation processing unit 505 Maximum correlation value detection unit 506 Target tracking point calculation unit 507 Correlation coefficient map memory 508 Reference update circuit 509 Reference image memory 510 Input image data 511 Reference image data 512 Area designation 513 Target tracking point 701 (n) Target Region image 702 (n) Reference image 703 (n) Target candidate 704 (n) Other target candidates
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007258949AJP2009087238A (en) | 2007-10-02 | 2007-10-02 | Image tracking program, apparatus, and method |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007258949AJP2009087238A (en) | 2007-10-02 | 2007-10-02 | Image tracking program, apparatus, and method |
| Publication Number | Publication Date |
|---|---|
| JP2009087238Atrue JP2009087238A (en) | 2009-04-23 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007258949APendingJP2009087238A (en) | 2007-10-02 | 2007-10-02 | Image tracking program, apparatus, and method |
| Country | Link |
|---|---|
| JP (1) | JP2009087238A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9734395B2 (en) | 2013-11-13 | 2017-08-15 | Fujitsu Limited | Tracking device and tracking method |
| CN114548218A (en)* | 2022-01-12 | 2022-05-27 | 网易（杭州）网络有限公司 | Image matching method, device, storage medium and electronic device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07146937A (en)* | 1993-11-25 | 1995-06-06 | Matsushita Electric Works Ltd | Pattern matching method |
| JP2003196666A (en)* | 2001-12-28 | 2003-07-11 | Toshiba Corp | Image processing apparatus and method based on image vector definition |
| JP2004235711A (en)* | 2003-01-28 | 2004-08-19 | Nissan Motor Co Ltd | Object tracking system and object tracking method |
| JP2006227973A (en)* | 2005-02-18 | 2006-08-31 | Kyushu Institute Of Technology | Object tracking method, object tracking apparatus, and program |
| JP2007156771A (en)* | 2005-12-05 | 2007-06-21 | Sony Corp | Image detection tracing device, image detection tracing method and image detection tracing program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07146937A (en)* | 1993-11-25 | 1995-06-06 | Matsushita Electric Works Ltd | Pattern matching method |
| JP2003196666A (en)* | 2001-12-28 | 2003-07-11 | Toshiba Corp | Image processing apparatus and method based on image vector definition |
| JP2004235711A (en)* | 2003-01-28 | 2004-08-19 | Nissan Motor Co Ltd | Object tracking system and object tracking method |
| JP2006227973A (en)* | 2005-02-18 | 2006-08-31 | Kyushu Institute Of Technology | Object tracking method, object tracking apparatus, and program |
| JP2007156771A (en)* | 2005-12-05 | 2007-06-21 | Sony Corp | Image detection tracing device, image detection tracing method and image detection tracing program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9734395B2 (en) | 2013-11-13 | 2017-08-15 | Fujitsu Limited | Tracking device and tracking method |
| CN114548218A (en)* | 2022-01-12 | 2022-05-27 | 网易（杭州）网络有限公司 | Image matching method, device, storage medium and electronic device |
| Publication | Publication Date | Title |
|---|---|---|
| US11302315B2 (en) | Digital video fingerprinting using motion segmentation | |
| JP4915655B2 (en) | Automatic tracking device | |
| JP5219795B2 (en) | Subject tracking device, control method thereof, imaging device, display device, and program | |
| EP2858008B1 (en) | Target detecting method and system | |
| JP4663966B2 (en) | Method and apparatus for tracking an object from a video signal | |
| US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
| CN108027884B (en) | Method, storage medium, server and equipment for monitoring object | |
| JP4373840B2 (en) | Moving object tracking method, moving object tracking program and recording medium thereof, and moving object tracking apparatus | |
| US9349207B2 (en) | Apparatus and method for parsing human body image | |
| WO2013012091A1 (en) | Information processing apparatus, object tracking method, and program storage medium | |
| JP2002373332A (en) | Image recognition device and image recognition method | |
| KR20140009737A (en) | Hybrid map based localization method of robot | |
| JP6810359B2 (en) | Information processing device, control method, program | |
| JP2017117139A (en) | Information processing unit, control method, program | |
| US11170512B2 (en) | Image processing apparatus and method, and image processing system | |
| KR20120044484A (en) | Apparatus and method for tracking object in image processing system | |
| JP2019121356A (en) | Interference region detection apparatus and method, and electronic apparatus | |
| EP3291179B1 (en) | Image processing device, image processing method, and image processing program | |
| JP5656768B2 (en) | Image feature extraction device and program thereof | |
| WO2021220398A1 (en) | Object area identification device, object area identification method, and object area identification program | |
| CN115049954A (en) | Target identification method, device, electronic equipment and medium | |
| CN103093481B (en) | A kind of based on moving target detecting method under the static background of watershed segmentation | |
| JP2009087238A (en) | Image tracking program, apparatus, and method | |
| JP6326622B2 (en) | Human detection device | |
| KR101646580B1 (en) | Device and method for detecting/tracking low-body part |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20090319 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20110111 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20110118 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20110317 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20110419 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20110615 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20110802 |