JP2022130307A - Information processing device, information processing method, program - Google Patents
Information processing device, information processing method, programDownload PDFInfo
- Publication number
- JP2022130307A JP2022130307AJP2022011323AJP2022011323AJP2022130307AJP 2022130307 AJP2022130307 AJP 2022130307AJP 2022011323 AJP2022011323 AJP 2022011323AJP 2022011323 AJP2022011323 AJP 2022011323AJP 2022130307 AJP2022130307 AJP 2022130307A
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- points
- interest
- surrounding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Translated fromJapaneseDescription
Translated fromJapanese本発明は、距離画像から物体の特徴を得る技術に関する。 The present invention relates to technology for obtaining features of an object from a range image.
ステレオカメラで撮影した画像を入力として、ステレオマッチングに基づいて距離画像を算出し、カメラの前方に物体があるかどうかを検知する技術がある（非特許文献１）。この技術は、例えばロボットや自動車の周囲にある物体（人や障害物など）を検知するために利用されている。 2. Description of the Related Art There is a technique of using an image captured by a stereo camera as an input, calculating a distance image based on stereo matching, and detecting whether or not there is an object in front of the camera (Non-Patent Document 1). This technology is used, for example, to detect objects (people, obstacles, etc.) around robots and automobiles.
ステレオマッチングにより得られる距離画像は、マッチングの失敗によるノイズが含まれる可能性がある。このノイズを判定し除去する方法として、メディアンフィルタやスペックルフィルタ等のノイズ除去フィルタなどがある。これらのノイズ判定と除去の方法は、距離画像の局所画像領域内で複数の距離値を参照して、統計的に少数派となる距離値を見つけることで、これをノイズとして除去する。 A range image obtained by stereo matching may contain noise due to matching failure. Methods for determining and removing this noise include noise removal filters such as median filters and speckle filters. These noise determination and removal methods refer to a plurality of distance values within a local image region of a distance image, find a statistically minority distance value, and remove this as noise.
複数の距離値を参照する統計的な計算に基づくノイズ判定方法を使うためには、元となる距離画像は局所画像領域ごとに密な距離値を持つことを前提としている。しかし、ステレオマッチングに基づいて密な距離画像を生成して、その密な距離画像からノイズ判定をするには、大きな処理負荷がかかる。移動体に配置されたカメラを用いて物体を検知するときのノイズ判定においては、処理負荷を軽く抑えつつノイズ判定の精度は担保されることが望ましい。 In order to use a noise determination method based on statistical calculations that refer to a plurality of distance values, it is assumed that the original distance image has dense distance values for each local image region. However, a large processing load is required to generate a dense range image based on stereo matching and perform noise determination from the dense range image. In noise determination when an object is detected using a camera placed on a moving body, it is desirable to secure noise determination accuracy while keeping the processing load light.
本発明は、以上の課題を鑑みたものであり、処理負荷を抑えつつ精度良く、移動体の進行方向の３次元空間内から物体の特徴を示す特徴点が得られたかを判定することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to accurately determine whether or not a feature point indicating a feature of an object is obtained from within a three-dimensional space in the traveling direction of a moving body while suppressing the processing load. and
本発明に係る情報処理装置は以下の構成を有する。即ち、撮像視野の少なくとも一部が重複するように移動体に配置された第１の光学系と第２の光学系を含む撮像手段から得られる画像であって、前記第１の光学系から第１の画像を、前記第２の光学系から第２の画像を取得する画像取得手段と、前記第１の画像における画素数よりも少ない第１の数の特徴点を前記第１の画像と前記第２の画像においてステレオマッチングし、前記撮像手段に対する該特徴点の３次元位置を推定する推定手段と、前記第１の数の特徴点のうち、前記移動体の進行方向に設定した３次元空間内から得られたと前記３次元位置に基づいて判断する特徴点を注目点として設定する注目点設定手段と、前記第１の画像における前記注目点から所定の距離範囲内の画像領域内において前記推定手段で３次元位置を推定した特徴点の数よりも多い数の第２の数の周囲点を設定する周囲点設定手段と、前記第１の画像と前記第２の画像とを用いて前記周囲点をステレオマッチングすることにより得た、前記撮像手段に対する前記周囲点の３次元位置と、前記撮像手段に対する前記注目点の３次元位置と、の差に基づいて、前記注目点が前記３次元空間内に存在する物体の特徴を示す特徴点かを判定する判定手段と、を有する。 An information processing apparatus according to the present invention has the following configuration. That is, the image is obtained from imaging means including a first optical system and a second optical system arranged on a moving body so that at least a part of the imaging field of view overlaps, and the image is obtained from the first optical system to the second optical system. an image acquiring means for acquiring a second image from the first image through the second optical system; estimating means for performing stereo matching in a second image and estimating the three-dimensional positions of the feature points with respect to the imaging means; a point-of-interest setting means for setting, as a point of interest, a feature point determined based on the three-dimensional position to be obtained from within an image area within a predetermined distance range from the point of interest in the first image; surrounding point setting means for setting a second number of surrounding points larger than the number of feature points whose three-dimensional positions are estimated by means; The point of interest is located in the three-dimensional space based on the difference between the three-dimensional position of the surrounding point with respect to the imaging means and the three-dimensional position of the point of interest with respect to the imaging means, which is obtained by stereo matching the points. and determination means for determining whether it is a feature point that indicates a feature of an object existing within.
本発明によれば、処理負荷を抑えつつ精度良く、撮像手段の視野内の３次元空間内から物体の特徴を示す特徴点が得られたかを判定することができる。 According to the present invention, it is possible to accurately determine whether or not a feature point indicating the feature of an object is obtained from within the three-dimensional space within the field of view of the imaging means while suppressing the processing load.
［第１の実施形態］
第１の実施形態では、ステレオカメラの前方視野内（ステレオカメラを配置した移動体の進行方向）にある物体の有無を検知する方法を考える。ステレオカメラは、例えば、ＡＭＲ（ａｕｔｏｎｏｍｏｕｓ ｍｏｂｉｌｅ ｒｏｂｏｔ）やＡＧＶ（ａｕｔｏｍａｔｉｃ ｇｕｉｄｅｄ ｖｅｈｉｃｌｅ）、自律移動車などに搭載される。ステレオカメラは、移動する装置（ｖｅｈｉｃｌｅ）の他、監視カメラなどの静止した装置に搭載することができる。図１は本実施形態におけるステレオカメラと物体の配置条件の例を示す。図１の１００はステレオカメラ、１１０は物体の有無を判定するための３次元の検知空間、２００は物体を表す。ステレオカメラ１００では図２の３００、３１０に示すような２枚の画像（第１の撮像装置（光学系）から得た第１の画像と第２の撮像装置（光学系）から得た第２の画像）のステレオマッチングに基づいて距離計測を行う。そこで算出した点が検知空間１１０の内部にあるかどうかに基づいて、物体の有無を判定する。計測した距離は、例えば、ステレオカメラの左側カメラの撮像面から物体の特徴（画像上では特徴点）までの距離である。もちろん、ステレオカメラの右側カメラの撮像面から物体の特徴までの距離を使うこともできるし、それぞれのカメラの所定位置の中間の位置から物体の特徴までの距離を使うこともできる。検知空間１１０は、空間内で一番低い部分の高さが移動面より高く設定されている。移動面を撮像した画像から得られる特徴点を、以降の判定処理で用いないようにするためである。検知空間１１０の高さは、例えば、移動体の高さに所定の係数を用いて得られた高さに設定する。また検知空間１１０の幅と奥行きは、移動体の走行速度に基づいて、例えばハンドルを切ったりブレーキをかけたりしても、障害物を回避することが難しい可能性が高い長さに設定する。[First Embodiment]
In the first embodiment, a method of detecting the presence or absence of an object within the front field of view of the stereo camera (in the traveling direction of the moving object in which the stereo camera is arranged) is considered. A stereo camera is mounted on, for example, an AMR (autonomous mobile robot), an AGV (automatic guided vehicle), an autonomous vehicle, or the like. Stereo cameras can be mounted on stationary devices, such as surveillance cameras, as well as on moving vehicles. FIG. 1 shows an example of a stereo camera and object arrangement conditions in this embodiment. In FIG. 1, 100 denotes a stereo camera, 110 denotes a three-dimensional detection space for determining the presence or absence of an object, and 200 denotes an object. The
ステレオマッチングにより得られる距離画像は、マッチングの失敗によるノイズが含まれる可能性がある。本実施形態においてノイズとは、距離画像上の各画素が持つ距離値のうち、各画素が示す画像上の部位の実際の距離値（真値）からずれた値を持つデータである。このノイズを除去する方法として、メディアンフィルタやスペックルフィルタ等のノイズ除去フィルタなどがある。これらのノイズ除去方法は、距離画像の局所画像領域内にある距離値を参照し、その中の平均値（或は中央値）から大きく外れる値を持つ距離値を見つけることで、これをノイズとして除去する。このような統計的な計算を行うには、元となる距離画像は局所画像領域ごとに複数の距離値を持つことが前提となる。以降、そのような条件を密な距離画像と表現する。例えば、撮影したステレオ画像の全ての画素について距離値を推定した距離画像は密な距離画像である。逆に、距離値を推定した画素が少なく、疎らにしか距離値を持たない距離画像は、疎な距離画像と表現する。 A range image obtained by stereo matching may contain noise due to matching failure. In the present embodiment, noise is data having a value that deviates from the actual distance value (true value) of the part on the image indicated by each pixel, among the distance values of each pixel on the distance image. Methods for removing this noise include noise removal filters such as median filters and speckle filters. These denoising methods refer to the range values in the local image area of the range image, find the range values that greatly deviate from the mean (or median) value, and treat them as noise. Remove. Such statistical calculation is premised on the original distance image having a plurality of distance values for each local image region. Hereinafter, such a condition is expressed as a dense range image. For example, a distance image obtained by estimating distance values for all pixels of a stereo image taken is a dense distance image. Conversely, a distance image in which there are few pixels for which distance values are estimated and has only sparse distance values is expressed as a sparse distance image.
本実施形態では、計算コストを抑えるために、図２の３０１に示すように疎に設定した点のみについてステレオマッチングを行う。ここで設定した点を候補点と呼ぶ。次に、候補点３０１の中に、検知空間１１０内に存在する点がある場合、これを注目点３０２としてノイズかどうかを判定する。ノイズの判定を行うときには、注目点から所定の範囲内にある複数の点３０３を設定し、ステレオマッチングに基づいて、それら複数の点の距離値を算出する。そして、算出した距離値の分布に基づいて、注目点の距離値がノイズかどうかを判定し、ノイズでない場合は検知空間１１０内に物体が存在すると判定する。ノイズ判定を行うときに、例えば３０１で示す限られた点数の候補点と、その周囲に設定する周囲点でステレオマッチングを行うため、密な距離画像においてノイズを判定してから物体を検知する方法に比べ、計算コストを削減して物体を検知することができる。 In this embodiment, stereo matching is performed only for points set sparsely as indicated by 301 in FIG. 2 in order to reduce the calculation cost. The points set here are called candidate points. Next, if there is a point existing in the
以降、本実施形態の詳しい説明に移る。まず、本実施形態のモジュール構成について説明する。図３の１００はステレオカメラ、４００は情報処理装置、４１０は候補点設定部、４２０は候補点距離推定部である。情報処理装置４００は、画像取得部４０１、注目点設定部４０２、周囲点設定部４０３、周囲点距離取得部４０４、判定部４０５からなる。なお、情報処理装置４００、候補点設定部４１０、候補点距離推定部４２０は不図示の記憶部や計算部を含み、例えば情報処理装置４００は、汎用計算機で実現できる。 Hereinafter, detailed description of the present embodiment will be given. First, the module configuration of this embodiment will be described. 3, 100 is a stereo camera, 400 is an information processing device, 410 is a candidate point setting unit, and 420 is a candidate point distance estimating unit. The
図７に情報処理装置４００のハードウェア構成を示す。ＣＰＵ、ＲＯＭ，ＲＡＭ，ＨＤＤやＳＳＤ等の記憶部、ＵＳＢ等の汎用Ｉ／Ｆ、通信Ｉ／Ｆ、およびシステムバスで構成される。ＣＰＵは、ＲＡＭをワークメモリとして、ＲＯＭ、記憶部等に格納されたオペレーティングシステム（ＯＳ）や各種コンピュータープログラムを実行し、システムバスを介して各部を制御する。例えば、ＣＰＵが実行するプログラムには、後述する処理を実行するためのプログラムが含まれる。 FIG. 7 shows the hardware configuration of the
ステレオカメラ１００は、２次元の画像を撮影する２台のカメラ（第１の撮像装置（光学系）と第２の撮像装置（光学系））である。そのカメラパラメータは既知とする。第１の撮像装置と第２の撮像装置の撮像視野の少なくとも一部が重複するように配置されている。候補点設定部４１０は、ステレオカメラが撮像した画像上に候補点を設定する。候補点距離推定部４２０は、ステレオカメラ１００が撮影した２枚（第１の撮像装置から得た第１の画像と第２の撮像装置から得た第２の画像）の画像に基づいて、ステレオマッチングを行うことで、候補点の実空間での距離値を算出する。図３では、候補点設定部４１０が情報処理装置４００の外部にある場合を説明している。候補点の距離値を、ステレオカメラとは別に外部に設置した距離センサー（距離カメラなど）の出力データから得て、情報処理装置に入力することができる。情報処理装置の内部に備えるセンサーの出力データから、候補点の距離値を得る場合には、候補点設定部４１０は、情報処理装置４００の内部に備えることができる。画像取得部４０１は、ステレオカメラ１００で撮影した２枚の画像を取得する。注目点設定部４０２は、候補点のうち検知空間１１０内（３次元空間内）に存在する点を注目点として設定する。周囲点設定部４０３は、注目点の周囲に、複数の点を設定する。注目点の周囲に設定した領域においては、候補点の密度より周囲点の密度が高くなるように周囲点を設定する。周囲点距離取得部４０４は、ステレオカメラ１００が撮影した２枚の画像に基づいて、ステレオマッチングを行うことで、周囲点の距離値を算出する。判定部４０５は、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを判定し、その判定結果に基づいて検知空間１１０内（３次元空間内）に物体が存在するかを判定する。 The
次に、本実施形態の具体的な処理手順について説明する。図４は、処理手順を示すフローチャートである。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。図４で説明する処理は、移動体が走行を開始すると開始する。 Next, a specific processing procedure of this embodiment will be described. FIG. 4 is a flow chart showing a processing procedure. Hereinafter, the flowchart is assumed to be implemented by the CPU executing the control program. The processing illustrated in FIG. 4 starts when the moving body starts running.
（ステップＳ５００）
画像の取得や計算を行うための初期化を行う。具体的には、プログラムやステレオカメラの起動、処理に必要なパラメータの取得を情報処理４００に含まれる不図示の記憶部からロードする等の処理を行う。ここで、パラメータは、ステレオカメラのカメラパラメータを含む。カメラパラメータは、後述する候補点距離推定部４２０でや周囲点距離取得部４０４でステレオマッチングを行う際に必要になる。(Step S500)
Initialize for image acquisition and calculation. Specifically, processing such as loading a program, starting a stereo camera, and obtaining parameters necessary for processing from a storage unit (not shown) included in the
（ステップＳ５１０）
画像取得部４０１で、ステレオカメラ１００で撮影した２枚の画像を取得する。(Step S510)
An
（ステップＳ５２０）
候補点設定部４１０で、画像上に候補点を設定する。本実施形態では、図２の３０１に示すように画像上に所定の間隔をあけてグリッド状にＭ点設定するものとする。設定した候補点をＡｉ（ｉ＝１～Ｍ）とする。Ｍは、画素数よりも小さい第１の数である。候補点の密度が低くなるように密度ｍとなるように候補点を設定することと同義である。(Step S520)
A candidate
（ステップＳ５３０）
候補点距離推定部４２０で、ステレオカメラ１００が撮影した２枚の画像に基づいて、ステレオマッチングを行うことで、各候補点Ａｉの距離値を算出する。本実施形態において、ステレオマッチングとは、ステレオカメラのカメラパラメータに基づいて、エピポーラ線上でブロックマッチング等を行う処理であり、対応した画素の位置に基づいて三角測量を行うことで距離値を算出する。各候補点の３次元位置も求まる。ここで、各候補点について算出した距離値をＤ（Ａｉ）とする。(Step S530)
The candidate point
（ステップＳ５４０）
注目点設定部４０３で、候補点のうち検知空間１１０（３次元空間内）に存在する点を注目点として設定する。設定した注目点をＡｓ、注目点の距離値をＤ（Ａｓ）とする。図２の３０２は注目点Ａｓの例を示す。なお、本実施形態では、検知空間１１０はステレオカメラ前方に所定のサイズで設定した直方体である。ステレオカメラの前方は、ステレオカメラを配置した移動体の進行方向のことである。移動体がバックするときには、移動体の進行方向は移動体の後方である。(Step S540)
A point-of-
（ステップＳ５５０）
周囲点設定部４０３で、注目点Ａｓの周囲に複数の点３０３を設定する。本実施形態では、ステップＳ５１０で取得した画像において、注目点Ａｓを中心とする半径Ｒの距離範囲内に存在する画素の中から、ランダムでＮ点を選択して、周囲点として設定するものとする。設定した周囲点をＢｊ（ｊ＝１～Ｎ）とする。（半径Ｒの円状の距離範囲内の点を周囲点に設定するのは一例であり、画像の一部領域の点を周囲点として設定する。）注目点Ａｓを中心とする半径Ｒの範囲内における点の密度はｍよりも高く設定する。設定するＮ点は、注目点Ａｓを中心とする半径Ｒの範囲内に存在する候補点の数よりも多い第２の数である。(Step S550)
A surrounding
（ステップＳ５６０）
周囲点距離取得部４０４で、ステレオカメラ１００が撮影した２枚の画像に基づいて、ステレオマッチングを行うことで、各周囲点Ｂｊの距離値を算出する。ここで、周囲点について算出した距離値をＤ（Ｂｊ）とする。(Step S560)
The surrounding point
（ステップＳ５７０）
判定部４０５で、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを判定し、その判定結果に基づいて検知空間１１０内に物体が存在するかを判定する。(Step S570)
A
まず、各周囲点の距離値Ｄ（Ｂｊ）について、注目点の距離値Ｄ（Ａｓ）と類似する点数の比率ｐを計算する。具体的には、設定した周囲点の点数Ｎに対する、Ｄ（Ａｓ）から一定の差の範囲内に存在する距離値を持つ周囲点の比率を計算する。そして、ｐが閾値Ｔ以下であれば注目点をノイズと判定し、ｐが閾値Ｔより大きい場合はノイズではなく、検知空間１１０内に存在する物体の距離値を示す画素の点であると判定する。なお、その場合は物体が検知されたことになる。物体が検知されたときには、物体を避けて移動体の走行を継続させるために、物体全体の３次元形状の計測を開始する。そして、物体を避けた経路で移動体の走行を継続させる。若しくは、物体が検知されたときには、移動体を停止させる。 First, for the distance value D(Bj) of each surrounding point, the ratio p of the number of points similar to the distance value D(As) of the point of interest is calculated. Specifically, the ratio of surrounding points having a distance value existing within a certain range of difference from D(As) to the set number N of surrounding points is calculated. Then, if p is less than or equal to the threshold T, the point of interest is determined to be noise, and if p is greater than the threshold T, it is determined to be a pixel point indicating the distance value of an object existing in the
（ステップＳ５８０）
以上のＳ５４０～５７０の操作を、注目点を変えてすべての候補点について実行する。これにより、画像上に設定した各候補点が検知空間１１０内に含まれる物体上の点かどうかを判定する。単に障害物の「有無」を判定したい場合には、１つの候補点についてＳ５７０で障害物を見つけた時点で、他の候補点についての繰り返し処理は不要となる。(Step S580)
The above operations of S540 to S570 are executed for all candidate points by changing the point of interest. Thereby, it is determined whether each candidate point set on the image is a point on an object included in the
以上述べたように、画像上の全ての画素を対象とするのではなく、限られた点数の候補点と、その周囲に設定する周囲点でステレオマッチングを行う。候補点の周囲の画像領域においては、周囲点の密度は候補点よりも高い。これにより、密な距離画像を生成する方法に比べ、計算コストを抑えても精度良く物体の有無を検知することができる。 As described above, stereo matching is performed using a limited number of candidate points and surrounding points set around them, instead of targeting all pixels on the image. In the image area around the candidate point, the surrounding points have a higher density than the candidate point. As a result, it is possible to detect the presence or absence of an object with high accuracy even if the calculation cost is reduced compared to the method of generating a dense range image.
なお、Ｓ５２０では、候補点設定部４１０は、画像上に等間隔に候補点を設定した。ただし、候補点の設定は、画像上に１点以上の点を空間的に疎に設定できる方法であれば、計算コストを抑えることができる。画像上に等間隔に設定しても良いし、ランダムな位置を設定しても良い。また、動画像として撮影を行う場合、設定する候補点の位置は時刻に応じて変更しても良い。その場合、ある時刻で設定された候補点の隙間を補うように画像上での位置をずらして、後の時刻で候補点を設定することで、候補点の隙間で検出漏れが起こることを避けることができる。また、候補点の距離値は、ステレオカメラとは別に設置した距離センサー（距離カメラなど）の出力データに基づいて算出しても良い。 In S520, candidate
また、Ｓ５５０では、周囲点設定部４０３は、注目点を中心としてランダムな位置に画素を設定した。ただし、周囲点の設定は、注目点の周囲について、１点以上の点を設定できれば、注目点のノイズの判定ができる。ランダムな位置に設定しても良いし等間隔な位置に設定しても良い。なお、物体判定部４０５において周囲点の分布を計算する上で、設定する周囲点の位置の分布には偏りがない方が望ましい。偏りのあるとは、例えば注目点の周囲の領域の右半分のみ利用する等である。設定する周囲点の分布に偏りがあると、その偏った一部分に依存した統計量となるため、正確なノイズの判定が難しくなる場合がある。そのため、偏りを避けるために、例えば周囲点の設定は、周囲点同士を所定値と同じまたは所定値を超える確率で予め定められた間隔以上空くように設定することが望ましい。 Also, in S550, the surrounding
また、周囲点設定部４０３は、注目点の距離値と類似する距離値を持つ周囲点の比率ｐを計算し、ノイズかどうかを判定した。ノイズの判定方法は、注目点と類似する距離値を持つ周囲点の多さを評価できる方法であれば、ノイズの判定ができる。前述の比率ｐでも良いし、注目点と類似する距離値を持つ周囲点の個数でも良い。 The surrounding
［変形例１］
ステップＳ５５０では、周囲点設定部４０３において設定する点数は固定数のＮ点とした。一般的に、比率ｐに予想される誤差ｅは、計算に用いる周囲点の点数Ｎに応じて増減する。具体的には、Ｎが大きいと誤差ｅは小さくなり、Ｎが小さいと誤差ｅは大きくなる。[Modification 1]
In step S550, the number of points set in the surrounding
判定部４０５における判定を正確に行うためには、誤差ｅは所定値以下になるように計算できることが望ましい。一方、誤差ｅを小さくするために、設定する周囲点の点数を増やすほど、周囲点距離取得部４０４における距離値を求める計算にかかる時間が増加する。 In order to make an accurate determination in the
周囲点設定部４０３において、誤差ｅを所定値以下になることを担保した上で、設定する周囲点の点数を抑える方法について説明する。 A method for suppressing the number of surrounding points to be set in the surrounding
具体的には、判定部４０５で、各周囲点の距離値Ｄ（Ｂｊ）について、注目点の距離値Ｄ（Ａｓ）と類似する点数の比率ｐを計算するとともに、比率ｐの誤差ｅを計算する。そして、その誤差ｅが所定値以下の場合は設定した周囲点が十分と判定し、比率ｐに基づいて物体が存在するかどうかを判定する。一方、誤差ｅが所定値を超える場合は設定した周囲点の点数が不足しているとし、周囲点設定部４０２における処理に戻って周囲点の点数Ｎを増やす。以上の処理を、所定値以下の誤差ｅに収まるまで繰り返す。これにより、比率ｐの誤差ｅが所定値以下になることを担保した上で、計算時間の増加を抑えることができる。 Specifically, the
次に、本実施形態の具体的な処理手順について説明する。図５は処理手順を示すフローチャートである。周囲点設定部４０３に関するＳ６５０と、判定部４０５に関するＳ６７０、Ｓ６７１については、図４と処理が異なる。以下にその具体的な処理内容を述べる。 Next, a specific processing procedure of this embodiment will be described. FIG. 5 is a flow chart showing the processing procedure. S650 related to the surrounding
（ステップＳ６５０）
周囲点設定部４０３で、注目点Ａｓの周囲に複数の点を設定する。本実施形態では、注目点Ａｓを中心とする半径Ｒの範囲内に存在する画素の中から、ランダムでＮ点を選択して、周囲点として設定するものとする。設定した周囲点をＢｊ（ｊ＝１～Ｎ）とする。(Step S650)
A surrounding
なお、判定部４０５で、誤差ｅが所定値より大きいと判断された場合は、Ｎの数をｘ点増やす。本実施形態ではｘ＝１とし、１点ずつ点を増やす。 Note that if the
（ステップＳ６７０）
判定部４０５で、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを計算することで、検知空間１１０内に物体が存在するかどうかを判定する。(Step S670)
A
まず、各周囲点の距離値Ｄ（Ｂｊ）について、注目点の距離値Ｄ（Ａｓ）と類似する点数の比率ｐを計算する。具体的には、設定した周囲点の点数Ｎに対する、Ｄ（Ａｓ）から一定範囲内に存在する距離値を持つ周囲点の割合（比率）を計算する。また、これに加えて比率ｐについての誤差ｅを計算する。比率ｐの誤差は、式（１）に基づいて計算する。 First, for the distance value D(Bj) of each surrounding point, the ratio p of the number of points similar to the distance value D(As) of the point of interest is calculated. Specifically, the ratio (ratio) of surrounding points having distance values existing within a certain range from D(As) to the set number N of surrounding points is calculated. In addition to this, the error e for the ratio p is also calculated. The error of ratio p is calculated based on equation (1).
ここで、ｋは誤差の程度を調整する係数で、本実施形態ではｋ＝１とする。式（１）に示す、サンプリングしたデータに対する誤差ｅの計算方法は公知であり、例えば、Ｈ．Ｔａｈｅｒｄｏｏｓｔ，“Ｄｅｔｅｒｍｉｎｉｎｇ Ｓａｍｐｌｅ Ｓｉｚｅ；Ｈｏｗ ｔｏ Ｃａｌｃｕｌａｔｅ Ｓｕｒｖｅｙ Ｓａｍｐｌｅ Ｓｉｚｅ”．Ｍａｔｈｅｍａｔｉｃｓ Ｌｅａｄｅｒｓｈｉｐ ＆ Ｏｒｇａｎｉｚａｔｉｏｎａｌ Ｂｅｈａｖｉｏｒ ｅＪｏｕｒｎａｌ，２０１７で解説されている。 Here, k is a coefficient for adjusting the degree of error, and k=1 in this embodiment. The method of calculating the error e for sampled data shown in equation (1) is well known, see, for example, H. Taherdoost, "Determining Sample Size; How to Calculate Survey Sample Size". Described in Mathematics Leadership & Organizational Behavior Journal, 2017.
（ステップＳ６７１）
判定部４０５で、誤差ｅが閾値Ｕ以下の条件の場合は、図４のフローチャートの手順と同じく、比率ｐに基づいて物体の存在を判定する。また、誤差ｅが閾値Ｕより大きい場合は、周囲点設定部４０３で設定した周囲点の点数Ｎが十分ではないと判断し、Ｓ６５０の周囲点設定部４０３による処理に戻る。そして、周囲点設定部４０３では点数をＮ＋ｘと増やすことで、再度比率を計算するときに、誤差ｅを小さくできるようにする。(Step S671)
If the error e is equal to or less than the threshold value U, the
以上述べたように、周囲点設定部４０３で設定される周囲点の点数を、周囲点の距離値の分布に基づいて適正化する。誤差を小さくするために周囲点の数を増やし過ぎることがなくなるため、計算コストを抑えることができる。 As described above, the number of surrounding points set by the surrounding
なお、本実施形態における物体判定部４０５は、式（１）に基づいて、誤差ｅを計算する。比率ｐに想定される誤差は、これ以外の方法でも良い、例えば、比率ｐと点数Ｎに対する誤差ｅの値を予めテーブル化しておき、それを参照することで計算しても良い。テーブルは、例えば、様々な条件のステレオ画像を入力として距離画像を生成し、様々な部位に注目点を置いて周囲点の距離値の分布から比率ｐを計算し、その誤差を記録することで作成する。なお、その場合、各注目点についての比率ｐの真値は注目点の周囲の全点を利用して算出する。 It should be noted that the
また、本実施形態における周囲点設定部は、ｘ＝１として、１点ずつ周囲点の点数Ｎを増加させた。ただし、ｘは１点でも良いし１点以上の点数でも良い。例えば、誤差ｅが大きい場合は、１点ずつ周囲点を増やすよりも、一度に複数点増やす方が効率的である。そのため、ｅが大きくなるほどｘが大きくなるように、ｘを決定しても良い。 Further, the surrounding point setting unit in the present embodiment sets x=1 and increases the number of surrounding points N by one point. However, x may be 1 point or 1 or more points. For example, when the error e is large, it is more efficient to increase the number of surrounding points at once than to increase the number of surrounding points one by one. Therefore, x may be determined such that x increases as e increases.
また、周囲点設定部４０３で点数を増やす場合についても、周囲点の位置の分布には偏りがない方が望ましい。そのため、既に設定された周囲点の分布において密度の低い位置に優先的に増加させても良い。 Also when the number of points is increased by the surrounding
［変形例２］
ステップＳ５８０では、注目点を選択する処理を繰り返すことで、複数の個所について物体の有無を検知していた。一方、本変形例では、検知空間内の点を１点検知した段階で物体が存在すると判定する。[Modification 2]
In step S580, the presence or absence of an object is detected at a plurality of locations by repeating the process of selecting points of interest. On the other hand, in this modified example, it is determined that an object exists when one point in the detection space is detected.
本変形例では、物体判定部４０５で、検知空間１１０内に物体が存在することが判定した場合、以降の順番に注目点として設定される候補点についての計算をスキップする。これにより、不要な計算コストを抑えることができる。 In this modification, when the
次に、本変形例の具体的な処理手順について説明する。図６は処理手順を示すフローチャートである。物体判定部４０５に関するＳ７７２については、図４、図５と処理が異なる。以下にその具体的な処理内容を述べる。 Next, a specific processing procedure of this modified example will be described. FIG. 6 is a flow chart showing the processing procedure. Regarding S772 regarding the
（ステップＳ７７２）
物体判定部４０５で、物体が存在しないと判定した場合は、注目点設定部４０２の処理に戻って、以降の順番の注目点を設定する。物体が存在すると判定した場合は、以降の順番の候補点についての判定はスキップし、処理を打ち切る。(Step S772)
When the
以上述べたように、物体が存在すると判定した場合は、以降の順番の候補点についての判定はスキップし、計算コストを抑えることができる。 As described above, when it is determined that an object exists, the determination of subsequent candidate points can be skipped, and the calculation cost can be reduced.
［変形例３］
本変形例では、注目点設定部４０２で、候補点の距離値の小さい順に注目点を設定する。これにより、計算コストを抑えながら、ステレオカメラから距離が近い物体が優先的に検知されるようにすることができる。[Modification 3]
In this modification, the target
次に、具体的な処理手順について説明する。図６は処理手順を示すフローチャートである。注目点設定部４０２に関するＳ７４０については、上述のフローチャートの説明で述べた処理と処理が異なる。以下にその具体的な処理内容を述べる。 Next, a specific processing procedure will be described. FIG. 6 is a flow chart showing the processing procedure. Regarding S740 regarding the point-of-
（ステップＳ７４０）
注目点設定部４０２で、候補点のうち検知空間１１０に存在する点を注目点として設定する。この時、候補点は予めその距離値に基づいてソートし、ステレオカメラからの距離値が小さい順に設定を行う。距離値に基づくソートにより、完全に距離値順に沿って注目点を設定する必要はない。距離値が短い注目点を優先して設定すれば、計算コストを抑えながら、ステレオカメラから距離が近い物体が優先的に検知されるようにすることができる。(Step S740)
A point-of-
これにより、判定部４０５では、距離値が小さい順に、注目点が物体上の点かどうかを判定され、物体が存在すると判定した場合は、以降の順番の候補点についての判定はスキップし、処理を打ち切る。 As a result, the determining
以上述べたように、注目点をステレオカメラからの距離値の小さい順に設定することで、距離が近い物体が優先的に検知されることを担保した上で、他の候補点についての処理をスキップできるので計算コストを抑えることができる。 As described above, by setting the points of interest in ascending order of the distance value from the stereo camera, the process for other candidate points is skipped after ensuring that objects with a short distance are preferentially detected. Therefore, the computational cost can be reduced.
なお、本実施形態における注目点設定部４０２は、距離値に応じて注目点を設定する。これ以外に、例えば、画像上の中心部に存在する物体に注目し、画像中心部から各候補点までの間隔に基づいて、注目点を設定することにより、画像の中心部に物体が存在すると判定されれば、以降の判定はスキップすることもできる。 Note that the attention
［変形例４］
画像取得部は、異なる視点で撮影した２枚の画像を取得できる方法を適用可能である。例えば、第１の実施形態に示すように、ステレオカメラに基づいて撮影した画像を取得する方法、１台のカメラを移動させて２つの視点で撮影した画像を取得する方法などがある。また、２つの光学系を有し、光路を２つ有する撮像装置の例として、図８の８００に示す撮像装置のように、１つの撮像素子（８０１、ＣＭＯＳセンサやＣＣＤセンサなど）を使って、複数の撮像光学系（８０２ａ、８０２ｂ）からの光を結像させる撮像装置がある。８００に示す撮像装置は、２眼レンズそれぞれから入港する光を単一のＣＭＯＳセンサを通じて記録している。画像取得部は、この撮像装置を利用して、撮影した画像を取得することもできる。[Modification 4]
The image acquisition unit can apply a method capable of acquiring two images photographed from different viewpoints. For example, as shown in the first embodiment, there is a method of acquiring images taken based on a stereo camera, a method of acquiring images taken from two viewpoints by moving one camera, and the like. Further, as an example of an imaging device having two optical systems and two optical paths, as in the
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供してもよい。 The present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed. Alternatively, the program may be recorded on a computer-readable recording medium and provided.
Claims (8)
Translated fromJapanese前記第１の画像における画素数よりも少ない第１の数の特徴点を前記第１の画像と前記第２の画像においてステレオマッチングし、前記撮像手段に対する該特徴点の３次元位置を推定する推定手段と、
前記第１の数の特徴点のうち、前記撮像手段の視野内に設定した３次元空間内から得られたと前記３次元位置に基づいて判断する特徴点を注目点として設定する注目点設定手段と、
前記第１の画像における前記注目点から所定の距離範囲内の画像領域内において前記推定手段で３次元位置を推定した特徴点の数よりも多い数の第２の数の周囲点を設定する周囲点設定手段と、
前記第１の画像と前記第２の画像とを用いて前記周囲点をステレオマッチングすることにより得た、前記撮像手段に対する前記周囲点の３次元位置と、前記撮像手段に対する前記注目点の３次元位置と、の差に基づいて、前記注目点が前記３次元空間内に存在する物体の特徴を示す特徴点かを判定する判定手段と、を有することを特徴とする情報処理装置。An image obtained by imaging means including a first optical system and a second optical system arranged in an apparatus so that at least a part of the imaging field of view overlaps, wherein the first image is obtained from the first optical system. an image acquisition means for acquiring a second image from the second optical system;
Estimation of stereo-matching a first number of feature points, which is smaller than the number of pixels in the first image, in the first image and the second image, and estimating a three-dimensional position of the feature points with respect to the imaging means. means and
point-of-interest setting means for setting, as a point of interest, one of the first number of feature points determined based on the three-dimensional position as being obtained from within the three-dimensional space set within the field of view of the imaging means; ,
A periphery for setting a second number of surrounding points larger than the number of feature points whose three-dimensional positions are estimated by the estimation means in an image area within a predetermined distance range from the point of interest in the first image. point setting means;
The three-dimensional position of the surrounding point with respect to the imaging means and the three-dimensional position of the point of interest with respect to the imaging means obtained by stereo matching the surrounding points using the first image and the second image. and determination means for determining whether the target point is a feature point representing a feature of an object existing in the three-dimensional space, based on the difference between the position and the position.
ことを特徴とする請求項１に記載の情報処理装置。The determining means determines the point of interest based on the number or ratio of similarity between the value of the distance from the imaging means to the position indicated by the point of interest and the value of the distance from the imaging means to the position indicated by the surrounding points. 2. The information processing apparatus according to claim 1, wherein it is determined whether is a feature point representing a feature of an object existing in the three-dimensional space.
前記第１の数の特徴点のうち、前記撮像手段の視野内に設定した３次元空間内から得られたと前記３次元位置に基づいて判断する特徴点を注目点として設定する注目点設定工程と、
前記第１の画像における前記注目点から所定の距離範囲内の画像領域に存在する周囲点であって、前記画像領域内において前記推定工程で推定した特徴点の数よりも多い数の第２の数の周囲点を設定する周囲点設定工程と、
前記第１の画像と前記第２の画像とを用いて前記周囲点をステレオマッチングすることにより得た、前記撮像手段の所定位置から前記周囲点が示す位置までの距離と、前記撮像手段の所定位置から前記注目点が示す位置までの距離と、の差に基づいて、前記注目点が前記３次元空間内に存在する物体の特徴を示す特徴点かを判定する判定工程と、を有することを特徴とする情報処理方法。The stereo matching of the first image and the second image obtained from the imaging means including the first optical system and the second optical system arranged in the apparatus so that at least a part of the imaging field of view overlaps. Using the results obtained by using a first number of feature points, which is smaller than the number of pixels in the first image, the feature points including the distance in real space from the predetermined position of the imaging means to the position indicated by the feature points an estimation step of estimating a three-dimensional position;
a point-of-interest setting step of setting, as a point of interest, one of the first number of feature points determined based on the three-dimensional position as having been obtained from within the three-dimensional space set within the field of view of the imaging means; ,
second peripheral points present in an image area within a predetermined distance range from the point of interest in the first image, the number of which being larger than the number of feature points estimated in the estimation step in the image area; a surrounding point setting step of setting surrounding points of the number;
The distance from the predetermined position of the imaging means to the position indicated by the surrounding points, obtained by stereo matching the surrounding points using the first image and the second image, and the predetermined distance of the imaging means a determination step of determining whether the point of interest is a feature point representing a feature of an object existing in the three-dimensional space, based on the difference between the distance from the position to the position indicated by the point of interest; Information processing method characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/677,809US20220270349A1 (en) | 2021-02-25 | 2022-02-22 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021028714 | 2021-02-25 | ||
| JP2021028714 | 2021-02-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022130307Atrue JP2022130307A (en) | 2022-09-06 |
Family
ID=83150847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022011323APendingJP2022130307A (en) | 2021-02-25 | 2022-01-27 | Information processing device, information processing method, program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022130307A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563356A (en)* | 2023-05-12 | 2023-08-08 | 北京长木谷医疗科技股份有限公司 | Global 3D registration method, device and electronic equipment |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018028805A (en)* | 2016-08-18 | 2018-02-22 | マクセル株式会社 | Image processing system |
- 2022
- 2022-01-27JPJP2022011323Apatent/JP2022130307A/enactivePending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018028805A (en)* | 2016-08-18 | 2018-02-22 | マクセル株式会社 | Image processing system |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563356A (en)* | 2023-05-12 | 2023-08-08 | 北京长木谷医疗科技股份有限公司 | Global 3D registration method, device and electronic equipment |
| CN116563356B (en)* | 2023-05-12 | 2024-06-11 | 北京长木谷医疗科技股份有限公司 | Global 3D registration method and device and electronic equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112997187B (en) | Two-dimensional object boundary box information estimation based on bird's eye view point cloud | |
| CN108242062B (en) | Target tracking method, system, terminal and medium based on depth feature flow | |
| US7660436B2 (en) | Stereo-vision based imminent collision detection | |
| CN108692719B (en) | Object detection device | |
| JP5926228B2 (en) | Depth detection method and system for autonomous vehicles | |
| US9747524B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
| WO2018058356A1 (en) | Method and system for vehicle anti-collision pre-warning based on binocular stereo vision | |
| JP6574611B2 (en) | Sensor system for obtaining distance information based on stereoscopic images | |
| JP6328327B2 (en) | Image processing apparatus and image processing method | |
| EP1391845A2 (en) | Image based object detection apparatus and method | |
| JP6712775B2 (en) | Road surface estimation device, vehicle control device, road surface estimation method, and program | |
| JP2006234492A (en) | Object recognition device | |
| EP3324359B1 (en) | Image processing device and image processing method | |
| WO2017138245A1 (en) | Image processing device, object recognition device, device control system, and image processing method and program | |
| JP2001216519A (en) | Traffic monitoring device | |
| WO2018058355A1 (en) | Method and system for detecting vehicle accessible region in real time | |
| CN114648744A (en) | Method for determining semantic collision-free space | |
| JP2022130307A (en) | Information processing device, information processing method, program | |
| CN110781730A (en) | Intelligent driving sensing method and sensing device | |
| JP2019160251A (en) | Image processing device, object recognition device, instrument control system, moving body, image processing method and program | |
| KR101117235B1 (en) | Apparatus and method for recognizing traffic accident | |
| JP2018151940A (en) | Obstacle detection device and obstacle detection method | |
| JP4462533B2 (en) | Road lane detection device | |
| RU2650857C1 (en) | System for determining geometric parameters of three-dimensional objects | |
| JP4106163B2 (en) | Obstacle detection apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7421 Effective date:20231213 | |
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20250123 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20250904 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20250916 |