JP2006236022A

Movatterモバイル変換

Info

Publication number: JP2006236022A
Application number: JP2005050021A
Authority: JP
Inventors: Hiroyuki Takano; 博幸高野; Yoshiharu Uchiyama; 吉晴内山; Seiichi Shirai; 誠一白井
Original assignee: Renesas Northern Japan Semiconductor Inc
Current assignee: Renesas Semiconductor Package and Test Solutions Co Ltd
Priority date: 2005-02-25
Filing date: 2005-02-25
Publication date: 2006-09-07

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor for performing disparity calculation processing at a high speed. <P>SOLUTION: The image processor includes a disparity calculating part for performing the parallax calculation processing, based on first and second images; and first and second buffers for respectively able to hold a work image which is used for the disparity calculation processing. The parallax calculation processing includes first processing of acquiring a first difference image, by subtracting between the first and second images (S12); second processing of adding and averaging the pixel values of the first difference images (S13); third processing of comparing the added and averaged image with the work image in the first buffer, so as to update the pixel value of the work image in the first buffer through the use of a small value (S14); fourth processing of acquiring a second difference image, by subtracting between the work image in the first buffer and the work image in the second buffer (S15); and fifth processing of converting the pixel value of the second difference image (S16). Consequently, the disparity calculation processing is fully performed with a CPU having general throughput. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

Translated fromJapanese

本発明は、視差計算技術に関し、例えば３次元座標計測システムに適用して有効な技術に関する。 The present invention relates to a parallax calculation technique, for example, a technique effective when applied to a three-dimensional coordinate measurement system.

ステレオカメラ等によって前方に存在する障害物を検出し、かかる障害物情報を運転者や操縦者に提示することにより、自動車の走行中又は航空機の飛行中における安全性を向上させる技術が開発されている。例えば、立体視界情報と障害物情報との双方を提示する技術として、１対のステレオカメラを用いて撮像した１対の画像により得られる立体視界情報及び障害物情報から融合視界情報を生成し、生成した融合視界情報を可視像として搭乗者に提示する融合視界装置が提案されている（例えば特許文献１参照）。 A technology has been developed to improve safety while driving a car or flying an aircraft by detecting obstacles in front using a stereo camera, etc., and presenting such obstacle information to the driver or operator. Yes. For example, as a technique for presenting both the stereoscopic view information and the obstacle information, the fusion view information is generated from the stereoscopic view information and the obstacle information obtained from a pair of images captured using a pair of stereo cameras, A fusion visual field device that presents generated fusion visual field information to a passenger as a visible image has been proposed (see, for example, Patent Document 1).

また、注意を払いたい対象物までの距離を正確に測定して、この対称物の形状情報等を正確に提示するための技術として、人の両眼の間隔で配置された１対の固定カメラと、可動カメラと、２台のカメラの画像を処理する画像表示処理部と、距離情報を生成するステレオ画像処理部と、監視対象を指定する詳細画像指定部と、指定対象物を正確に撮像するカメラ間隔を求めるカメラ間隔計算部と、可動カメラを移動させるカメラ駆動装置と、可動カメラを含む１対のカメラによる画像情報から求めた距離情報に基づいて指定対象物を識別する詳細画像情報生成部と、固定カメラの画像と識別された指定対象物の画像とを重ねて表示する画像表示装置とを具備する視界装置が提案されている（例えば特許文献２参照）。 In addition, as a technique for accurately measuring the distance to an object to which attention should be paid and accurately presenting shape information and the like of this symmetrical object, a pair of fixed cameras arranged at a distance between human eyes A movable camera, an image display processing unit for processing images of two cameras, a stereo image processing unit for generating distance information, a detailed image specifying unit for specifying a monitoring target, and accurately picking up a specified object Detailed image information generation for identifying a specified object based on distance information obtained from image information obtained from a pair of cameras including a camera, a camera interval calculation unit for obtaining a camera interval to be moved, a camera driving device for moving the movable camera There has been proposed a field of view device that includes a display unit and an image display device that displays an image of a fixed camera and an image of an identified designated object in an overlapping manner (see, for example, Patent Document 2).

さらに、確実に移動体を分離検出することができ、その移動体の追跡や人数の計算などを高精度に行うための技術として、新規特徴点を追跡してその特徴点の空間座標を求め、この空間座標上での移動状態を示す動線を統合する技術が提案されている（特許文献３）
特開２００１−３４４５９７号公報（図１）特開２００４−３１２５３７号公報（図１）特開平１１−６６３１９号公報（図１）In addition, it is possible to reliably detect moving objects, and as a technology to perform tracking of the moving objects and calculation of the number of people with high accuracy, tracking new feature points and obtaining spatial coordinates of the feature points, A technique for integrating the flow lines indicating the movement state on the spatial coordinates has been proposed (Patent Document 3).
JP 2001-344597 A (FIG. 1) JP 2004-312537 A (FIG. 1) Japanese Patent Laid-Open No. 11-66319 (FIG. 1)

移動体の追跡等のための３次元画像処理を行うに際して、第１カメラで得られた第１画像と、上記第１カメラに対して所定の間隔を有して配置された第２カメラで得られた第２画像とに基づいて視差画像が得られる。この視差画像を得るには、高度な３次元演算を中央処理装置（ＣＰＵ）で実行しなければならないから、演算処理能力が低いＣＰＵでは、その演算処理に時間がかかってしまう。 When performing three-dimensional image processing for tracking a moving object, etc., the first image obtained by the first camera and the second camera arranged at a predetermined interval with respect to the first camera are obtained. A parallax image is obtained based on the obtained second image. In order to obtain this parallax image, advanced three-dimensional computation must be executed by the central processing unit (CPU), so that the computation processing takes time in a CPU with low computation processing capability.

本発明の目的は、視差計算処理の高速化を図ることにある。 An object of the present invention is to increase the speed of parallax calculation processing.

本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。 The following is a brief description of an outline of typical inventions disclosed in the present application.

すなわち、第１カメラで得られた第１画像と、上記第１カメラに対して所定の間隔を有して配置された第２カメラで得られた第２画像とに基づいて視差計算処理を行う視差計算部と、それぞれ上記視差計算処理に使用されるワーク画像を保持可能な第１バッファ及び第２バッファとを設ける。そして上記視差計算部での視差計算処理には、上記第１画像と上記第２画像との引き算により第１差分画像を得る第１処理と、上記第１差分画像の画素値を加算平均する第２処理と、上記第２処理で加算平均された画像と上記第１バッファ内のワーク画像とを比較し、小さい方の値によって上記第１バッファ内のワーク画像の画素値を更新する第３処理と、上記第１バッファ内のワーク画像と、上記第２バッファ内のワーク画像との引き算により第２差分画像を得る第４処理と、視差との関係で予め形成されたルックアップテーブルを用いて上記第２差分画像の画素値を変換することによって視差画像を得る第５処理とを含める。上記第２処理における加算平均処理は、上記第１差分画像を構成する小ブロック毎に行うことができる。 That is, the parallax calculation processing is performed based on the first image obtained by the first camera and the second image obtained by the second camera arranged with a predetermined interval with respect to the first camera. A parallax calculation unit and a first buffer and a second buffer that can hold work images used for the parallax calculation processing are provided. The parallax calculation processing in the parallax calculation unit includes a first process for obtaining a first difference image by subtraction of the first image and the second image, and an addition averaging of pixel values of the first difference image. The second process and the third process of comparing the image averaged in the second process with the work image in the first buffer and updating the pixel value of the work image in the first buffer with the smaller value And a fourth process for obtaining a second difference image by subtraction of the work image in the first buffer and the work image in the second buffer, and a lookup table formed in advance in relation to the parallax. And a fifth process for obtaining a parallax image by converting the pixel value of the second difference image. The addition averaging process in the second process can be performed for each small block constituting the first difference image.

上記の手段によれば、上記視差計算部での視差計算処理として、上記第１画像と上記第２画像との引き算や、画素値を加算平均、画素値の比較、画素値変換等の各処理が行われるが、これらの処理は、一般的な処理能力を有するＣＰＵで十分に処理可能であるため、ＣＰＵの性能に殆ど影響されずに視差計算を行うことができる。また、上記視差計算部での視差計算処理においては、左画像（たとえば第１カメラで得られた第１画像）及び右画像（たとえば第２カメラで得られた第２画像）を取り込むことによってフレーム単位で処理しているため、左画像及び右画像を取り込むためのメモリアクセス回数の低減を図ることができる。以上のことが、上記視差計算部での視差計算処理の時間短縮を達成する。 According to the above means, as the parallax calculation processing in the parallax calculation unit, each process such as subtraction of the first image and the second image, addition averaging of pixel values, comparison of pixel values, pixel value conversion, etc. However, since these processes can be sufficiently processed by a CPU having a general processing capability, the parallax calculation can be performed with almost no influence on the performance of the CPU. In the parallax calculation processing in the parallax calculation unit, a frame is obtained by capturing a left image (for example, a first image obtained by a first camera) and a right image (for example, a second image obtained by a second camera). Since processing is performed in units, the number of memory accesses for capturing the left image and the right image can be reduced. The above achieves a reduction in time for the parallax calculation processing in the parallax calculation unit.

このとき、上記視差計算部での視差計算処理の開始直後から視差画像を正しく得るには、上記第１バッファ内のワーク画像及び上記第２バッファ内のワーク画像は、上記視差計算部での視差計算処理前に、最大画素値に初期化すると良い。 At this time, in order to obtain a parallax image correctly immediately after the start of the parallax calculation process in the parallax calculation unit, the work image in the first buffer and the work image in the second buffer are parallaxes in the parallax calculation unit. It is good to initialize to the maximum pixel value before the calculation process.

上記第４処理の後に、上記第１バッファ内のワーク画像と上記第２バッファ内のワーク画像とが入れ換えられ、上記第１画像が、現在計算中の視差に相当する画素だけ一方向にシフトされた状態で、上記第１処理から上記第５処理までが再度実行することができる。 After the fourth process, the work image in the first buffer and the work image in the second buffer are interchanged, and the first image is shifted in one direction by a pixel corresponding to the currently calculated parallax. In this state, the first process to the fifth process can be executed again.

上記第１処理における引き算結果は絶対値化され、上記第４処理における引き算結果は「０」以下の場合に切り捨てることができる。 The subtraction result in the first process is converted into an absolute value, and the subtraction result in the fourth process can be rounded down when it is “0” or less.

現在計算中の視差を「ｉ」で示すとき、上記第５処理においては、上記第４処理での上記第２差分画像の画素値が「０」場合には「０」に変換され、上記第４処理での上記第２差分画像の画素値が「０」以外の場合には「ｉ」に変換される。 When the currently calculated parallax is indicated by “i”, in the fifth process, when the pixel value of the second difference image in the fourth process is “0”, it is converted to “0”. When the pixel value of the second difference image in the four processes is other than “0”, it is converted to “i”.

上記第５処理によって得られた視差画像に対して３次元座標変換処理を施すことにより３次元画像を形成することができる。 A three-dimensional image can be formed by performing a three-dimensional coordinate conversion process on the parallax image obtained by the fifth process.

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。 The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.

すなわち、視差画像を得るための視差計算処理の高速化を図ることができる。 That is, the speed of the parallax calculation process for obtaining the parallax image can be increased.

図１には、本発明にかかる画像処理装置の一例とされる３次元座標計測システムの構成例が示される。このシステムは、特に制限されないが、人体などの被写体の位置や動線を検出して３次元画像を形成することができる。 FIG. 1 shows a configuration example of a three-dimensional coordinate measurement system as an example of an image processing apparatus according to the present invention. Although this system is not particularly limited, a three-dimensional image can be formed by detecting the position and flow line of a subject such as a human body.

図１に示される３次元座標計測システムは、特に制限されないが、ステレオカメラ１９、中央処理装置（ＣＰＵ）１６、第１バッファ１７、第２バッファ１８を含む。 The three-dimensional coordinate measurement system shown in FIG. 1 includes astereo camera 19, a central processing unit (CPU) 16, afirst buffer 17, and asecond buffer 18, although not particularly limited.

上記ステレオカメラ１９は、被写体１０の左画像（ＬＩｍｇ）１１を得るための左カメラ１９Ｌと、上記左カメラ１９Ｌに対して所定の間隔を有して配置されることによって上記被写体１０の右画像（ＲＩｍｇ）１２を得るための右カメラ１９Ｒとを含む。左カメラ１９Ｌで得られた左画像１１及び右カメラ１９Ｒで得られた右画像１２は、それぞれ対応するフレームメモリ８，９を介してＣＰＵ１６に取り込まれる。 Thestereo camera 19 is arranged with aleft camera 19L for obtaining a left image (LImg) 11 of thesubject 10 and a predetermined interval with respect to theleft camera 19L. RImg) 12 and aright camera 19R. Theleft image 11 obtained by theleft camera 19L and theright image 12 obtained by theright camera 19R are taken into theCPU 16 via the corresponding frame memories 8 and 9, respectively.

ＣＰＵ１６は、所定のプログラムを実行することによって、上記ステレオカメラ１９から伝達された左画像１１及び右画像１２についての演算処理を行う。具体的には、上記左画像１１及び上記右画像１２とに基づいて視差画像を得るための視差計算処理を行う視差計算部１３と、この視差計算部１３において得られた視差画像に対して３次元座標変換処理を施すことによって３次元画像を得るための３次元座標変換部１４とが機能的に実現される。上記３次元座標変換部１４における３次元座標変換処理においては、上記ステレオカメラ１９におけるレンズ歪み補正データ、カメラキャリブレーションデータ、カメラ設置データ（カメラの位置、焦点処理等）が必要とされ、それらは予め３次元座標変換部１４に与えられている。尚、３次元座標変換処理自体は公知の技術（例えば特許文献３など）を適用することができる。 TheCPU 16 performs a calculation process on theleft image 11 and theright image 12 transmitted from thestereo camera 19 by executing a predetermined program. Specifically, aparallax calculation unit 13 that performs a parallax calculation process for obtaining a parallax image based on theleft image 11 and theright image 12, and 3 for the parallax image obtained in theparallax calculation unit 13 By performing the three-dimensional coordinate conversion process, the three-dimensionalcoordinate conversion unit 14 for obtaining a three-dimensional image is functionally realized. In the three-dimensional coordinate conversion processing in the three-dimensionalcoordinate conversion unit 14, lens distortion correction data, camera calibration data, and camera installation data (camera position, focus processing, etc.) in thestereo camera 19 are required. It is given to the three-dimensionalcoordinate conversion unit 14 in advance. A known technique (for example, Patent Document 3) can be applied to the three-dimensional coordinate conversion process itself.

第１バッファ１７及び第２バッファ１８は、それぞれ上記視差計算処理に使用されるワーク画像を格納するために設けられ、ＣＰＵ１６によってアクセス可能とされる。ここでは説明の便宜上、第１バッファ１７に格納されているワーク画像を「ＮｅｗＭｉｎ」とし、第２バッファ１８に格納されているワーク画像を「ＯｌｄＭｉｎ」とする。上記ワーク画像ＮｅｗＭｉｎ，ＯｌｄＭｉｎは、上記視差計算部１３での演算処理において適宜に読み出される。また、必要に応じて第１バッファ１７内のワーク画像と第２バッファ１８内のワーク画像との入換えが行われる。 Thefirst buffer 17 and thesecond buffer 18 are provided for storing work images used for the parallax calculation processing, respectively, and are accessible by theCPU 16. Here, for convenience of explanation, the work image stored in thefirst buffer 17 is “NewMin”, and the work image stored in thesecond buffer 18 is “OldMin”. The work images NewMin and OldMin are appropriately read out in the calculation process in theparallax calculation unit 13. Further, the work image in thefirst buffer 17 and the work image in thesecond buffer 18 are exchanged as necessary.

図２には、上記視差計算部１３で行われる視差計算処理のアルゴリズムが示される。 FIG. 2 shows an algorithm for parallax calculation processing performed by theparallax calculation unit 13.

上記視差計算部１３で視差計算処理が行われる前に、第１バッファ１７内のワーク画像ＮｅｗＭｉｎ、及び第２バッファ１８内のワーク画像ＯｌｄＭｉｎは、最大画素値に初期化される。特に制限されないが、画素値が符号無しの８ビットで示される場合には、「０ｘＦＦ」とされる。 Before the parallax calculation process is performed in theparallax calculation unit 13, the work image NewMin in thefirst buffer 17 and the work image OldMin in thesecond buffer 18 are initialized to the maximum pixel value. Although not particularly limited, when the pixel value is represented by 8 bits without a sign, it is set to “0xFF”.

また、求める視差の大きさ（ここでは「０〜Ｉ」とする）に対応する数だけ、画素値変換のためのルックアップテーブルが用意される。例えば、視差０に対応するルックアップテーブル、視差１に対応するルックアップテーブル、視差２に対応するルックアップテーブル、視差３に対応するルックアップテーブルのように、複数のルックアップテーブル２１が用意される。ルックアップテーブル２１は、図示されない読み出し専用メモリなどを利用して形成される。 Also, as many lookup tables for pixel value conversion as the number corresponding to the required parallax magnitude (here, “0 to I”) are prepared. For example, a plurality of lookup tables 21 are prepared such as a lookup table corresponding toparallax 0, a lookup table corresponding to parallax 1, a lookup table corresponding toparallax 2, and a lookup table corresponding to parallax 3. The The lookup table 21 is formed using a read-only memory (not shown).

先ず、視差０の右画像１２を基準にした視差画像を次のように計算する。 First, a parallax image based on theright image 12 withparallax 0 is calculated as follows.

ステップＳ１２において、左画像１１から右画像１２を各画素毎引き算することによって第１差分画像を得る（ＳｕｂＡｂｓ）。このステップＳ１２の引き算結果は絶対値化される。 In step S12, the first difference image is obtained by subtracting theright image 12 from theleft image 11 for each pixel (SubAbs). The subtraction result in step S12 is converted to an absolute value.

ステップＳ１３において、上記第１差分画像を所定のサイズの矩形領域毎に画素値の加算平均化処理を行う（Ａｖｒｇ）。上記矩形領域の大きさは任意に設定することができる。 In step S13, the first difference image is subjected to pixel value addition averaging processing for each rectangular area of a predetermined size (Avrg). The size of the rectangular area can be arbitrarily set.

ステップＳ１４において、上記ステップＳ１３で平均化処理された画像と、第１バッファ１７内の第１ワーク画像（ＮｅｗＭｉｎ）とが画素毎に比較され、この比較結果に基づいて第１バッファ１７内の第１ワーク画像（ＮｅｗＭｉｎ）の画素値が更新される。具体的には、上記ステップＳ１３で平均化処理された画像と、第１バッファ１７内の第１ワーク画像（ＮｅｗＭｉｎ）との画素毎の比較において小さい方の値によって第１バッファ１７内の第１ワーク画像（ＮｅｗＭｉｎ）の画素値が置き換えられる。 In step S14, the image averaged in step S13 and the first work image (NewMin) in thefirst buffer 17 are compared for each pixel, and thefirst buffer 17 in thefirst buffer 17 is compared based on the comparison result. The pixel value of one work image (NewMin) is updated. Specifically, the first value in thefirst buffer 17 is determined by the smaller value in the pixel-by-pixel comparison between the image averaged in step S13 and the first work image (NewMin) in thefirst buffer 17. The pixel value of the work image (NewMin) is replaced.

ステップＳ１５において、第１バッファ１７内の第１ワーク画像（ＮｅｗＭｉｎ）と、第２バッファ１８内の第２ワーク画像（ＯｌｄＭｉｎ）の引き算が行われることで第２差分画像が形成される（Ｓｕｂ）。このステップＳ１５の引き算において、「０」以下は切り捨てられる。 In step S15, a second differential image is formed by subtracting the first work image (NewMin) in thefirst buffer 17 and the second work image (OldMin) in the second buffer 18 (Sub). . In the subtraction in step S15, “0” and below are rounded down.

ステップＳ１６において、上記第２差分画像における画素値の変換処理が行われる（ＬＵＴ）。この変換処理においては、現在の計算視差値「０」に対応するルックアップテーブルが使用される。現在の計算視差値「０」に対応するルックアップテーブルによれば、上記第２差分画像における画素値「０」は、そのまま「０」とされ、上記第２差分画像における「０」以外の画素値の場合も「０」に変換される。これによって視差「０」についての視差画像２０が得られる。 In step S16, pixel value conversion processing in the second difference image is performed (LUT). In this conversion process, a lookup table corresponding to the current calculated parallax value “0” is used. According to the lookup table corresponding to the current calculated parallax value “0”, the pixel value “0” in the second difference image is set to “0” as it is, and pixels other than “0” in the second difference image. The value is also converted to “0”. As a result, theparallax image 20 for the parallax “0” is obtained.

次に、視差「１」についての視差画像が次のように求められる。 Next, a parallax image for parallax “1” is obtained as follows.

第１バッファ１７内の第１ワーク画像（ＮｅｗＭｉｎ）と、第２バッファ１８内の第２ワーク画像（ＯｌｄＭｉｎ）との入換えが行われ、左画像１１が、現在計算中の視差「１」に相当する画素だけ左にシフトされた状態で、上記ステップＳ１２〜Ｓ１６までの処理が再度実行される。このとき、ステップＳ１６での変換処理では、現在の計算視差値「１」に対応するルックアップテーブルが使用される。現在の計算視差値「１」に対応するルックアップテーブルによれば、上記第２差分画像における画素値「０」は、そのまま「０」とされ、上記第２差分画像における「０」以外の画素値は「１」に変換される。これによって視差「１」についての視差画像２０が得られる。 The first work image (NewMin) in thefirst buffer 17 and the second work image (OldMin) in thesecond buffer 18 are exchanged, and theleft image 11 changes to the parallax “1” currently being calculated. The process from step S12 to step S16 is executed again with the corresponding pixel shifted to the left. At this time, in the conversion process in step S16, a lookup table corresponding to the current calculated parallax value “1” is used. According to the lookup table corresponding to the current calculated parallax value “1”, the pixel value “0” in the second difference image is set to “0” as it is, and pixels other than “0” in the second difference image. The value is converted to “1”. As a result, theparallax image 20 for the parallax “1” is obtained.

次に、視差「２」についての視差画像が次のように求められる。 Next, a parallax image for parallax “2” is obtained as follows.

再び第１バッファ１７内の第１ワーク画像（ＮｅｗＭｉｎ）と、第２バッファ１８内の第２ワーク画像（ＯｌｄＭｉｎ）との入換えが行われ、左画像１１が、現在計算中の視差「２」に相当する画素だけ左にシフトされた状態で、上記ステップＳ１２〜Ｓ１６までの処理が再度実行される。このとき、ステップＳ１６での変換処理では、現在の計算視差値「２」に対応するルックアップテーブルが使用される。現在の計算視差値「２」に対応するルックアップテーブルによれば、上記第２差分画像における画素値「０」は、そのまま「０」とされ、上記第２差分画像における「０」以外の画素値は「２」に変換される。これによって視差「２」についての視差画像２０が得られる。 The first work image (NewMin) in thefirst buffer 17 and the second work image (OldMin) in thesecond buffer 18 are exchanged again, and theleft image 11 has a parallax “2” currently being calculated. In a state where the pixels corresponding to are shifted to the left, the processing from the above steps S12 to S16 is executed again. At this time, in the conversion process in step S16, a lookup table corresponding to the current calculated parallax value “2” is used. According to the lookup table corresponding to the current calculated parallax value “2”, the pixel value “0” in the second difference image is set to “0” as it is, and pixels other than “0” in the second difference image. The value is converted to “2”. As a result, theparallax image 20 for the parallax “2” is obtained.

このようにして、求めようとする視差（これを「ｉ」とする）までの視差画像２０を得ることができる。尚、現在の計算視差値「ｉ」に対応するルックアップテーブルによれば、上記第２差分画像における画素値「０」は、そのまま「０」とされ、上記第２差分画像における「０」以外の画素値は「ｉ」に変換される。これによって視差「ｉ」についての視差画像２０が得られる。 In this way, it is possible to obtain theparallax image 20 up to the parallax to be obtained (referred to as “i”). According to the lookup table corresponding to the current calculated parallax value “i”, the pixel value “0” in the second difference image is set to “0” as it is, and is not “0” in the second difference image. Is converted to “i”. Thereby, theparallax image 20 about the parallax “i” is obtained.

上記例によれば、以下の作用効果を得ることができる。 According to the above example, the following operational effects can be obtained.

（１）ステップＳ１２での引き算処理、ステップＳ１３での加算平均化処理、ステップＳ１４での比較処理、ステップＳ１５での引き算処理、及びステップＳ１６での画素値変換処理は、高度な３次元演算処理ではなく、一般的な処理能力を有するＣＰＵで十分に処理可能であるため、ＣＰＵの性能に殆ど影響されずに視差計算を行うことができる。 (1) Subtraction processing in step S12, addition averaging processing in step S13, comparison processing in step S14, subtraction processing in step S15, and pixel value conversion processing in step S16 are advanced three-dimensional arithmetic processing. Instead, the processing can be sufficiently performed by a CPU having a general processing capability, so that the parallax calculation can be performed with almost no influence on the performance of the CPU.

（２）視差計算部１３での演算処理においては、フレームメモリ８，９から左画像１１及び右画像１２を取り込むことによってフレーム単位で処理している。換言すれば、視差計算部１３での演算処理の単位がフレームとされる。処理の単位が８×８画素の小ブロックとされる場合のようにフレームメモリを頻繁にアクセスして画像データを取り込む必要が無いので、その分、フレームメモリのアクセス回数が少なくて済む。 (2) In the arithmetic processing in theparallax calculation unit 13, theleft image 11 and theright image 12 are fetched from the frame memories 8 and 9 and processed in units of frames. In other words, the unit of calculation processing in theparallax calculation unit 13 is a frame. Unlike the case where the unit of processing is a small block of 8 × 8 pixels, it is not necessary to frequently access the frame memory and fetch image data, so that the number of accesses to the frame memory can be reduced accordingly.

（３）上記（１）及び（２）の作用効果により、視差画像２０を得るまでの時間短縮を図ることができる。 (3) The time until theparallax image 20 is obtained can be shortened by the effects (1) and (2).

以上本発明者によってなされた発明を具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。 Although the invention made by the present inventor has been specifically described above, the present invention is not limited thereto, and it goes without saying that various changes can be made without departing from the scope of the invention.

例えば、上記の例では、左画像１１が、現在計算中の視差に相当する画素だけ左にシフトされた状態で、上記ステップＳ１２〜Ｓ１６までの処理が実行される場合について説明したが、図３に示されるように、右画像１２が、現在計算中の視差に相当する画素だけ右にシフトされた状態で（ステップＳ１７）、上記ステップＳ１２〜Ｓ１６までの処理が実行されるようにしても良い。尚、図３においてステップＳ１２〜Ｓ１６までの処理は、図２に示される場合と同一とされるため、その詳細な説明を省略する。 For example, in the above example, a case has been described in which the processing from step S12 to step S16 is performed in a state where theleft image 11 is shifted to the left by a pixel corresponding to the currently calculated parallax. As shown in the figure, the process from step S12 to step S16 may be executed while theright image 12 is shifted to the right by the pixel corresponding to the currently calculated parallax (step S17). . In FIG. 3, the processing from step S12 to S16 is the same as that shown in FIG.

以上の説明では主として本発明者によってなされた発明をその背景となった利用分野である３次元座標計測システムに適用した場合について説明したが、本発明はそれに限定されるものではなく、画像処理装置に広く適用することができる。 In the above description, the case where the invention made mainly by the present inventor is applied to the three-dimensional coordinate measuring system which is a field of use as the background has been described. However, the present invention is not limited thereto, and the image processing apparatus is not limited thereto. Can be widely applied to.

本発明は、少なくとも視差計算処理を行う視差計算部を含むことを条件に適用することができる。 The present invention can be applied on condition that at least a parallax calculation unit that performs parallax calculation processing is included.

本発明にかかる画像処理装置の一例とされる３次元座標計測システムの構成例ブロック図である。1 is a block diagram illustrating a configuration example of a three-dimensional coordinate measurement system as an example of an image processing apparatus according to the present invention.上記３次元座標計測システムにおける視差計算アルゴリズムの説明図である。It is explanatory drawing of the parallax calculation algorithm in the said three-dimensional coordinate measuring system.上記３次元座標計測システムにおける別の視差計算アルゴリズムの説明図である。It is explanatory drawing of another parallax calculation algorithm in the said three-dimensional coordinate measuring system.

符号の説明Explanation of symbols

８，９フレームメモリ
１１左画像
１２右画像
１３視差計算部
１４３次元座標変換部
１５３次元画像
１６ＣＰＵ
１７第１バッファ
１８第２バッファ
１９ステレオカメラ
１９Ｌ左カメラ
１９Ｒ右カメラ
２０視差画像
２１ルックアップテーブル8, 9Frame memory 11Left image 12Right image 13Parallax calculation unit 14 3D coordinateconversion unit 153D image 16 CPU
17First buffer 18Second buffer 19Stereo camera19L Left camera19R Right camera 20Parallax image 21 Look-up table

Claims

Translated fromJapanese

第１カメラで得られた第１画像と、上記第１カメラに対して所定の間隔を有して配置された第２カメラで得られた第２画像とを取り込んで視差計算処理を行う視差計算部と、
それぞれ上記視差計算処理に使用されるワーク画像を保持可能な第１バッファ及び第２バッファと、を含み、
上記視差計算部での視差計算処理は、
上記第１画像と上記第２画像とを引き算して第１差分画像を得る第１処理と、
上記第１差分画像の画素値を加算平均する第２処理と、
上記第２処理で加算平均された画像と上記第１バッファ内のワーク画像とを比較し、小さい方の値によって上記第１バッファ内のワーク画像の画素値を更新する第３処理と、
上記第１バッファ内のワーク画像と、上記第２バッファ内のワーク画像との引き算により第２差分画像を得る第４処理と、
視差との関係で予め形成されたルックアップテーブルを用いて上記第２差分画像の画素値を変換することによって視差画像を得る第５処理と、を含む画像処理装置。Parallax calculation for performing parallax calculation processing by capturing a first image obtained by a first camera and a second image obtained by a second camera arranged at a predetermined interval with respect to the first camera And
A first buffer and a second buffer each capable of holding a work image used for the parallax calculation process,
The parallax calculation processing in the parallax calculation unit is as follows:
A first process of subtracting the first image and the second image to obtain a first difference image;
A second process for averaging the pixel values of the first difference image;
A third process for comparing the image averaged in the second process with the work image in the first buffer and updating the pixel value of the work image in the first buffer with a smaller value;
A fourth process for obtaining a second difference image by subtraction of the work image in the first buffer and the work image in the second buffer;
An image processing apparatus comprising: a fifth process for obtaining a parallax image by converting a pixel value of the second difference image using a look-up table formed in advance in relation to parallax.

上記第１バッファ内のワーク画像及び上記第２バッファ内のワーク画像は、上記視差計算部での視差計算処理の前に、最大画素値に初期化される請求項１記載の画像処理装置。The image processing apparatus according to claim 1, wherein the work image in the first buffer and the work image in the second buffer are initialized to a maximum pixel value before the parallax calculation process in the parallax calculation unit.

上記第４処理の後に、上記第１バッファ内のワーク画像と上記第２バッファ内のワーク画像とが入れ換えられ、上記第１画像が、現在計算中の視差に相当する画素だけ一方向にシフトされた状態で、上記第１処理から上記第５処理までが再度実行される請求項２記載の画像処理装置。After the fourth process, the work image in the first buffer and the work image in the second buffer are interchanged, and the first image is shifted in one direction by a pixel corresponding to the currently calculated parallax. The image processing apparatus according to claim 2, wherein the first process to the fifth process are executed again in a state where

上記第１処理における引き算結果は絶対値化され、上記第４処理における引き算結果は「０」以下の場合に切り捨てられる請求項３記載の画像処理装置。The image processing apparatus according to claim 3, wherein the subtraction result in the first process is converted to an absolute value, and the subtraction result in the fourth process is rounded down if it is “0” or less.

現在計算中の視差を「ｉ」で示すとき、上記第５処理において、上記第４処理での上記第２差分画像の画素値が「０」場合には「０」に変換され、上記第４処理での上記第２差分画像の画素値が「０」以外の場合には「ｉ」に変換される請求項４記載の画像処理装置。When the currently calculated parallax is indicated by “i”, in the fifth process, when the pixel value of the second difference image in the fourth process is “0”, the parallax is converted to “0”. The image processing apparatus according to claim 4, wherein the pixel value of the second difference image in the process is converted to “i” when the pixel value is other than “0”.