【０００１】[0001]
【発明の属する技術分野】本発明は顕微鏡を用いた３次
元画像認識装置に係り、特に左右２つの顕微鏡を介して
撮像された画像データに基づいて３次元測定を行う顕微
鏡を用いた３次元画像認識装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional image recognition apparatus using a microscope, and more particularly, to a three-dimensional image using a microscope that performs three-dimensional measurement based on image data taken through two microscopes on the left and right. It relates to a recognition device.
【０００２】[0002]
【従来の技術】従来、画像処理を応用した半導体の製造
プロセスにおける検査装置は、単一の方向から顕微鏡を
通して撮像された画像データに対して各種の画像処理を
行って良否判定を行う方法か、或いは、リファレンスと
して良好な画像データを登録して、そのリファレンスを
検査する対象物の画像データと比較処理することにより
良否判定を行う方法のどちらかの方法を採用している。2. Description of the Related Art Conventionally, an inspection apparatus in a semiconductor manufacturing process to which image processing is applied is a method of performing various types of image processing on image data taken through a microscope from a single direction to determine whether or not the image data is acceptable. Alternatively, one of the methods of registering good image data as a reference and comparing the reference with the image data of an object to be inspected to make a quality judgment is adopted.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、リード
フレームの曲がりと欠陥やボンディングワイヤー等の３
次元的な対象については満足な検査結果を得ることが出
来なかった。現在、半導体製造アセンプリプロセスにお
いては対象物の３次元的特性を画像処理で検査する装置
はなく、実際のラインでは人間のオペレータにより実体
顕微鏡を用いたマニュアル判定を行っており、自動化が
大変に遅れている。However, bending and defects of the lead frame and defects such as bonding wires and the like may occur.
Satisfactory inspection results could not be obtained for dimensional objects. At present, there is no device for inspecting the three-dimensional characteristics of an object by image processing in the semiconductor manufacturing assembly process. In an actual line, a human operator performs a manual judgment using a stereomicroscope, and automation is very difficult. Running late.
【０００４】また、ウェハ等の半導体製品には表面に何
らかのパターンが存在し、そのパターン自身も同一の製
造プロセスで処理されても同一のパターンとして形成さ
れるとはかぎらず、シミや汚れ、欠陥が発生する。その
ため、単一方向から撮像した画像データを用いた検査装
置においては検査すべき対象の特徴を画像データの中か
ら抽出することが大変困難である。Also, semiconductor products such as wafers have some pattern on the surface, and even if the pattern itself is processed in the same manufacturing process, it is not always formed as the same pattern. Occurs. Therefore, it is very difficult for an inspection apparatus using image data captured from a single direction to extract a feature of a target to be inspected from the image data.
【０００５】本発明はこのような事情に鑑みてなされた
もので、検査対象物の３次元的な特徴を定量認識するこ
とができる顕微鏡を用いた３次元画像認識装置を提供す
ることを目的とする。The present invention has been made in view of such circumstances, and has as its object to provide a three-dimensional image recognition apparatus using a microscope capable of quantitatively recognizing three-dimensional characteristics of an inspection object. I do.
【０００６】[0006]
【課題を解決するための手段】本発明は上記目的を達成
するために、第１の光軸方向から対象物の検査領域を拡
大して撮像し、第１の画像データを得る第１の顕微鏡
と、前記第１の光軸方向と異なる第２の光軸方向から前
記対象物の検査領域と同一の検査領域を拡大して撮像
し、第２の画像データを得る第２の顕微鏡と、予め複数
点の３次元座標が決定されている基準対象物を前記第
１、第２の顕微鏡によって撮像し、該第１、第２の顕微
鏡によって得られた第１、第２の画像データから前記複
数点に対応する前記第１、第２の画像データ上の位置を
測定し、該複数点に対応する前記第１、第２の画像デー
タ上の位置と前記複数点の３次元座標とから前記第１、
第２の顕微鏡の標定要素を決定する標定要素決定手段
と、前記第１、第２の画像データ上の対応する位置及び
前記標定要素決定手段によって決定された前記第１、第
２の顕微鏡の標定要素に基づいて前記対象物の所定位置
の３次元座標を算出する３次元座標算出手段と、からな
ることを特徴としている。In order to achieve the above object, the present invention provides a first microscope which obtains first image data by enlarging and imaging an inspection area of an object from a first optical axis direction. A second microscope that enlarges and captures the same inspection region as the inspection region of the object from a second optical axis direction different from the first optical axis direction to obtain second image data; A reference object in which three-dimensional coordinates of a plurality of points are determined is imaged by the first and second microscopes, and the plurality of images are obtained from first and second image data obtained by the first and second microscopes. Measuring a position on the first and second image data corresponding to a point; and determining a position on the first and second image data corresponding to the plurality of points and three-dimensional coordinates of the plurality of points. 1,
Orientation element determining means for determining an orientation element of a second microscope, and a corresponding position on the first and second image data and orientation of the first and second microscopes determined by the orientation element determining means And three-dimensional coordinate calculating means for calculating three-dimensional coordinates of a predetermined position of the object based on the element.
【０００７】本発明によれば、対象物を左右２方向から
第１、第２の顕微鏡によって拡大して撮像し、第１、第
２の画像データを得る。そして、この第１、第２の画像
データ上の対応する位置を検出してこの対応する位置か
ら前記対象物の所定位置の３次元座標を算出する。その
際、初期設定として予め複数点の３次元座標が決定され
ている基準対象物を前記第１、第２の顕微鏡によって撮
像し、これによって得られた第１、第２の画像データか
ら前記複数点に対応する前記第１、第２の画像データ上
の位置を測定する。そして、この測定によって得られた
複数点に対応する前記第１、第２の画像データ上の位置
と前記複数点の３次元座標とから前記第１、第２の顕微
鏡の標定要素を決定する。これにより、対象物の３次元
的な特徴を顕微鏡を用いて精度良く定量認識することが
できる。According to the present invention, an object is magnified and imaged from the left and right directions by the first and second microscopes to obtain first and second image data. Then, corresponding positions on the first and second image data are detected, and three-dimensional coordinates of a predetermined position of the object are calculated from the corresponding positions. At this time, the first and second microscopes capture an image of a reference object in which three-dimensional coordinates of a plurality of points are determined in advance as initial settings, and the plurality of three-dimensional coordinates are obtained from the first and second image data obtained thereby. A position corresponding to a point on the first and second image data is measured. Then, the orientation elements of the first and second microscopes are determined from the positions on the first and second image data corresponding to the plurality of points obtained by the measurement and the three-dimensional coordinates of the plurality of points. This makes it possible to accurately and quantitatively recognize the three-dimensional characteristics of the object using the microscope.
【０００８】[0008]
【発明の実施の形態】以下添付図面に従って本発明に係
る顕微鏡を用いた３次元画像認識装置について詳説す
る。図１は本発明の３次元画像認識装置の一実施の形態
を示したシステム構成図である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A three-dimensional image recognition apparatus using a microscope according to the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 is a system configuration diagram showing an embodiment of the three-dimensional image recognition device of the present invention.
【０００９】同図に示すように３次元画像認識装置は、
ＸＹステージ１０と、画像処理装置を搭載したパソコン
１２（パーソナルコンピュータ）と、検査対象物を照明
する照明用ランプ１４と、格子縞を投影する格子縞投影
用ランプ１６と、前記ランプのオン・オフ及び明るさを
制御する照明コントローラ１８と、前記ＸＹステージ１
０の上方の左右２方向の位置に固定された顕微鏡２０
Ａ、２０Ｂと、前記左右の顕微鏡２０Ａ、２０Ｂのそれ
ぞれの接眼部に設置されたＣＣＤカメラ２２Ａ、２２Ｂ
と、から構成される。[0009] As shown in FIG.
An XY stage 10, a personal computer 12 (personal computer) equipped with an image processing device, an illumination lamp 14 for illuminating an inspection object, a lattice fringe projection lamp 16 for projecting lattice fringes, and ON / OFF and brightness of the lamps The XY stage 1
Microscope 20 fixed at two positions in the left and right directions above 0
A, 20B and CCD cameras 22A, 22B installed in the respective eyepieces of the left and right microscopes 20A, 20B.
And
【００１０】上記ＸＹステージ１０は、検査対象物（以
下、単に対象物という）をステージ上に固定し、互いに
直交するＸ軸及びＹ軸の方向に対象物を移動させて、上
記顕微鏡２０Ａ、２０Ｂによって対象物の検査対象領域
を観察できる位置に調整する。上記顕微鏡２０Ａ、２０
Ｂは、ＸＹステージ１０上に固定された対象物の検査対
象領域を左右２方向から拡大する。The XY stage 10 fixes an inspection object (hereinafter, simply referred to as an object) on the stage and moves the object in directions of the X axis and the Y axis which are orthogonal to each other. Is adjusted to a position where the inspection target area of the target object can be observed. The microscope 20A, 20
B enlarges the inspection target area of the object fixed on the XY stage 10 from two directions in the left and right directions.
【００１１】そして、上記ＣＣＤカメラ２２Ａ、２２Ｂ
は、左右の顕微鏡２０Ａ、２０Ｂによって拡大された検
査対象領域の像を撮像する。図２は上記３次元画像認識
装置のハードウェア構成図である。同図に示すように、
上記３次元画像認識装置は、装置制御部３０（パソコン
１２を含む）、画像処理部３２、上記各種装置から構成
される。The CCD cameras 22A and 22B
Captures an image of the inspection target area enlarged by the left and right microscopes 20A and 20B. FIG. 2 is a hardware configuration diagram of the three-dimensional image recognition device. As shown in the figure,
The three-dimensional image recognition device includes a device control unit 30 (including the personal computer 12), an image processing unit 32, and the various devices.
【００１２】上記装置制御部３０は、ＭＰＵ３０Ａ、照
明コントローラ１８のＤ／Ａコンバータ３０Ｂ、ＸＹス
テージ１０のＸモータ１０Ａ、Ｙモータ１０Ｂを駆動制
御するモータコントローラ３０Ｃ、各種センサの入出力
信号を制御するＩ／Ｏコントローラ３０Ｄから構成さ
る。ＭＰＵ３０Ａはプログラム動作し、バス３４で接続
された各装置にコントロール信号を出力し、装置全体を
総括的に制御する。The device control unit 30 controls the MPU 30A, the D / A converter 30B of the illumination controller 18, the motor controller 30C for driving and controlling the X motor 10A and the Y motor 10B of the XY stage 10, and the input / output signals of various sensors. It comprises an I / O controller 30D. The MPU 30A performs a program operation, outputs a control signal to each device connected via the bus 34, and controls the entire device as a whole.
【００１３】Ｄ／Ａコンバータ３０Ｂは、ＭＰＵ３０Ａ
から入力したコントロール信号をアナログ信号に変換す
るとともに、アナログ信号を照明用ランプ１４の電源３
６及び格子縞投影用ランプ１６の電源３８を制御し、照
明用ランプ１４及び格子縞投影用ランプ１６のオン・オ
フ及び明るさの制御を行う。モータコントローラ３０Ｃ
は、ＭＰＵ３０Ａから入力したコントロール信号に従っ
て、ＸＹステージ１０のＸ方向及びＹ方向の移動を行う
Ｘモータ１０Ａ、Ｙモータ１０Ｂの駆動制御を行うとと
もに、Ｘモータ１０Ａ、Ｙモータ１０Ｂの駆動量からＸ
Ｙステージ１０の位置を示す位置信号をＭＰＵ３０Ａに
出力する。The D / A converter 30B is an MPU 30A
Is converted into an analog signal and the analog signal is supplied to the power supply 3 of the lighting lamp 14.
6 and the power supply 38 of the checkerboard projection lamp 16 are controlled to control the on / off and brightness of the illumination lamp 14 and the checkerboard projection lamp 16. Motor controller 30C
Controls the driving of the X motor 10A and the Y motor 10B that move the XY stage 10 in the X direction and the Y direction according to the control signal input from the MPU 30A, and performs X control based on the driving amounts of the X motor 10A and the Y motor 10B.
A position signal indicating the position of the Y stage 10 is output to the MPU 30A.
【００１４】上記画像処理部３４は、画像メモリ３４
Ａ、画像演算処理部３４Ｂ、カメラＩ／Ｆ３４Ｃとから
構成され、上記装置制御部３０とバス３４によって接続
される。上記カメラＩ／Ｆ３４Ｃは、左右の顕微鏡２０
Ａ、２０Ｂに設置されたＣＣＤカメラ２２Ａ、２２Ｂの
画像取り込みタイミングを同期させてＣＣＤカメラ２２
Ａ、２２Ｂから画像信号を取り込むとともに、ＭＰＵ３
０Ａから入力したコントロール信号に従って入力した画
像信号を画像データとして画像メモリ３４Ａに出力す
る。The image processing unit 34 includes an image memory 34
A, an image operation processing unit 34B, and a camera I / F 34C, which are connected to the device control unit 30 by a bus 34. The camera I / F 34C is connected to the left and right microscopes 20.
A, 20B, the CCD cameras 22A, 22B set in synchronization with the image capturing timing.
A, 22B, and MPU3
The image signal input according to the control signal input from 0A is output to the image memory 34A as image data.
【００１５】画像メモリ３４Ａは、カメラＩ／Ｆ３４Ｃ
を介してＣＣＤカメラ２２Ａ、２２Ｂから取り込んだ画
像データを記録するとともに、画像演算処理部３４Ｂに
よって処理された画像データを記録する。画像演算処理
部３４Ｂは、ＭＰＵ３０Ａから入力したコントロール信
号に従って、上記画像メモリ３４Ａに記録された画像デ
ータを読み出し、この画像データに基づいて各種画像演
算処理を行う。尚、この画像演算処理部は、通常の画像
処理関数以外に、左右の画像データの対応位置を抽出す
るための手法である正規化相関法の演算機能を有してい
る。The image memory 34A has a camera I / F 34C.
And the image data taken in from the CCD cameras 22A and 22B, and the image data processed by the image operation processing unit 34B. The image calculation processing unit 34B reads out image data recorded in the image memory 34A according to a control signal input from the MPU 30A, and performs various image calculation processes based on the image data. Note that this image calculation processing unit has a calculation function of a normalized correlation method, which is a method for extracting corresponding positions of left and right image data, in addition to a normal image processing function.
【００１６】図３は、上記３次元画像認識装置のソフト
ウェア構成図である。上記ＭＰＵ３０Ａは、同図に示す
複数のシステムから成るソフトウェア構成によってプロ
グラム動作する。同図に示すように上記３次元画像認識
装置のソフトウェアのシステムは、上記左右の顕微鏡２
０Ａ、２０Ｂを介してＣＣＤカメラ２２Ａ、２２Ｂから
画像データの取り込み処理（画像データ取り込み処理）
を行う画像データ取込処理システム４０、以下に詳説す
るキャリブレーションシステム４２、標定システム４
４、３次元特性領域の抽出システム４６、リードフレー
ム曲がり、欠陥検査システム４８、ボンディングワイヤ
の形状測定システム５０とから構成される。FIG. 3 is a software configuration diagram of the three-dimensional image recognition device. The MPU 30A performs a program operation by a software configuration including a plurality of systems shown in FIG. As shown in the figure, the software system of the three-dimensional image recognition device is composed of the left and right microscopes 2.
Process of capturing image data from CCD cameras 22A and 22B via 0A and 20B (image data capturing process)
Data acquisition processing system 40 that performs the following, a calibration system 42, and an orientation system 4 described in detail below.
4, a system for extracting a three-dimensional characteristic area 46, a system for inspecting a bent or defective lead frame 48, and a system 50 for measuring the shape of a bonding wire
【００１７】上記画像取込処理システム４０、キャリブ
レーションシステム４２、標定システム４４、３次元特
性領域の抽出システム４６は、３次元画像処理を行う上
で共通に必要とする基本システムであり、上記リードフ
レーム曲がり、欠陥検査システム４８、ボンディングワ
イヤの形状測定システム５０は、検査対象物により異な
る応用システムである。尚、応用システムは、検査対象
物及び検査内容に応じて適宜プログラムされるもので、
ここでは応用システムの一例としてボンディングワイヤ
の形状測定システム５０を説明する。The image capture processing system 40, the calibration system 42, the orientation system 44, and the extraction system 46 for the three-dimensional characteristic area are basic systems commonly required for performing three-dimensional image processing. The frame bending / defect inspection system 48 and the bonding wire shape measurement system 50 are application systems that differ depending on the inspection object. In addition, the application system is appropriately programmed according to the inspection object and the inspection content.
Here, a bonding wire shape measuring system 50 will be described as an example of an applied system.
【００１８】以上の基本システム及び応用システムは装
置全体を総括的に制御するシステム制御部５２によって
実行され、これらのシステムを実行する際に演算処理関
数、画像処理関数、画像メモリが使用される。次に上述
の如く構成される上記３次元画像認識装置の作用につい
て説明する。まず、上記システム制御部５２は、キャリ
ブレーションシステム４２によって顕微鏡２０Ａ、２０
Ｂの光学系をキャリブレーションする。上記左右２つの
顕微鏡２０Ａ、２０Ｂは、これらの顕微鏡２０Ａ、２０
Ｂを介して対象物を撮像した場合に、左右の映像は現在
市販されている実体顕微鏡を使用すればほぼ同等の映像
が得られると期待できる。しかし、左右の画像データを
計測に使用する場合にはこれらの顕微鏡２０Ａ、２０Ｂ
の光学系を正確にキャリブレーションする必要がある。
そこで、キャリブレーション用の格子パターンを用いて
左画像データ及び右画像データの画素の大きさを精度良
くキャリブレーションする。The above basic system and applied system are executed by a system control unit 52 which controls the entire apparatus as a whole, and an arithmetic processing function, an image processing function, and an image memory are used when executing these systems. Next, the operation of the three-dimensional image recognition device configured as described above will be described. First, the system control unit 52 uses the calibration system 42 to control the microscopes 20A and 20A.
Calibrate the optical system of B. The two right and left microscopes 20A, 20B are connected to these microscopes 20A, 20B.
When the object is imaged through B, it can be expected that the left and right images will be substantially equivalent if a commercially available stereo microscope is used. However, when the left and right image data are used for measurement, these microscopes 20A, 20B
It is necessary to accurately calibrate the optical system.
Therefore, the pixel sizes of the left image data and the right image data are accurately calibrated using the calibration grid pattern.
【００１９】図４はキャリブレーションの方法を示した
説明図である。図４（Ａ）に示すリファレンスパターン
から構成される間隔の精度が十分によい格子縞をリファ
レンスワーク（理想平面から成る対象物）に垂直上方か
ら投影用ランプ１６によって投影し、左右の顕微鏡２０
Ａ、２０Ｂに設置されたＣＣＤカメラ２２Ａ、２２Ｂで
このリファレンスワークを撮像する。例えば、図４
（Ｂ）に示すようにリファレンスワークの平面に投影さ
れた格子縞を垂直上方に対して斜方θ方向から撮像する
とすると、図４（Ｃ）に示すような画像データが得られ
る。顕微鏡の光学系の一番最初の標定をかける時には、
スイングするステージで、図４（Ｅ）に示すようにキャ
リブレーション用のリファレンスワークを顕微鏡の光軸
と垂直になるように傾けて図４（Ｄ）のような画像デー
タを得る。このようにして得られた画像データ上の格子
の交点（以下、格子点と称す。）の位置（例えば、図４
（Ｄ）の１、２、３、２５で示したような格子点の位
置）を正規化相関法を使用して１／１０画素の精度で計
測する。このようにして計測した複数の格子点の位置
と、撮像方向の角度θをパラメータとして算出される画
像上の格子点の位置とから最小２乗法によって画面の各
格子が正しく正方格子になるようにアフィン変換する真
の角度θと歪みの補正値を算出する。これにより、この
角度θから格子縞を撮像した場合の画像上の各格子点の
位置が精度良く算出され、この格子点の位置から内部評
定要素である撮像面における光学系の歪みの補正値と１
画素の大きさを求めることができる。FIG. 4 is an explanatory diagram showing a calibration method. A grid pattern composed of the reference patterns shown in FIG. 4A and having sufficiently high accuracy of the interval is projected onto a reference work (an object composed of an ideal plane) from vertically above by a projection lamp 16, and the right and left microscopes 20.
The reference work is imaged by the CCD cameras 22A and 22B installed on the reference works A and 20B. For example, FIG.
As shown in FIG. 4B, when the lattice fringes projected on the plane of the reference work are imaged in the oblique θ direction with respect to the vertically upward direction, image data as shown in FIG. 4C is obtained. When applying the first orientation of the microscope optics,
On a swinging stage, the reference work for calibration is tilted so as to be perpendicular to the optical axis of the microscope as shown in FIG. 4E, and image data as shown in FIG. 4D is obtained. The position of a grid intersection (hereinafter, referred to as a grid point) on the image data obtained in this manner (for example, FIG.
(D) The positions of the grid points as indicated by 1, 2, 3, and 25) are measured with an accuracy of 1/10 pixel using the normalized correlation method. From the positions of the plurality of grid points measured in this way and the positions of the grid points on the image calculated using the angle θ of the imaging direction as a parameter, each grid on the screen is correctly formed into a square grid by the least square method. The true angle θ to be affine-transformed and the distortion correction value are calculated. As a result, the position of each grid point on the image when a grid pattern is picked up from this angle θ is accurately calculated.
The size of the pixel can be determined.
【００２０】また、顕微鏡光学系をフィールドでキャリ
ブレーションする場合は、顕微鏡設計時の角度θ（図４
（Ｂ）参照）を基に図５に示すように図４（Ａ）のリフ
ァレンスパターン（図５（Ａ））を、例えば、図４
（Ｃ）に示した格子点１、２、３、２１、２５における
格子縞のパターン図５（Ａ１）、（Ａ２）、（Ａ３）、
（Ａ２１）、（Ａ２５）のように変換してから、図４
（Ｃ）（図５（Ｃ）参照）に対して正規化相関法を使用
して各格子点を測定する。尚、同一のライン上の図５
（Ａ１）、（Ａ２）、（Ａ３）は、相似関係を保ったま
ま、大きさが変化し、同様に中心線より上と下では収束
点からの角度により横線の傾きが逆になった上、図５
（Ａ２１）と（Ａ２５）とは（Ａ１）、（Ａ２）、（Ａ
３）と同様に相似関係になる。この関係を考慮して、例
えば、格子点１付近のサーチは（Ａ１）を、格子点２付
近のサーチは（Ａ２）を使用することにより、ずれの少
ない相関ができる。そして、測定した各格子点の値を基
にアフィン変換することによっても、内部評定要素であ
る撮像面における光学系の歪みの補正値と１画素の大き
さを求めることができる。When the microscope optical system is calibrated in the field, the angle θ at the time of designing the microscope (FIG. 4)
As shown in FIG. 5, the reference pattern (FIG. 5A) of FIG.
5 (A1), (A2), (A3), and 5 (A1), (A2), (A3)
After conversion as shown in (A21) and (A25), FIG.
Each grid point is measured using the normalized correlation method for (C) (see FIG. 5C). FIG. 5 on the same line
(A1), (A2), and (A3) show that the magnitude changes while the similarity is maintained, and that the inclination of the horizontal line is reversed by the angle from the convergence point above and below the center line. 5
(A21) and (A25) are (A1), (A2), (A
Similarity is obtained as in 3). In consideration of this relationship, for example, by using (A1) for the search near the grid point 1 and (A2) for the search near the grid point 2, correlation with little deviation can be obtained. Then, by performing affine transformation based on the measured values of the grid points, it is also possible to obtain the correction value of the distortion of the optical system on the imaging surface, which is an internal evaluation element, and the size of one pixel.
【００２１】また、ＣＣＤカメラ２２Ａ、２２Ｂから入
力した画像データから左右の画像データの明るさをキャ
リブレーションする。左右の画像データの明るさは上記
キャリブレーションワークを使用して入力した画像デー
タから左画像データ及び右画像データの明るさのヒスト
グラムを作成し、これらのヒストグラムを比較してＣＣ
Ｄカメラ２２Ａ、２２Ｂのゲインとオフセットの２つの
明るさコントローラパラメータを調整する。The brightness of the left and right image data is calibrated from the image data input from the CCD cameras 22A and 22B. The brightness of the left and right image data is calculated from the input image data using the above calibration work by creating histograms of the brightness of the left image data and the right image data, and comparing these histograms.
The two brightness controller parameters of the gain and offset of the D cameras 22A and 22B are adjusted.
【００２２】以上のキャリブレーションシステムによっ
て顕微鏡の光学系をキャリブレーションした後、次に上
記システム制御部５２は標定システム４４によって左右
の顕微鏡光学系の撮像位置等の光学系の幾何学的な配置
を標定する。ステレオ実体視により対象物の３次元的な
位置決めを行うには、計測に先立って左右の顕微鏡光学
系の撮像位置等を含め、顕微鏡光学系の焦点距離、光軸
と撮像面の交点における３次元座標の各軸Ｘ、Ｙ、Ｚに
対する回転、撮像倍率等の光学系の幾何学的な配置を決
定する標定要素を求めることが必要になる。After the optical system of the microscope is calibrated by the above-described calibration system, the system control unit 52 next determines the geometric arrangement of the optical system such as the imaging position of the left and right microscope optical systems by the orientation system 44. Orient. In order to perform three-dimensional positioning of an object by stereo stereoscopic vision, prior to measurement, including the imaging positions of the left and right microscope optical systems, the focal length of the microscope optical system, and the three-dimensional position at the intersection of the optical axis and the imaging surface It is necessary to find orientation elements that determine the geometric arrangement of the optical system, such as the rotation of the coordinates with respect to each of the axes X, Y, and Z, and the imaging magnification.
【００２３】評定要素が決定されると、対象物の３次元
座標は、その対象物の左右の画像データ上の座標より計
算により求めることができる。標定には図４に示したリ
ファレンスパターンと同一の格子縞を使用し、一辺を
３、４、〜１０とした時の正方格子の合計点９点、１６
点、２５点、〜１００点の格子点を利用して評定を実施
する。標定要素は、格子縞上の格子点位置の３次元座標
を既知として、左右のＣＣＤカメラ２２Ａ、２２Ｂによ
って撮像された画像データ上の格子点の座標値を求める
ことにより算出される。この標定要素の算出には最小４
点の対応点が必要である。多数の格子点を用いること
は、撮像系の光学的歪みを正しくキャリブレーションす
るためである。When the rating element is determined, the three-dimensional coordinates of the object can be obtained by calculation from the coordinates on the left and right image data of the object. For the orientation, the same grid pattern as the reference pattern shown in FIG. 4 was used, and the total points of the square grid were 9 points, 16
The rating is carried out using points, 25 points, ~ 100 grid points. The orientation element is calculated by assuming the three-dimensional coordinates of the grid point position on the grid pattern as known, and calculating the coordinate values of the grid points on the image data captured by the left and right CCD cameras 22A and 22B. A minimum of 4
A corresponding point is required. The use of a large number of grid points is for correctly calibrating the optical distortion of the imaging system.
【００２４】以上の標定システムによって左右の顕微鏡
光学系の撮像位置等の光学系の幾何学的な配置を標定し
た後、次に上記システム制御部５２は抽出システム４４
によって３次元的な特徴を持つ部分を抽出する。図６に
示すように、対象物の平面上にバンプ６０が存在する対
象物を左右のＣＣＤカメラ２２Ａ、２２Ｂで撮像する場
合を例に示す。分かりやすくするために対象物に上述の
格子縞が投影されているとする。平面上に正方形の格子
縞を投影して斜方からＣＣＤカメラ２２Ａ、２２Ｂによ
ってこの格子縞を撮像すると、顕微鏡２０Ａ、２０Ｂの
光学系の光軸が対象物平面に垂直でないために画像デー
タ上では台形の格子縞として記録されるが、この画像デ
ータ上の格子縞はアフィン変換により正方形に変換する
ことができる。ところが、平面でない部分に投影された
正方形の格子縞は、アフィン変換しても正方形には変換
されず、左画像データ上と右の画像データ上で異なった
形状を示す。図６に示したようなバンプ６０が存在する
対象物を左右のＣＣＤカメラ２２Ａ、２２Ｂで撮像する
と、図７（Ａ）、（Ｂ）に示すような左右の画像データ
が得られる。この左右の画像データをそれぞれアフィン
変換して平面上の格子縞を正方形に変換すると、図８
（Ａ）、（Ｂ）に示すような左右の画像データが得られ
る。同図からわかるようにバンプ６０の部分に投影され
た格子縞は左右の画像データで異なることがわかる。こ
の特性を利用して画像データの中から所定平面とは高さ
の異なる部分のみの左右の画像データを図９（Ａ）、
（Ｂ）に示すように抽出することができる。After locating the geometric arrangement of the optical systems such as the imaging positions of the left and right microscope optical systems by the above-described locating system, the system control unit 52 then controls the extraction system 44.
To extract a portion having a three-dimensional feature. As shown in FIG. 6, an example is shown in which an image of an object having a bump 60 on the plane of the object is captured by the left and right CCD cameras 22A and 22B. For the sake of simplicity, it is assumed that the above-described grid pattern is projected on the object. When a square lattice fringe is projected on a plane and the lattice fringes are imaged obliquely by the CCD cameras 22A and 22B, a trapezoidal trapezoid is formed on the image data because the optical axes of the optical systems of the microscopes 20A and 20B are not perpendicular to the object plane. Although recorded as lattice fringes, the lattice fringes on this image data can be converted into squares by affine transformation. However, a square grid pattern projected on a non-planar part is not converted into a square even by affine transformation, and shows different shapes on the left image data and the right image data. When an object having the bump 60 as shown in FIG. 6 is imaged by the left and right CCD cameras 22A and 22B, left and right image data as shown in FIGS. 7A and 7B are obtained. When the left and right image data are affine-transformed to convert the lattice pattern on the plane into a square, FIG.
Left and right image data as shown in (A) and (B) are obtained. As can be seen from the figure, the grid pattern projected on the bump 60 is different between the left and right image data. Utilizing this characteristic, the left and right image data of only the portion having a different height from the predetermined plane is selected from the image data in FIG.
It can be extracted as shown in FIG.
【００２５】この状況を対象物の断面方向から見ると分
かりやすくなるので模式的に対象物の断面図を図１０に
示す。図１０に示すようにバンプ６０が存在する対象物
を左右のＣＣＤカメラ２２Ａ、２２Ｂによって撮像し、
上記アフィン変換すると、バンプ６０と平面との境界上
の点Ｂ、Ｃと、点Ｂ、Ｃの中点Ａに対して垂直方向のあ
るバンプ６０上の点Ａ’は、それぞれ図１１（Ａ）、
（Ｂ）の点Ｂ、Ｃ、Ａ’の位置に投影される。同図から
分かるようにバンプ６０上にある点Ａ’は、点Ｂ、Ｃの
中点Ａの位置とは異なる位置に投影され、バンプ６０が
存在しない場合（点Ａ’が平面上の点Ａと一致する場
合）に点Ａ’が投影されるべき位置とは左右の画像デー
タで異なる。This situation is easy to understand when viewed from the cross-sectional direction of the object, and FIG. 10 schematically shows a cross-sectional view of the object. As shown in FIG. 10, an object on which the bump 60 exists is imaged by the left and right CCD cameras 22A and 22B,
By performing the affine transformation, the points B and C on the boundary between the bump 60 and the plane and the point A ′ on the bump 60 that is perpendicular to the middle point A of the points B and C are respectively shown in FIG. ,
It is projected at the positions of points B, C, and A 'in (B). As can be seen from the figure, the point A ′ on the bump 60 is projected to a position different from the position of the midpoint A of the points B and C, and when the bump 60 does not exist (the point A ′ is the point A on the plane). And the position where point A ′ is to be projected differs between the left and right image data.
【００２６】このように、対象物の所定の平面上にある
点が左右の画像データ上の投影されるべき点の位置とは
異なる位置に投影された対象物上の点を抽出することに
より、３次元的な特徴を持つ部分を抽出することができ
る。そして、この３次元的な特徴を持つ部分の左右の画
像データ上での位置から３次元的な定量測定を行うこと
ができる。As described above, by extracting points on the object where points on a predetermined plane of the object are projected at positions different from the positions of points to be projected on the left and right image data, A part having three-dimensional characteristics can be extracted. Then, three-dimensional quantitative measurement can be performed from the position of the part having the three-dimensional feature on the left and right image data.
【００２７】以上説明した基本システムは、以下に一例
として示すような応用システムにおいて共通に使用され
るシステムであり、この基本システムによって対象物の
３次元測定が可能になる点を利用して応用システムがプ
ログラムされる。次に応用システム一例としてボンディ
ングワイヤの形状測定システム５０（図３参照）につい
て説明する。The basic system described above is a system commonly used in application systems as shown below as an example. The basic system makes it possible to perform three-dimensional measurement of an object by utilizing the basic system. Is programmed. Next, a bonding wire shape measuring system 50 (see FIG. 3) will be described as an example of an applied system.
【００２８】図１２は、形状測定するボンディングワイ
ヤの形状の一例を示した構成図である。同図に示すボン
ディングワイヤ７０Ｂはチップ７０Ｃ上のパッド７０Ｄ
とリードフレーム７０Ａ間に接着されて、このパッド７
０Ｄとリードフレーム７０Ａ間に規定の空間形状で配置
される。もし、このボンディングワイヤ７０Ｂの形状が
規定の形状と大きく異なる場合には不良品と判定され
る。FIG. 12 is a configuration diagram showing an example of the shape of a bonding wire whose shape is to be measured. The bonding wire 70B shown in FIG.
The pad 7 is adhered between the
0D and the lead frame 70A are arranged in a prescribed space shape. If the shape of the bonding wire 70B is significantly different from the prescribed shape, it is determined to be defective.
【００２９】図１３は、このボンディングワイヤの形状
測定システムの処理手順を示したフローチャートであ
る。ボンディングワイヤについては３次元的な形状を測
定する。上記ボンディングワイヤの３次元形状測定の準
備工程として、予め、チップ上のパッド７０Ｄの位置
と、これに対応するリードフレーム７０Ａの位置を登録
しておく。そして、このチップ７０ＣをＸＹステージ１
０上に固定して、チップ７０Ｃ上に記されたアライメン
ト用マーク又はリファレンス７０Ｅ、７０Ｅを所定の位
置に合わせる。そして、左右の顕微鏡２０Ａ、２０Ｂを
介してＣＣＤカメラ２２Ａ、２２Ｂで撮像し、パッド７
０Ｄの位置とリードフレーム７０Ａの位置が上記登録し
た位置と一致するか確認する（ステップＳ２０）。この
ようにしてチップ７０Ｃの固定位置を調節した後、ＣＣ
Ｄカメラ２２Ａ、２２Ｂによってチップ７０Ｃを撮像
し、図１４に示すように撮像した左右の画像データ上で
パッド７０Ｄ位置付近に小画像領域８０Ａを設定する
（ステップＳ２２）。つぎにこの左右の画像データ上の
小画像領域８０Ａにおいてそれぞれ、ボンディングワイ
ヤ７０Ｂの輪郭を抽出し、ソーベルオペレータ等の画像
処理でボンディングワイヤ７０Ｂの中心線の線分（曲
線）を検出する（ステップＳ２４）。そして、抽出した
ボンディングワイヤ７０Ｂの中心線の画像データ上での
座標値及び方向を算出する（ステップＳ２６）。この
後、さらに、ボンディングワイヤ７０Ｂの中心線の延長
上に小画像領域８０Ｂ（図１４参照）を設定し、この設
定した小画像領域８０Ｂにリードフレーム７０Ａが含ま
れるか否かを判定する（ステップＳ３０）。もし、小画
像領域にリードフレーム７０Ａが含まれない場合、小画
像領域にリードフレーム７０Ａが含まれるまで上記ステ
ップＳ２４からステップＳ３０までの処理を繰り返し実
行する（図１４では小画像領域８０Ｅまで上記処理を繰
り返す）。即ち、上記ステップＳ２４からステップＳ３
０までの処理を繰り返し実行してパッド７０Ｄの位置か
らリードフレーム７０Ａの位置までのボンディングワイ
ヤ７０Ｂの中心線の座標値を左右の画像データ上でそれ
ぞれ検出する。FIG. 13 is a flowchart showing a processing procedure of the bonding wire shape measuring system. The three-dimensional shape of the bonding wire is measured. As a preparation step for measuring the three-dimensional shape of the bonding wire, the positions of the pads 70D on the chip and the corresponding positions of the lead frames 70A are registered in advance. Then, the chip 70C is moved to the XY stage 1
0, and the alignment marks or references 70E, 70E written on the chip 70C are adjusted to predetermined positions. Then, images are taken by the CCD cameras 22A and 22B via the right and left microscopes 20A and 20B, and the pad 7
It is checked whether the position of 0D and the position of the lead frame 70A match the registered position (step S20). After adjusting the fixing position of the chip 70C in this way, the CC
The chip 70C is imaged by the D cameras 22A and 22B, and a small image area 80A is set near the position of the pad 70D on the imaged left and right image data as shown in FIG. 14 (step S22). Next, in each of the small image areas 80A on the left and right image data, the outline of the bonding wire 70B is extracted, and a line segment (curve) of the center line of the bonding wire 70B is detected by image processing such as a Sobel operator (step). S24). Then, the coordinate value and the direction on the image data of the extracted center line of the bonding wire 70B are calculated (step S26). Thereafter, a small image area 80B (see FIG. 14) is further set on the extension of the center line of the bonding wire 70B, and it is determined whether or not the lead frame 70A is included in the set small image area 80B (step). S30). If the small image area does not include the lead frame 70A, the processing from step S24 to step S30 is repeatedly executed until the small image area includes the lead frame 70A (FIG. 14 shows the processing up to the small image area 80E). repeat). That is, steps S24 to S3
By repeating the process up to 0, the coordinate values of the center line of the bonding wire 70B from the position of the pad 70D to the position of the lead frame 70A are detected on the left and right image data.
【００３０】このようにして検出した左右の画像データ
上でのボンディングワイヤ７０Ｂの中心線の座標値を求
めた後、この座標値からボンディングワイヤ７０Ｂの３
次元座標値の点列を算出する（ステップＳ３２）。尚、
ボンディングワイヤ７０Ｂの３次元座標値を算出際に、
ボンディングワイヤ７０Ｂの同一点を左右の画像データ
上で対応させる必要があるが、これにはエピポーラ線を
使用する。エピポーラ線は左右の顕微鏡光学系の焦点を
結ぶ直線と対象物の任意の点で決定される平面（エピポ
ーラ面）を左右の画像データ上に投影した際の直線を示
す。図１５に示すように所定平面上の２点Ａ、Ｂ間（パ
ッド７０Ｄとリードフレーム７０Ａ間）に３次元的に設
置されたボンディングワイヤ７０Ｂを左右のＣＣＤカメ
ラ２２Ａ、２２Ｂで撮像すると、左右の画像データ上に
は上記２点Ａ、Ｂの投影点Ａ’、Ｂ’を結ぶ曲線として
投影される。このとき、左右の画像データ上に投影され
た２点Ａ’、Ｂ’間を結ぶ線分を所定の比率で２分する
分割点Ｃ’、Ｃ’は対象物上で同一の点Ｃとなり、左右
の画像データ上でこの分割点を通るエピポーラ線ｅ、ｅ
がボンディングワイヤ７０Ｂと交わる点Ｐ’、Ｐ’は、
対象物上でボンディングワイヤ７０Ｂの同一の点Ｐとな
る（同図斜線で示した平面はエピポーラ面を示す）。After the coordinate value of the center line of the bonding wire 70B on the left and right image data detected in this way is obtained, the coordinate value of the bonding wire 70B is calculated from the coordinate value.
A point sequence of the dimensional coordinate values is calculated (step S32). still,
When calculating the three-dimensional coordinate value of the bonding wire 70B,
It is necessary to make the same point of the bonding wire 70B correspond on the left and right image data, and an epipolar line is used for this. The epipolar line indicates a straight line connecting the focal points of the left and right microscope optical systems and a straight line when a plane (epipolar surface) determined by an arbitrary point on the object is projected on the left and right image data. As shown in FIG. 15, when the bonding wires 70B set three-dimensionally between the two points A and B (between the pad 70D and the lead frame 70A) on the predetermined plane are imaged by the left and right CCD cameras 22A and 22B, The image data is projected as a curve connecting the projection points A ′ and B ′ of the two points A and B. At this time, the division points C ′ and C ′ that divide the line segment connecting the two points A ′ and B ′ projected on the left and right image data into two at a predetermined ratio become the same point C on the object, Epipolar lines e and e passing through this division point on the left and right image data
P ′, P ′ at which と intersects the bonding wire 70B are
The same point P of the bonding wire 70B is set on the target object (the plane indicated by oblique lines in the figure indicates an epipolar plane).
【００３１】即ち、図１６（Ａ）、（Ｂ）に示すように
左右の画像データ上で、ボンディングワイヤ７０Ｂの中
心線データの始点Ａ’と終点Ｂ’を結ぶ線分を作り、こ
の線分をｎ等分する。そして、このｎ等分した内のｌ番
目の点を通るエピポーラ線ｅ、ｅと中心線データの交点
Ｐ’、Ｐ’を求め、この左右の画像データ上での交点
Ｐ’、Ｐ’の座標値よりボンディングワイヤ７０Ｂの３
次元座標値を求める。That is, as shown in FIGS. 16A and 16B, a line segment connecting the start point A 'and the end point B' of the center line data of the bonding wire 70B is formed on the left and right image data. Is divided into n equal parts. Then, intersections P ′ and P ′ of the epipolar lines e and e passing through the l-th point among the n equal parts and the center line data are obtained, and the coordinates of the intersections P ′ and P ′ on the left and right image data are obtained. 3 of bonding wire 70B from the value
Find the dimensional coordinate values.
【００３２】そして、以上のようにして求めたボンディ
ングワイヤの３次元座標値の点列と予め登録してある理
想的な形状のボンディングワイヤの３次元座標値との偏
差を算出してこの偏差が許容範囲内か否かで良否判定を
行う（ステップＳ３４）。尚、応用システムの他の例と
して図３に示したリードフレームの曲がり、欠陥検査シ
ステム４８は、３次元測定からリードフレームの曲がり
（図１７（Ａ）、（Ｂ）のＩＣチップ７０の上面図、断
面図に示したリードフレーム７０Ａの曲がり７０Ｂ）を
検出するとともに、リードフレームのプレス打痕、プレ
ス磨耗等（図１８参照）の欠陥を検出する。Then, the deviation between the point sequence of the three-dimensional coordinate values of the bonding wire obtained as described above and the three-dimensional coordinate value of the bonding wire having the ideal shape registered in advance is calculated, and this deviation is calculated. A pass / fail judgment is made based on whether the value is within the allowable range (step S34). As another example of the application system, the lead frame bending and defect inspection system 48 shown in FIG. 3 uses the three-dimensional measurement to calculate the bending of the lead frame (the top view of the IC chip 70 in FIGS. 17A and 17B). , The bend 70B of the lead frame 70A shown in the cross-sectional view is detected, and defects such as press dents and press wear of the lead frame (see FIG. 18) are detected.
【００３３】以上、上記実施の形態では、顕微鏡光学系
の標定要素を決定する際にリファレンスワークに投影し
た格子縞の格子点位置の３次元座標を既知としてこの標
定要素を決定していたが、これに限らず、観測可能で３
次元座標が既知の任意の複数点によっても同様に標定要
素を決定することができる。また、上記実施の形態で
は、２つの顕微鏡を左右斜め方向に設置していたが、こ
の２つの顕微鏡の設置位置は対象物の同一領域を観測で
きる位置でどこでもよい。As described above, in the above-described embodiment, when determining the orientation element of the microscope optical system, the orientation element is determined by assuming that the three-dimensional coordinates of the lattice point positions of the lattice stripes projected on the reference work are known. Observable, not limited to 3
Orientation elements can be determined in the same manner by using arbitrary plural points whose dimensional coordinates are known. Further, in the above-described embodiment, the two microscopes are installed obliquely to the left and right. However, the installation positions of these two microscopes may be anywhere as long as the same area of the object can be observed.
【００３４】[0034]
【発明の効果】以上説明したように本発明の顕微鏡を用
いた３次元画像認識装置によれば、対象物を左右２方向
から拡大して撮像する第１、第２の顕微鏡を設置し、ま
ず、初期設定として予め複数点の３次元座標が決定され
ている基準対象物を前記第１、第２の顕微鏡によって撮
像し、これによって得られた第１、第２の画像データか
ら前記複数点に対応する前記第１、第２の画像データ上
の位置を測定する。そして、この測定によって得られた
複数点に対応する前記第１、第２の画像データ上の位置
と前記複数点の３次元座標とから前記第１、第２の顕微
鏡の標定要素を決定する。そして、第１、第２の顕微鏡
によって対象物を拡大して撮像し、第１、第２の画像デ
ータを得る。そして、この第１、第２の画像データ上の
対応する位置を検出してこの対応する位置と、標定要素
から前記対象物の所定位置の３次元座標を算出する。As described above, according to the three-dimensional image recognition apparatus using the microscope of the present invention, the first and second microscopes for enlarging and imaging an object from two directions are installed. The first and second microscopes capture an image of a reference object in which three-dimensional coordinates of a plurality of points are determined in advance as initial settings, and the first and second image data obtained by the imaging are used to obtain the plurality of points. A corresponding position on the first and second image data is measured. Then, the orientation elements of the first and second microscopes are determined from the positions on the first and second image data corresponding to the plurality of points obtained by the measurement and the three-dimensional coordinates of the plurality of points. Then, the first and second microscopes magnify and image the target object to obtain first and second image data. Then, corresponding positions on the first and second image data are detected, and three-dimensional coordinates of a predetermined position of the object are calculated from the corresponding positions and the orientation elements.
【００３５】これにより、対象物の３次元的な特徴を顕
微鏡を用いて精度良く定量認識することができる。ま
た、請求項２の発明によれば、第１、第２の画像データ
上で対応する位置が不明な対象物の位置を、第１、第２
の画像データ上で対応する位置が分かっている点を通る
エピポーラ線によって検出することによって立体形状の
対象物の定量認識が可能となる。Thus, the three-dimensional characteristics of the object can be quantitatively recognized with high accuracy using a microscope. According to the second aspect of the present invention, the positions of the objects whose corresponding positions are unknown on the first and second image data are determined by the first and second image data.
Quantitative recognition of an object having a three-dimensional shape is possible by detecting an epipolar line passing through a point whose corresponding position is known on the image data.
【００３６】更に、請求項３の発明によれば、第１、第
２の画像データ上で平面領域以外の領域を抽出すること
によって、シミや汚れの付着のような単一方向からの画
像だけでは３次元的な画像の影部分と区別できない検査
対象の特徴を抽出することができるので、画像計測処理
を早く確実に行うことができる。Further, according to the third aspect of the present invention, by extracting an area other than the plane area on the first and second image data, only an image from a single direction such as stains or stains is attached. In this case, since the feature of the inspection target that cannot be distinguished from the shadow portion of the three-dimensional image can be extracted, the image measurement processing can be performed quickly and reliably.
【図１】図１は、本発明に係る顕微鏡を用いた３次元画
像認識装置の一実施の形態を示したシステム構成図であ
る。FIG. 1 is a system configuration diagram showing an embodiment of a three-dimensional image recognition device using a microscope according to the present invention.
【図２】図２は、本発明に係る顕微鏡を用いた３次元画
像認識装置の一実施の形態を示したハードウェア構成図
である。FIG. 2 is a hardware configuration diagram showing an embodiment of a three-dimensional image recognition device using a microscope according to the present invention.
【図３】図３は、本発明に係る顕微鏡を用いた３次元画
像認識装置のソフトウェア構成図である。FIG. 3 is a software configuration diagram of a three-dimensional image recognition device using a microscope according to the present invention.
【図４】図４は、キャリブレーションの方法を示した説
明図である。FIG. 4 is an explanatory diagram showing a calibration method.
【図５】図５は、キャリブレーションの方法を示した説
明図である。FIG. 5 is an explanatory diagram showing a calibration method.
【図６】図６は、平面上にバンプが存在する対象物を左
右のＣＣＤカメラで撮像する場合を示した説明図であ
る。FIG. 6 is an explanatory diagram showing a case where an object having a bump on a plane is imaged by left and right CCD cameras.
【図７】図７は、図６の対象物を左右のＣＣＤカメラで
撮像した場合に得られる画像を示した説明図である。FIG. 7 is an explanatory diagram showing an image obtained when the object in FIG. 6 is imaged by the left and right CCD cameras.
【図８】図８は、図７の画像をアフィン変換した場合に
得られる画像を示した説明図である。FIG. 8 is an explanatory diagram showing an image obtained when the image in FIG. 7 is affine-transformed.
【図９】図９は、図６の対象物から３次元的に特徴があ
る部分を抽出して得られる画像を示した説明図である。FIG. 9 is an explanatory diagram showing an image obtained by extracting a three-dimensionally characteristic portion from the object shown in FIG. 6;
【図１０】図１０は、平面上にバンプが存在する対象物
を左右のＣＣＤカメラで撮像する場合を示した説明図で
ある。FIG. 10 is an explanatory diagram showing a case where an object having a bump on a plane is imaged by right and left CCD cameras.
【図１１】図１１は、図１０の対象物を左右のＣＣＤカ
メラで撮像した場合に、バンプ上の点が撮像される画像
データ上の位置を示した説明図である。FIG. 11 is an explanatory diagram showing positions on image data where points on bumps are imaged when the object in FIG. 10 is imaged by the left and right CCD cameras.
【図１２】図１２は、ボンディングワイヤの形状を示し
た構成図である。FIG. 12 is a configuration diagram illustrating a shape of a bonding wire;
【図１３】図１３は、このボンディングワイヤの形状測
定システムの処理手順を示したフローチャートである。FIG. 13 is a flowchart showing a processing procedure of the bonding wire shape measuring system.
【図１４】図１４は、ボンディングワイヤの形状測定の
手順を説明する際に用いた説明図である。FIG. 14 is an explanatory diagram used for explaining a procedure of measuring a shape of a bonding wire;
【図１５】図１５は、エピポーラ線による左右画像デー
タの対応点を求める手順を示した説明図である。FIG. 15 is an explanatory diagram showing a procedure for obtaining corresponding points of left and right image data by epipolar lines.
【図１６】図１６は、エピポーラ線による左右画像デー
タの対応点を求める手順を示した説明図である。FIG. 16 is an explanatory diagram showing a procedure for obtaining corresponding points of left and right image data using epipolar lines.
【図１７】図１７は、ＩＣチップのリードフレームの曲
がりによる不良品例を示した図である。FIG. 17 is a diagram illustrating an example of a defective product due to bending of a lead frame of an IC chip.
【図１８】図１８は、ＩＣチップのリードフレームのプ
レス打痕やプレス磨耗による不良品例を示した図であ
る。FIG. 18 is a diagram illustrating an example of a defective product due to press dents or press wear of a lead frame of an IC chip.
１０…ＸＹステージ １２…パソコン１２ １６…格子縞投影用ランプ ２０Ａ、２０Ｂ…顕微鏡 ２２Ａ、２２Ｂ…ＣＣＤカメラ Reference Signs List 10 XY stage 12 Personal computer 12 16 Lattice pattern projection lamp 20A, 20B Microscope 22A, 22B CCD camera
───────────────────────────────────────────────────── フロントページの続き (72)発明者 池田 穂高 東京都東大和市湖畔２丁目1044番地の121 ──────────────────────────────────────────────────続 き Continuation of front page (72) Inventor Hotaka Ikeda 121, 2-1044-1 Kobe, Higashiyamato City, Tokyo
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21165296AJP3855244B2 (en) | 1996-08-09 | 1996-08-09 | Three-dimensional image recognition device using a microscope |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21165296AJP3855244B2 (en) | 1996-08-09 | 1996-08-09 | Three-dimensional image recognition device using a microscope |
| Publication Number | Publication Date |
|---|---|
| JPH1054709Atrue JPH1054709A (en) | 1998-02-24 |
| JP3855244B2 JP3855244B2 (en) | 2006-12-06 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21165296AExpired - Fee RelatedJP3855244B2 (en) | 1996-08-09 | 1996-08-09 | Three-dimensional image recognition device using a microscope |
| Country | Link |
|---|---|
| JP (1) | JP3855244B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006135040A1 (en)* | 2005-06-17 | 2006-12-21 | Omron Corporation | Image processing device and image processing method performing 3d measurement |
| JP2007018935A (en)* | 2005-07-08 | 2007-01-25 | Hitachi High-Technologies Corp | Microscope with probe and probe contact method |
| CN100417914C (en)* | 2005-06-17 | 2008-09-10 | 欧姆龙株式会社 | Image processing device and image processing method |
| CN100460806C (en)* | 2005-06-17 | 2009-02-11 | 欧姆龙株式会社 | Three-dimensional measuring method and three-dimensional measuring apparatus |
| WO2009120623A3 (en)* | 2008-03-25 | 2009-11-26 | Electro Scientific Industries, Inc. | Method and apparatus for detecting defects using structured light |
| CN101681438A (en)* | 2007-03-02 | 2010-03-24 | 有机运动公司 | System and method for tracking three dimensional objects |
| JP2013190554A (en)* | 2012-03-13 | 2013-09-26 | Shimadzu Corp | Microscope |
| JP2016130695A (en)* | 2015-01-14 | 2016-07-21 | 三友工業株式会社 | Surface inspection apparatus and surface inspection method. |
| WO2016199253A1 (en)* | 2015-06-10 | 2016-12-15 | 株式会社Pfu | Image processing system, image read-in device, region detection method, and computer program |
| WO2018163687A1 (en)* | 2017-03-10 | 2018-09-13 | 日本精工株式会社 | Tubular tool and manipulation system |
| WO2020217970A1 (en)* | 2019-04-22 | 2020-10-29 | 株式会社新川 | Wire shape measurement device, wire three-dimensional image generation method, and wire shape measurement method |
| KR20230154278A (en) | 2022-01-18 | 2023-11-07 | 야마하 로보틱스 홀딩스 가부시키가이샤 | Method for generating a 3D diagram of an article, 3D diagram creation device, and 3D shape inspection device |
| KR20230154277A (en) | 2022-01-18 | 2023-11-07 | 야마하 로보틱스 홀딩스 가부시키가이샤 | 3D digital microscope |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100938453B1 (en)* | 2007-07-31 | 2010-01-25 | (주)레드로버 | Stereoscopic microscope with stereoscopic image acquisition device and stereoscopic image acquisition device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6344107A (en)* | 1986-08-11 | 1988-02-25 | Goro Matsumoto | Apparatus for measuring three-dimensional shape |
| JPH0271109A (en)* | 1988-09-07 | 1990-03-09 | Toshiba Corp | Bonding wire inspection method |
| JPH03156306A (en)* | 1988-12-16 | 1991-07-04 | Schlumberger Technol Inc | Direct measurement of volume of three- dimensional characteristic part in binocular stereo image |
| JPH04191607A (en)* | 1990-11-26 | 1992-07-09 | Toshiba Corp | 3D measurement method |
| JPH05196422A (en)* | 1991-03-02 | 1993-08-06 | Tokyo Inst Of Technol | Z-coordinate position detection method and device for non-contact type three-dimensional coordinate detection device |
| JPH06195446A (en)* | 1992-12-24 | 1994-07-15 | Canon Inc | Corresponding point search method |
| JPH0749454A (en)* | 1993-06-15 | 1995-02-21 | Olympus Optical Co Ltd | Microscope for operation |
| JPH08567A (en)* | 1994-06-16 | 1996-01-09 | Asahi Koyo Kk | Fundus oculi measuring instrument |
| JPH0814828A (en)* | 1994-06-29 | 1996-01-19 | Kobe Steel Ltd | Calibration method for stereoscopic image sensor and device therefor |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6344107A (en)* | 1986-08-11 | 1988-02-25 | Goro Matsumoto | Apparatus for measuring three-dimensional shape |
| JPH0271109A (en)* | 1988-09-07 | 1990-03-09 | Toshiba Corp | Bonding wire inspection method |
| JPH03156306A (en)* | 1988-12-16 | 1991-07-04 | Schlumberger Technol Inc | Direct measurement of volume of three- dimensional characteristic part in binocular stereo image |
| JPH04191607A (en)* | 1990-11-26 | 1992-07-09 | Toshiba Corp | 3D measurement method |
| JPH05196422A (en)* | 1991-03-02 | 1993-08-06 | Tokyo Inst Of Technol | Z-coordinate position detection method and device for non-contact type three-dimensional coordinate detection device |
| JPH06195446A (en)* | 1992-12-24 | 1994-07-15 | Canon Inc | Corresponding point search method |
| JPH0749454A (en)* | 1993-06-15 | 1995-02-21 | Olympus Optical Co Ltd | Microscope for operation |
| JPH08567A (en)* | 1994-06-16 | 1996-01-09 | Asahi Koyo Kk | Fundus oculi measuring instrument |
| JPH0814828A (en)* | 1994-06-29 | 1996-01-19 | Kobe Steel Ltd | Calibration method for stereoscopic image sensor and device therefor |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8233041B2 (en) | 2005-06-17 | 2012-07-31 | Omron Corporation | Image processing device and image processing method for performing three dimensional measurements |
| CN100417914C (en)* | 2005-06-17 | 2008-09-10 | 欧姆龙株式会社 | Image processing device and image processing method |
| CN100460807C (en)* | 2005-06-17 | 2009-02-11 | 欧姆龙株式会社 | Image processing device and image processing method for three-dimensional measurement |
| CN100460806C (en)* | 2005-06-17 | 2009-02-11 | 欧姆龙株式会社 | Three-dimensional measuring method and three-dimensional measuring apparatus |
| JP4811272B2 (en)* | 2005-06-17 | 2011-11-09 | オムロン株式会社 | Image processing apparatus and image processing method for performing three-dimensional measurement |
| WO2006135040A1 (en)* | 2005-06-17 | 2006-12-21 | Omron Corporation | Image processing device and image processing method performing 3d measurement |
| JP2007018935A (en)* | 2005-07-08 | 2007-01-25 | Hitachi High-Technologies Corp | Microscope with probe and probe contact method |
| CN101681438A (en)* | 2007-03-02 | 2010-03-24 | 有机运动公司 | System and method for tracking three dimensional objects |
| JP2010520565A (en)* | 2007-03-02 | 2010-06-10 | オーガニック・モーション | System and method for tracking and recording a three-dimensional object |
| JP2014013573A (en)* | 2007-03-02 | 2014-01-23 | Organic Motion | System and method for tracking and recording three-dimensional object |
| US8471848B2 (en) | 2007-03-02 | 2013-06-25 | Organic Motion, Inc. | System and method for tracking three dimensional objects |
| WO2009120623A3 (en)* | 2008-03-25 | 2009-11-26 | Electro Scientific Industries, Inc. | Method and apparatus for detecting defects using structured light |
| US8285025B2 (en) | 2008-03-25 | 2012-10-09 | Electro Scientific Industries, Inc. | Method and apparatus for detecting defects using structured light |
| JP2013190554A (en)* | 2012-03-13 | 2013-09-26 | Shimadzu Corp | Microscope |
| JP2016130695A (en)* | 2015-01-14 | 2016-07-21 | 三友工業株式会社 | Surface inspection apparatus and surface inspection method. |
| WO2016199253A1 (en)* | 2015-06-10 | 2016-12-15 | 株式会社Pfu | Image processing system, image read-in device, region detection method, and computer program |
| JPWO2016199253A1 (en)* | 2015-06-10 | 2017-11-09 | 株式会社Pfu | Image processing system, image reading apparatus, area detection method, and computer program |
| US10247546B2 (en) | 2015-06-10 | 2019-04-02 | Pfu Limited | Image processing system and method for detecting a target object area based on height information |
| WO2018163687A1 (en)* | 2017-03-10 | 2018-09-13 | 日本精工株式会社 | Tubular tool and manipulation system |
| JPWO2018163687A1 (en)* | 2017-03-10 | 2019-03-14 | 日本精工株式会社 | Manipulation system |
| US11235317B2 (en) | 2017-03-10 | 2022-02-01 | Nsk Ltd. | Tubular instrument and manipulation system |
| WO2020217970A1 (en)* | 2019-04-22 | 2020-10-29 | 株式会社新川 | Wire shape measurement device, wire three-dimensional image generation method, and wire shape measurement method |
| CN113677953A (en)* | 2019-04-22 | 2021-11-19 | 株式会社新川 | Line shape measuring device, line three-dimensional image generating method, and line shape measuring method |
| US20220180494A1 (en)* | 2019-04-22 | 2022-06-09 | Shinkawa Ltd. | Wire shape measurement device, wire three-dimensional image generation method, and wire shape measurement method |
| KR20230154278A (en) | 2022-01-18 | 2023-11-07 | 야마하 로보틱스 홀딩스 가부시키가이샤 | Method for generating a 3D diagram of an article, 3D diagram creation device, and 3D shape inspection device |
| KR20230154277A (en) | 2022-01-18 | 2023-11-07 | 야마하 로보틱스 홀딩스 가부시키가이샤 | 3D digital microscope |
| Publication number | Publication date |
|---|---|
| JP3855244B2 (en) | 2006-12-06 |
| Publication | Publication Date | Title |
|---|---|---|
| JP5947169B2 (en) | Appearance inspection apparatus, appearance inspection method and program | |
| JPH11317429A (en) | Improved method and device for direct probe sensing | |
| JP6750841B2 (en) | Inspection method, inspection device, processing device, program and recording medium | |
| JP3855244B2 (en) | Three-dimensional image recognition device using a microscope | |
| US20150356727A1 (en) | Defect inspection method and defect inspection device | |
| JPH11148807A (en) | Bump height measuring method and bump height measuring device | |
| CN108627512B (en) | Three-dimensional inspection device and method for three-dimensional inspection | |
| US12058468B2 (en) | Image capturing apparatus, image processing apparatus, image processing method, image capturing apparatus calibration method, robot apparatus, method for manufacturing article using robot apparatus, and recording medium | |
| JP2008014700A (en) | Workpiece inspection method and workpiece inspection device | |
| JP4207302B2 (en) | Bump inspection method and inspection apparatus | |
| JP4111613B2 (en) | Semiconductor inspection method and apparatus | |
| JP2000283929A (en) | Wiring pattern inspection method and apparatus | |
| JP7368141B2 (en) | Wafer appearance inspection device and method | |
| US20220180494A1 (en) | Wire shape measurement device, wire three-dimensional image generation method, and wire shape measurement method | |
| JP2006276454A (en) | Image correction method and pattern defect inspection method using the same | |
| JP5148564B2 (en) | Appearance inspection method and appearance inspection apparatus for inspecting using the method | |
| JP2005274309A (en) | Three-dimensional object inspection method and inspection apparatus | |
| JP6900261B2 (en) | Processing equipment, substrate inspection equipment, processing method and substrate inspection method | |
| JP2010025803A (en) | Inspection device having positioning function, program therefor, inspection method of inspection device having positioning function | |
| JP4741943B2 (en) | Inspection apparatus and inspection method | |
| JP2009250777A (en) | Surface inspection device and surface inspection method | |
| JP2010243209A (en) | Defect inspection method and defect detection apparatus | |
| JP2003504607A (en) | Apparatus and method for three-dimensional inspection of electronic components | |
| JP7285988B2 (en) | Inspection device and inspection method | |
| TWI747500B (en) | Automatic image capturing method and apparatus for object |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20050225 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20050422 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20050616 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20060602 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20060731 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20060821 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20060903 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090922 Year of fee payment:3 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100922 Year of fee payment:4 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100922 Year of fee payment:4 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110922 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110922 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120922 Year of fee payment:6 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120922 Year of fee payment:6 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130922 Year of fee payment:7 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| LAPS | Cancellation because of no payment of annual fees |