JP2018503515A - Vision and control system for welding - Google Patents

Abstract

Translated fromJapanese

溶接用視覚及び制御システム（１００）は、手動で用いるため、並びに、溶接システム（１０２）の自動制御のために、溶接プロセスの溶接領域（１０９）内の明るい特徴並びに暗い特徴を、単一の合成画像において、又は、合成画像のビデオストリームにおいて画像化できる合成画像（例えば、２５５、３９８、４７８、５７８、１０３２、１２６０）を生成する。複数の原画像（例えば、２０４’、３０４’、４０４’、５０４’、１０３１、１２２４’）は、溶接システムに電力を供給する周期性電力波形（例えば、１３６、２０２、３０２、４０２、５０２、１００２、１２０２）の特定の位相の間に生じる露光期間から生成される。露光期間（例えば、２０４、３０４、４０４、１００４、１２２４）は、周期性電力波形における電気的特性の閾レベルの検出によって、又は、時間遅延によってトリガされてもよい。溶接内のある特定の特徴は、周期性電力波形の特定の位相の間に生じ、かかる特徴は、それら特定の位相の間に露光期間を作成することによって、リアルタイムで動画表示において分離され、見ることができる。合成画像は、異なる露光期間の持続期間、周期性電力波形の異なる位相、異なるカメラ感度及び絞り設定、又はそれらのパラメータの組み合わせにより取得される複数の原画像からの個々の非飽和及び非暗部ピクセルの選択によって生成される。The welding vision and control system (100) provides a single feature for bright and dark features in the welding area (109) of the welding process for manual use and for automatic control of the welding system (102). Generate a composite image (eg, 255, 398, 478, 578, 1032, 1260) that can be imaged in the composite image or in a video stream of the composite image. A plurality of original images (eg, 204 ′, 304 ′, 404 ′, 504 ′, 1031, 1224 ′) are generated from periodic power waveforms (eg, 136, 202, 302, 402, 502, 1002, 1202) generated from the exposure period occurring during a particular phase. The exposure period (eg, 204, 304, 404, 1004, 1224) may be triggered by detection of a threshold level of electrical characteristics in the periodic power waveform or by a time delay. Certain features within the weld occur during particular phases of the periodic power waveform, and such features are separated and viewed in real-time video display by creating an exposure period between those particular phases. be able to. The composite image consists of individual desaturated and non-dark pixels from multiple original images acquired by different exposure durations, different phases of the periodic power waveform, different camera sensitivities and aperture settings, or combinations of these parameters Generated by selection.

Description

Translated fromJapanese

溶接は、一般に、材料、例えば、金属の部品同士を、材料の融解を生じさせることによって、恒久的な方法で共に接合する製造プロセスである。金属の隣接する部品同士のかかる融解は、金属を溶融させるために十分なエネルギーを必要とする。アーク溶接は、金属を溶融させるために必要なエネルギーが、高電圧電気アークによって金属部品の少なくとも１つと、電気アークが電極から生じて、隣接する金属部品同士を融合させる電極金属のたまりを生成する点において緩やかに溶け込む金属電極との間に提供される一般的な溶接方法である。融解たまり内の金属及び隣接する金属部品が冷えると、融解金属は凝固して、２つの金属部品を永久接合する溶接継手を作成する。溶接システム及び技法は、長年にわたって改良を続けられてきた。例えば、ガスタングステンアーク溶接（ＴＩＧ）は、非消耗タングステン電極を用いて溶接を生じている。ガスメタルアーク溶接（ＭＩＧ）は、溶接区域に調整可能な速度で電極ワイヤを供給するワイヤ供給ガンを用い、幾つかのかかる溶接プロセスは、溶融した電極ワイヤの滴が電極ワイヤのアークを発生している先端において生じるように、溶融たまりに向かって、及び、それから離間させて電極ワイヤを往復動させる。多くの工業用溶接環境において手溶接の必要性を低減させた、ある種の限定された自動溶接システムも開発されている。ＭＩＧ及びＴＩＧ溶接システムにおける電力供給の向上は、結果として、使い易く、高品質の溶接を生成する溶接機ももたらした。  Welding is generally a manufacturing process in which materials, such as metal parts, are joined together in a permanent manner by causing the materials to melt. Such melting of adjacent metal parts requires sufficient energy to melt the metal. In arc welding, the energy required to melt the metal produces a pool of electrode metal that fuses adjacent metal parts with at least one of the metal parts by a high voltage electric arc and the electric arc arises from the electrodes. This is a general welding method provided between a metal electrode that gradually melts in terms of point. As the metal in the molten pool and adjacent metal parts cool, the molten metal solidifies, creating a welded joint that permanently bonds the two metal parts. Welding systems and techniques have been improved over the years. For example, gas tungsten arc welding (TIG) produces welding using non-consumable tungsten electrodes. Gas metal arc welding (MIG) uses a wire supply gun that supplies an electrode wire to the weld area at an adjustable rate, and some such welding processes cause a molten electrode wire drop to generate an arc of the electrode wire. The electrode wire is reciprocated toward and away from the molten pool, as occurs at the leading tip. Certain limited automatic welding systems have also been developed that reduce the need for manual welding in many industrial welding environments. Improved power supply in MIG and TIG welding systems has resulted in welders that are easy to use and produce high quality welds.

アーク溶接において金属を溶融させるために必要な熱を生じる電気アークは、また、極めて強いエネルギー放射線放出、例えば、非常に明るい可視光線、紫外線、及び赤外線放射も生じる。かかる放射は強すぎるため、人は、高強度紫外線放射が角膜炎症の原因となり、人の眼の網膜を焼く恐れがある閃光火傷の極めて高いリスク無しでは、進行中のアーク溶接プロセスを見ることができない。従って、保護メガネ又は暗色の紫外線フィルタリングフェースプレートを有する溶接ヘルメットが、これらの種類の眼損傷を防ぐために溶接工によって着用されなければならない。かかるフェースプレートは暗すぎるため、人はそれらを通して通常の可視光線を見ることができず、そのため、溶接工は、溶接していない場合に見るためにヘルメットを取らなければならないが、溶接アークが溶接を開始するよう衝突する前に、それらが所定位置にあって眼を保護していることを必ず確認する必要がある。ごく最近では、強い紫外線に曝された時に、瞬時に暗くなるフェースプレートが、溶接工のヘルメット用に開発された。  An electric arc that generates the heat necessary to melt the metal in arc welding also produces very intense energy radiation emissions, such as very bright visible, ultraviolet, and infrared radiation. Because such radiation is too intense, one can see an ongoing arc welding process without the extremely high risk of flash burns, where high-intensity ultraviolet radiation causes corneal inflammation and can burn the retina of the human eye. Can not. Therefore, welding helmets with protective glasses or dark UV filtering faceplates must be worn by the welder to prevent these types of eye damage. Because such faceplates are too dark, one cannot see normal visible light through them, so the welder must take a helmet to see when not welding, but the welding arc is welded You must make sure that they are in place and protect your eyes before they collide to start. More recently, face plates have been developed for welder helmets that darken instantly when exposed to intense ultraviolet radiation.

アーク溶接システムのための溶接用視覚及び制御システムであって、アーク溶接システムは、溶接領域内の母材上に溶接ビードを作成するよう、溶接用電力供給部からの周期性電力波形によって電力が供給され、（ｉ）溶接領域上又は溶接領域内の特徴上に集中する光センサアレイを有するカメラであって、露光開始制御信号に応答して溶接領域から、又は、溶接領域内の特徴から生じるか、反射する光エネルギーに対して光センサアレイを露光させて、溶接領域又は溶接領域内の特徴の一連の原画像を生成するカメラと、（ｉｉ）周期性電力波形上の所定のトリガーポイントにおいて、露光開始制御信号をカメラに対して生成する視覚システムコントローラと、を備える溶接用視覚及び制御システム。一実施形態において、視覚システムコントローラは、周期性電力波形における電気的特性が露光終了閾値と一致する場合を感知し、応答して、露光終了制御信号をカメラに対して生成する。別の実施形態において、溶接用電力供給部は、周期性電力波形上の所定のトリガーポイントにおいて露光を開始するよう、露光開始制御信号をカメラに対して提供する。別の実施形態において、溶接用電力供給部は、周期性電力波形上の所定のトリガーポイントと一致する、トリガリング信号を視覚システムコントローラに対して提供し、トリガリング信号に応答して、視覚システムコントローラは露光開始制御信号をカメラに対して生成する。別の実施形態において、周期性電力波形上の所定のトリガーポイントは、手動又は自動で変更できる。  A welding vision and control system for an arc welding system, wherein the arc welding system is powered by a periodic power waveform from a welding power supply so as to create a weld bead on a base metal in a welding area. And (i) a camera having an optical sensor array that concentrates on or in the weld area, resulting from the weld area or in response to an exposure start control signal Or a camera that exposes the optical sensor array to reflected light energy to generate a series of original images of the weld area or features within the weld area; and (ii) at a predetermined trigger point on the periodic power waveform And a visual system controller for generating an exposure start control signal for the camera, and a welding visual and control system. In one embodiment, the vision system controller senses when the electrical characteristic in the periodic power waveform matches the end of exposure threshold, and in response generates an end of exposure control signal to the camera. In another embodiment, the welding power supply unit provides an exposure start control signal to the camera so as to start exposure at a predetermined trigger point on the periodic power waveform. In another embodiment, the welding power supply provides a triggering signal to the vision system controller that matches a predetermined trigger point on the periodic power waveform, and in response to the triggering signal, the vision system The controller generates an exposure start control signal for the camera. In another embodiment, the predetermined trigger point on the periodic power waveform can be changed manually or automatically.

電気的特性が周期的に変化する周期性電力波形によって電力が供給される溶接プロセス中に、溶接領域の、又は、前記溶接領域内の特徴の一連の原画像を作成する方法は、（ｉ）溶接領域上又は溶接領域内の特徴上にカメラの焦点を合わせることと、（ｉｉ）一連の露光期間の間、溶接領域又は溶接領域内の特徴から生じるか、反射する光エネルギーに対してカメラ内の光センサアレイを露光させて、周期性電力波形の所定の位相において溶接領域又は溶接領域内の特徴の原画像を作成するよう、カメラをトリガすることと、を含む。  During a welding process powered by a periodic power waveform with periodically changing electrical properties, a method of creating a series of original images of features of a weld area or of features within said weld area comprises: (i) Focusing the camera on the weld area or features within the weld area; and (ii) within the camera against light energy that arises from or reflects from the weld area or features within the weld area during a series of exposure periods. Exposing the optical sensor array to trigger the camera to create an original image of the weld region or features in the weld region at a predetermined phase of the periodic power waveform.

電気的特性が周期的に変化する周期性電力波形によって電力が供給される溶接プロセス中に、溶接領域内の特定の特徴を見る方法は、溶接領域上にカメラの焦点を合わせることであって、カメラは、一連の露光期間の間、溶接領域内の特徴から生じるか、反射する光エネルギーに対して、カメラ内の光センサアレイの露光を開始するための露光開始制御信号に応答することと、一連の露光期間から一連の合成画像を生成するよう、周期性電力波形の第１の位相において、期間中に溶接領域から生じるか、反射する光エネルギーに対して光センサアレイを露光させるための露光開始制御信号を生成することと、特徴が周期性電力波形の第１の位相の間に存在する際に溶接領域内の特徴の動画表示のために、特徴の一連の合成画像をディスプレイ装置に流すことと、（ｉｖ）露光期間が、特定の特徴が動画表示において一連の合成画像内で示されるように、特定の特徴が存在する位相において生じるまで、周期性電力波形の異なる位相において生じるよう、露光期間を変更することと、を含む。  During a welding process powered by a periodic power waveform whose electrical characteristics change periodically, a method of viewing a particular feature in the weld area is to focus the camera on the weld area, The camera is responsive to an exposure start control signal for initiating exposure of the photosensor array in the camera to light energy arising from or reflecting from features in the weld area during a series of exposure periods; An exposure for exposing the photosensor array to light energy that originates from or reflects from the weld region during the first phase of the periodic power waveform to produce a series of composite images from a series of exposure periods. Display a series of composite images of features for generating a start control signal and for animated display of the features in the weld zone when the features are present during the first phase of the periodic power waveform And (iv) at different phases of the periodic power waveform until the exposure period occurs in the phase in which the particular feature is present, as the particular feature is shown in the series of composite images in the video display Changing the exposure period to occur.

本発明の実施形態は、従って、カメラによって作成される一連の合成画像から溶接プロセスの動画を生成する方法であって、ビデオカメラの第１の作動モードのための複数の作動パラメータを適用して、溶接プロセスの単一画像の複数のセットを生成することと、溶接プロセスを実行するアーク溶接機によって作成される波形を用いて、単一画像の複数のセットを溶接プロセスと同期させることと、単一画像のセットのいずれかの所定のセットにおける単一画像のそれぞれが、波形上の略同じ位置においてトリガされる単一画像の他のセットにおける対応画像を有するように、カメラのシャッターを開けるために用いられる作動パラメータに応答して、波形上の第１の位置セットにおいて第１のトリガーパルスを提供することと、単一画像のセットのいずれかの所定のセットにおける単一画像のそれぞれが、略同じ露光期間を有する単一画像の他のセットにおける対応画像を有するように、カメラ上のシャッターを閉じるために用いられる作動パラメータに応答して、波形上の第２の位置セットにおいて第２のトリガーパルスを生成することと、単一画像のセットにおける単一画像を結合して結合画像を生成することによって、単一画像の複数のセットから一連の結合画像を作成することと、一連の結合画像から溶接プロセスの動画を生成することと、溶接プロセスの動画を解析して溶接プロセスの解析を提供することと、解析に応じて溶接プロセスを修正することと、を含む方法を含んでいてもよい。  Embodiments of the present invention are therefore methods for generating a welding process animation from a series of composite images created by a camera, applying a plurality of operating parameters for a first operating mode of a video camera. Generating multiple sets of single images of the welding process, synchronizing the multiple sets of single images with the welding process using waveforms created by an arc welder performing the welding process; Open the camera shutter so that each single image in any given set of single images has a corresponding image in another set of single images triggered at approximately the same location on the waveform. Providing a first trigger pulse in a first set of positions on the waveform in response to an operating parameter used to Operating parameters used to close the shutter on the camera such that each single image in any given set of cameras has a corresponding image in another set of single images having substantially the same exposure period In response to the generation of a second trigger pulse at a second set of positions on the waveform and combining the single images in the set of single images to produce a combined image, Create a series of combined images from multiple sets, generate a welding process video from a series of combined images, analyze the welding process video to provide an analysis of the welding process, and respond to the analysis And modifying the welding process.

本発明の実施形態は、更に、溶接プロセスの動画を生成するためのシステムであって、金属溶接部品を溶接して溶接を生成するワイヤ供給溶接機と、溶接機に印加される電力供給波形を生成する溶接用電力供給部と、応答して、溶接プロセスの単一画像の複数のセットを生成するよう整列される、シャッターを有するカメラと、電力供給波形を感知し、単一画像の複数のセットのいずれかの所定のセットにおける単一画像のそれぞれが、波形上の略同じ位置でトリガされる単一画像の複数のセットにおける対応画像を有するように、カメラ上のシャッターを開けるために用いられる波形上の第１の位置セットにおいて第１のトリガーパルスを生成し、そして、単一画像の複数のセットのいずれかの所定のセットにおける単一画像のそれぞれが、波形上の略同じ位置で開始する略等しい露光期間を有する単一画像の複数のセットにおける対応画像を有するように、カメラ上のシャッターを閉じるために用いられる波形上の第２の位置セットにおいて第２のトリガーパルスを生成するコントローラであって、単一画像の各セットにおける単一画像を結合して表示及び解析に適した結合画像を生成するよう、論理演算を実行するコントローラと、を備えるシステムを備えていてもよい。  Embodiments of the present invention further provide a system for generating a welding process animation, a wire supply welder that welds metal weld parts to generate a weld, and a power supply waveform applied to the welder. A welding power supply to generate, a camera with a shutter aligned in response to generate multiple sets of a single image of the welding process, and a plurality of single images to sense the power supply waveform Used to open the shutter on the camera so that each single image in any given set of the set has a corresponding image in multiple sets of single images that are triggered at approximately the same location on the waveform Generating a first trigger pulse at a first set of positions on the resulting waveform, and each of the single images in any given set of the plurality of sets of single images In the second set of positions on the waveform used to close the shutters on the camera so as to have corresponding images in multiple sets of single images having approximately equal exposure periods starting at approximately the same position on the waveform. A controller that generates two trigger pulses, and that performs logical operations to combine the single images in each set of single images to generate a combined image suitable for display and analysis. May be provided.

溶接用視覚及び制御システムの一実施例の略ブロック図である。1 is a schematic block diagram of one embodiment of a welding vision and control system. FIG.溶接システムの溶接領域の拡大斜視図である。It is an expansion perspective view of the welding field of a welding system.単一の閾値トリガーポイントを用いる前進露光技術例の線図である。FIG. 6 is a diagram of an example forward exposure technique using a single threshold trigger point.閾値から遅延されたトリガーポイントを有する前進露光技術例の線図である。FIG. 6 is a diagram of an example forward exposure technique having a trigger point delayed from a threshold value.可変トリガー遅延を利用する一定露光技術例の線図である。FIG. 6 is a diagram of an example constant exposure technique that utilizes a variable trigger delay.可変トリガー遅延を利用する可変露光技術例の線図である。FIG. 6 is a diagram of an example variable exposure technique that utilizes variable trigger delay.図１の溶接用視覚及び制御システム例の作動を示すフロー図である。FIG. 2 is a flow diagram illustrating operation of the welding vision and control system example of FIG. 1.視覚システムコントローラの作動を示すフロー図である。It is a flowchart which shows the action | operation of a vision system controller.カメラにおいて露光を開始するためのシステム例を示す。1 shows an example system for initiating exposure in a camera.図２〜５に示すような、露光のそれぞれからのピクセルストリームを時間的に整列させるために用いられてもよいシステム例の概略図である。FIG. 6 is a schematic diagram of an example system that may be used to temporally align the pixel streams from each of the exposures, as shown in FIGS.画像結合器の一実施例のブロック図である。It is a block diagram of one Example of an image combiner.飽和又は暗部ではないピクセルを選択するためのシステム例の概略図である。FIG. 2 is a schematic diagram of an example system for selecting pixels that are not saturated or dark.輝度範囲ピクセル選択システム例の概略図である。1 is a schematic diagram of an example luminance range pixel selection system. FIG.暗部範囲ピクセル選択システム例の概略図である。It is the schematic of an example of a dark part range pixel selection system.合成画像を作成するための原画像融合例の線図である。It is a diagram of an example of original image fusion for creating a composite image.時間的ピクセル整列システム例の線図である。1 is a diagram of an example temporal pixel alignment system. FIG.ＤＣ形状電力波形例及び電力波形の位相と対応する溶接現象例を示す図である。It is a figure which shows the example of a welding phenomenon corresponding to the DC-shaped electric power waveform example and the phase of an electric power waveform.位相基準画像化システム例を示す図である。It is a figure which shows the example of a phase reference imaging system.手溶接用視覚システム例の概略図である。It is the schematic of the example of the visual system for manual welding.

溶接プロセスの画像、例えば、合成画像１４０を作成し、融合させ、表示すること、並びに、かかる画像を溶接プロセスのフィードバック及び制御のために用いることができる溶接用視覚及び制御システム例１００を、図１においてブロック図で示す。溶接用視覚及び制御システム例１００は、例えば、ガスメタルアーク（ＭＩＧ）システムのアーク溶接システム例１０２と共に図１に示されている。しかし、溶接用視覚及び制御システム１００は、他の溶接システム、例えば、手動金属アーク溶接（手棒溶接としても一般に知られている）、フラックスコアードアーク溶接、サブマージアーク溶接、ガスタングステン（ＴＩＧ）溶接、往復動ワイヤ、コールドメタルトランスファ（ＣＭＴ）、及びその他と共に同様に用いられてもよい。ＭＩＧアーク溶接システム例１０２において、金属ワイヤ電極１０６は、ワイヤ供給機構１２０によって、ワイヤ供給部１１８から溶接機ノズル１０４内側の火口（図示せず）を介して、２片の金属、例えば、金属母材１１０、１１２が共に溶接される溶接領域１０９へ供給される。溶接用電力供給部１２２は、ワイヤ電極１０６へ電気的に接続される波形１３６を生成する。金属母材１１０、１１２は、溶接用電力供給部１２２に対して電気的に接地され、そのため、電力供給部１２２によって提供される電圧は、ワイヤ電極１０６と金属母材１１０、１１２との間に電気アーク１０７を生成する。アーク１０７は、極めて導電性のあるプラズマ１０８をワイヤ電極１０６と金属母材１１０、１１２との間に生成する。電圧の連続印加は、ワイヤ電極１０６の先端と母材１１０、１１２との間でプラズマ１０８を介する大電流フローを持続させ、これにより、ワイヤ電極１０６の先端並びに母材１１０、１１２内の一部の金属において、金属を溶融させるために十分な熱を生成し、ここで、電流フローがワイヤ電極１０６と並んで集中し、それによって、母材１１０、１１２内に溶融帯１１３を生成する。ワイヤ電極１０６の先端からの溶融金属の溶滴１２１（図１Ａ）は、母材１１０、１１２の溶融帯１１３において溶融金属と融合する金属たまり１１１を形成する一方で、ガス供給１１６は、溶接箇所を汚染から保護するよう、不活性又は半不活性シールドガスフローをガス供給部１１４から溶接機ノズル１０４を介して向ける。溶接機ノズル１０４及びワイヤ電極１０６が矢印１０５の方向に移動するにつれて、金属が溶接たまり１１１及び溶融帯１１３に残され、冷却され、固化して、２つの母材１１０、１１２を共に永久接合する固体金属の溶接ビード１０３を形成する。  An example welding vision andcontrol system 100 that can create, fuse, and display images of a welding process, eg, acomposite image 140, and that can be used for feedback and control of the welding process, is shown in FIG. 1 is a block diagram. An example welding vision andcontrol system 100 is shown in FIG. 1 with an examplearc welding system 102 of a gas metal arc (MIG) system, for example. However, the welding vision andcontrol system 100 may be other welding systems such as manual metal arc welding (also commonly known as hand bar welding), flux cored arc welding, submerged arc welding, gas tungsten (TIG). It may be used similarly with welding, reciprocating wire, cold metal transfer (CMT), and others. In the example MIGarc welding system 102, themetal wire electrode 106 is supplied by thewire supply mechanism 120 from the wire supply unit 118 through a crater (not shown) inside thewelder nozzle 104, for example, two pieces of metal, for example, a metal mother. Thematerial 110, 112 is fed to theweld area 109 where it is welded together. The weldingpower supply unit 122 generates a waveform 136 that is electrically connected to thewire electrode 106. Themetal base materials 110 and 112 are electrically grounded to the weldingpower supply unit 122, so that the voltage provided by thepower supply unit 122 is between thewire electrode 106 and themetal base materials 110 and 112. Anelectric arc 107 is generated. Thearc 107 generates a highlyconductive plasma 108 between thewire electrode 106 and themetal base materials 110 and 112. The continuous application of voltage maintains a large current flow through theplasma 108 between the tip of thewire electrode 106 and thebase material 110, 112, thereby causing a portion of the tip of thewire electrode 106 as well as a portion of thebase material 110, 112. In this metal, sufficient heat is generated to melt the metal, where the current flow is concentrated alongside thewire electrode 106, thereby creating amelting zone 113 in thebase material 110, 112. Molten metal droplets 121 (FIG. 1A) from the tip of thewire electrode 106 form ametal pool 111 that fuses with the molten metal in themelting zone 113 of thebase material 110, 112, while the gas supply 116 is at the weld location. Inert or semi-inert shield gas flow is directed from thegas supply 114 through thewelder nozzle 104 to protect it from contamination. As thewelder nozzle 104 andwire electrode 106 move in the direction of arrow 105, metal is left in theweld pool 111 and meltzone 113, cooled and solidified to permanently bond the twobase materials 110, 112 together. A solidmetal weld bead 103 is formed.

ＭＩＧ溶接システム例１０２におけるアーク１０７及びプラズマ１０８を介する電流フローは、他のアーク溶接システムと同様に、高強度電磁放射、例えば、非常に明るい可視光線、紫外線、及び赤外線放射を生じる。かかる放射は強すぎるため、人は、人の眼を損傷させる、例えば、高強度紫外線放射が角膜炎症の原因となり、網膜を焼く恐れがある閃光火傷の極めて高いリスク無しでは、進行中のアーク溶接プロセスの溶接領域１０９を見ることができない。従って、溶接用保護メガネ又は暗色の紫外線フィルタリングフェースプレートを有するヘルメット（図１において図示せず）が、眼損傷を防ぐために溶接工によって着用されなければならない。かかるフェースプレートは暗すぎるため、人はそれらを通して通常の可視光線を見ることができない。従って、溶接工は、溶接していない場合に見るためにヘルメットを取らなければならないが、最も強い可視光線及び紫外線放射を人の眼にとって許容できる低い強度レベルまで減衰させるために、溶接アークが溶接を開始するよう衝突する前に、ヘルメットが所定位置にあって眼を保護していることを必ず確認する必要がある。人は、暗色保護メガネ又はフェースプレートを依然として通過する進行中の溶接プロセスの最も明るい部分及び特徴からの残りの光線、例えば、アーク１０７及びプラズマ１０８を見ることができるが、かかる強い放射を生じないか、又は反射しない冷えた溶接ビード１０３、溶融帯１１３の外側到達範囲、溶接領域１０９内の金属母材１１０、１１２の隣接部分等の他の特徴は、かかる暗色保護メガネ又はフェースプレートを通して全く見えない。従って、溶接プロセスの指導、評価、又は品質管理のためにリアルタイムで溶接領域１０９内の特徴及びプロセスの全てを見て、評価する人の能力は、限られている。同様に、従来のカメラは、溶接領域１０９内の最も明るい特徴及び溶接領域１０９内の暗い特徴の両方の映像を同時に取得するために、特に、溶接プロセスが行われている際にかかる特徴をリアルタイムで表示するために必要なダイナミックレンジを有していない。溶接領域内の暗い特徴を取得するようカメラ光センサアレイ又は写真フィルムに対して十分な光を入れる絞り設定は、また、最も明るい特徴からの多くの非常に高強度の光も入れ、そのため、かかる高強度の光が、最も明るい光に曝露されるフィルム又は光センサアレイの一部を飽和させ、それによって、溶接領域１０９の取得画像のそれらの部分を無意味で、使い物にならないものにするのに対して、最も明るい光による画像センサ又はフィルムの飽和を回避するよう十分に光を減衰させる絞り設定は、画像センサ又はフィルムが溶接領域１０９の暗部の映像を取得することを可能としない。  The current flow through thearc 107 and theplasma 108 in the exampleMIG welding system 102 produces high intensity electromagnetic radiation, such as very bright visible, ultraviolet, and infrared radiation, as with other arc welding systems. Because such radiation is too intense, one can damage a person's eyes, e.g., high-intensity ultraviolet radiation can cause corneal inflammation, and without the extremely high risk of flash burns that can burn the retina, ongoing arc welding Theweld area 109 of the process cannot be seen. Therefore, helmets with welding protective glasses or dark UV filtering faceplates (not shown in FIG. 1) must be worn by the welder to prevent eye damage. Such faceplates are too dark for humans to see normal visible light through them. Therefore, the welder must take a helmet to see when not welding, but the welding arc is welded to attenuate the strongest visible and ultraviolet radiation to a low intensity level acceptable to the human eye. It is necessary to make sure that the helmet is in place and protects the eyes before the collision starts. One can see the remaining rays from the brightest parts and features of the ongoing welding process, such asarc 107 andplasma 108, that still pass through the dark protective glasses or faceplate, but do not produce such intense radiation. Other features, such ascold weld beads 103 that do not reflect or reflect, the outer reach of themelt zone 113, the adjacent portions of themetal matrix 110, 112 within theweld zone 109, are entirely visible through such dark protective glasses or faceplate Absent. Thus, the ability of a person to see and evaluate all of the features and processes in theweld area 109 in real time for guidance, evaluation or quality control of the welding process is limited. Similarly, conventional cameras acquire images of both the brightest feature in theweld area 109 and the dark feature in theweld area 109 at the same time, particularly in real time when the welding process is taking place. Does not have the necessary dynamic range for display. Aperture settings that allow enough light for the camera light sensor array or photographic film to capture dark features in the weld area also put a lot of very high intensity light from the brightest features, and therefore take High-intensity light saturates parts of the film or photosensor array that are exposed to the brightest light, thereby making those parts of the acquired image of the weldedarea 109 useless and useless On the other hand, an aperture setting that attenuates light sufficiently to avoid saturation of the image sensor or film by the brightest light does not allow the image sensor or film to acquire an image of the dark portion of theweld area 109.

対照的に、図１に示し、以下でより詳細に説明する溶接用視覚及び制御システム例１００は、溶接プロセスが行われている際に人間によってリアルタイムで容易に見ることができ、溶接品質を監視し、最適化するよう、自動溶接機制御装置のために処理され、用いることができる、可視光線範囲で溶接領域１０９内の特徴の全てを表示する合成画像を生成する。例えば、溶接用視覚及び制御システム例１００によって生成される合成画像は、溶接プロセスを監視し、評価する目的のため、並びに、アーク溶接システム例１０２の電圧及び／又は電流、母材１１０、１１２に対する溶接ノズル１０４及び火口（図１において図示せず）の位置及び速度、消耗ワイヤ電極１０６を溶接領域１０９へ供給する速度、溶接たまり１１１の大きさ、及び、溶接システム１０２によって生成される溶接を向上させる可能性のある他のパラメータ等の溶接パラメータを調整するために見ることができる。合成画像は、パラメータを調整してもよいユーザによって見ることができるか、又は、合成画像は、溶接プロセスのパラメータを自動的に調整することができる機械視覚及びパターン認識技術により処理することができる。生成される合成画像は、また、手溶接において用いられてもよい。例えば、図１３に示し、以下でより詳細に説明するように、手溶接において用いられる溶接用ヘルメットは、溶接工が、例えば、溶接機ノズル１０４、ワイヤ電極１０６、アーク１０７、プラズマ１０８、溶接たまり１１１、溶融帯１１３、及び母材１１０、１１２の隣接部分の特徴の全てを含む、溶接領域１０９の合成画像を、溶接ビード１０３が形成されている際にリアルタイムで見ることを可能にするディスプレイを装備することができる。これらの性能は、以下でより詳細に説明するように、様々な露出により、様々な位相で、そして電力供給波形１３６の間の様々な期間に電子的に取得される個々の画像同士を融合（結合）することによって、より広い可視スペクトル又は画像の高いダイナミックレンジを生成することによって、達成される。合成画像は、また、例えば、以下でより詳細に説明するような、ワイヤ電極１０６と溶接たまり１１１との間の１つ以上の位置において消耗ワイヤ電極１０６から形成される溶融金属の溶滴１２１の、溶接領域１０９内の１つ以上の特定の特徴を切り分け、リアルタイムで表示するよう、段階的に行われてもよい。  In contrast, the example welding vision andcontrol system 100 shown in FIG. 1 and described in more detail below can be easily viewed in real time by a human as the welding process is being performed to monitor weld quality. And generate a composite image that displays all of the features in theweld region 109 in the visible light range that can be processed and used for the automatic welder controller to optimize. For example, the composite image generated by the welding vision and control system example 100 may be for purposes of monitoring and evaluating the welding process and for the voltage and / or current of the arc welding system example 102, thebase material 110, 112. Improve the position and speed of thewelding nozzle 104 and crater (not shown in FIG. 1), the speed at which theconsumable wire electrode 106 is fed to thewelding area 109, the size of theweld pool 111, and the weld produced by thewelding system 102. Can be seen to adjust welding parameters, such as other parameters that may cause The composite image can be viewed by a user who may adjust the parameters, or the composite image can be processed by machine vision and pattern recognition techniques that can automatically adjust the parameters of the welding process. . The generated composite image may also be used in manual welding. For example, as shown in FIG. 13 and described in more detail below, a welding helmet used in manual welding is welded by a welder, for example, awelder nozzle 104,wire electrode 106,arc 107,plasma 108, weld pool. 111, amelt zone 113, and a display that allows a composite image of theweld area 109, including all of the features of adjacent portions of thebase materials 110, 112, to be viewed in real time as theweld bead 103 is formed. Can be equipped. These capabilities fuse individual images acquired electronically at various exposures, at various phases, and at various time periods between power supply waveforms 136, as described in more detail below. By combining) to produce a wider visible spectrum or a higher dynamic range of the image. The composite image may also include amolten metal droplet 121 formed from theconsumable wire electrode 106 at one or more locations between thewire electrode 106 and theweld pool 111, as described in more detail below. , One or more specific features within theweld area 109 may be stepped in order to isolate and display in real time.

図１の参照を続けると、溶接用電力供給部１２２は、溶接される特定の金属、用いられる電極、所望の溶接特性、環境の影響、等に応じて、例えば、電流、電圧、インピーダンス、周波数、波形形状、等の異なる電気パラメータにより電力波形１３６を出力するよう制御されてもよい。溶接用電力供給部１２２は、それら及び他のパラメータに対して別々に制御されてもよいか、又は、図１においてリンク１２５によって示されるように、視覚システムコントローラ１２４によって制御されてもよい。プログラマブルコンピュータ、若しくは、ＦＰＧＡ又は状態機械装置等の一連の論理回路を備えていてもよい視覚システムコントローラ１２４は、また、制御リンク１２５によって示されるように、溶接用電力供給部１２２からの信号、例えば、電力供給波形１３６、又は、以下でより詳細に説明するような電力供給波形１３６におけるトリガーポイントを示す信号を受信できる。視覚システムコントローラ１２４は、また、電力供給波形１３６からの、例えば、図１のリンク１４８によって示されるような電圧又は電流検出器１２３からの入力も得ることができる。この用途に適した電圧センサ及び電流検出器は、周知であり、市販されている。視覚システムコントローラ１２４は、また、母材１１０、１１２に対して溶接機ノズル１０４及び電極１０６を移動させ、位置決めするロボットシステムアクチュエータ１４４へ制御信号を生成するロボットシステムコントローラ１４２に接続されてもよい。適切な機械的リンク機構１４６が、当業者によって理解されるように、ロボットシステムアクチュエータ１４４をアーク溶接システム１０２の溶接機ノズル１０４、電極１０６、及び他の構成部品に接続するよう提供され、そのため、かかるリンク機構１４６及びアクチュエータ１４４の更なる説明は、本発明の理解にとって必要ではない。ユーザインターフェース１２８は、所望の波形１３６を提供するよう溶接用電力供給部１２２を構成するため、及び、ロボットシステムアクチュエータ１４４への所望の入力のためにロボットシステムコントローラ１４２を構成するため、制御信号を視覚システムコントローラ１２４に入力するために視覚システムコントローラ１２４に接続される。接続は、配線接続又は無線接続であってもよい。ロボットシステムコントローラ１４２は、視覚システムコントローラ１２４とは別のユニット又はその一部であってもよい。  Continuing with reference to FIG. 1, thewelding power supply 122 may determine, for example, current, voltage, impedance, frequency, etc., depending on the particular metal being welded, the electrodes used, the desired welding characteristics, environmental effects, etc. The power waveform 136 may be controlled to be output according to different electric parameters such as a waveform shape. Thewelding power supply 122 may be controlled separately for these and other parameters, or may be controlled by the vision system controller 124, as shown by the link 125 in FIG. A vision system controller 124, which may comprise a programmable computer or a series of logic circuits, such as an FPGA or state machine device, also receives signals from thewelding power supply 122, as indicated by the control link 125, e.g. , A power supply waveform 136, or a signal indicating a trigger point in the power supply waveform 136 as described in more detail below. The vision system controller 124 can also obtain input from the power supply waveform 136, for example, from a voltage or current detector 123 as shown by thelink 148 in FIG. Voltage sensors and current detectors suitable for this application are well known and commercially available. The vision system controller 124 may also be connected to a robot system controller 142 that generates control signals to the robot system actuator 144 that moves and positions thewelder nozzle 104 andelectrode 106 relative to thebase material 110, 112. A suitable mechanical linkage 146 is provided to connect the robot system actuator 144 to thewelder nozzle 104,electrode 106, and other components of thearc welding system 102, as will be appreciated by those skilled in the art, and thus Further description of such linkages 146 and actuators 144 is not necessary for an understanding of the present invention. Theuser interface 128 provides control signals to configure thewelding power supply 122 to provide the desired waveform 136 and to configure the robot system controller 142 for the desired input to the robot system actuator 144. Connected to the vision system controller 124 for input to the vision system controller 124. The connection may be a wired connection or a wireless connection. The robot system controller 142 may be a separate unit from the visual system controller 124 or a part thereof.

デジタルカメラ１２６がアーク溶接システム１０２に隣接して位置決めされ、ここで、溶接領域１０９内の１つ以上の特徴、例えば、アーク１０７及び隣接するワイヤ電極１０６並びに溶接たまり１１１に、又は、かかる特徴の一部又は全てが位置する溶接領域１０９全体に焦点が合わせられてもよい。任意選択の第２のデジタルカメラ１２７が、また、例えば、図１３に示すカメラ１３０６手溶接システム１３００のために以下で説明するように、必要に応じて立体画像のために用いられてもよい。カメラ制御、照明、カメラ１２６による原画像生成、原画像から合成画像を作成するための処理技術、並びに、カメラ１２６に適用する他の情報及び説明も、任意選択の第２のカメラ１２７に適用する。デジタルカメラ１２６は、例えば、溶接機ノズル１０４、溶接機ワイヤ電極１０６、アーク１０７、プラズマ１０８、溶滴１２１（図１Ａ)、溶接たまり１１１、溶融帯１１３、溶接ビード１０３、及び母材１１０、１１２の隣接部分を含む、溶接領域１０９内の特徴の原画像を生成するよう制御される。一実施形態において、デジタルカメラ１２６は、図１のカメラ制御リンク１２９によって示されるように、視覚システムコントローラ１２４からの信号によって制御されて、デジタルカメラ１２６内の光センサアレイを、溶接領域１０９内のかかる特徴から生じるか、反射する光に露光する。別の実施形態において、デジタルカメラは、図１の任意選択のカメラ制御リンク１２９’によって示されるように、溶接用電力供給部１２２からの信号によって制御されて、デジタルカメラ１２６内の光センサアレイを、溶接領域１０９内のかかる特徴から生じるか、反射する光に露光する。以下でより詳細に説明するように、異なる露光が、合成画像、例えば、ディスプレイ装置１３８上でユーザインターフェース１２８において又はその他の位置で見ることができる合成画像１４０を生成するよう、コントローラ１２４において共に融合（結合）される溶接及び周辺領域の異なる原画像を生成するために用いられる。原画像は、異なる露光での溶接領域１０９内の特徴を示す。異なる露光を持つ画像を融合することによって、溶接領域１０９内の特徴の全て又は選択された１つが、高いダイナミックレンジで、合成画像を同時に表示し、見ることができるのに対して、溶接領域１０９内の特徴のうちの幾つかは、光センサアレイにとって、１つの露光からの１つの単純な画像において取得するには、明るすぎであり、その他は暗すぎである。例えば、溶接領域１０９内の異なる特徴から生じるか、反射する異なる光度のため、１つの露光は、カメラ１２６内の光センサアレイ（図示せず）がアーク１０７の原画像をかなり効果的に取得することを可能にしてもよい一方で、別の露光は、カメラ１２６内の光センサアレイがワイヤ電極１０６の溶融した先端において生じる溶融金属溶滴１２１の原画像をより効果的に取得することを可能にしてもよい。更に別の露光は、カメラ１２６の光センサアレイが溶接たまり１１１及び溶融帯１１３の原画像を取得することを可能にしてもよく、更に別の露光は、カメラ１２６の画像センサが母材１１０、１１２の隣接部分及び固化した溶接ビード１０３等の他の周辺特徴の原画像を取得することを可能にしてもよい。これらの異なる原画像を合成画像内に融合することによって、溶接領域１０９内の重要な特徴の全て又は選択された１つが、結果として生じる合成画像、例えば、図１の合成画像１４０内に表示されてもよい。カメラ１２６に取り付けられる照明１３４（任意選択のカメラ１２７上の照明１３５）は、必要に応じて、溶接部品１１０、１１２及び固化した溶接ビード１０３等の背景又は周辺特徴を照明するよう支援でき、原画像内のかかる背景特徴を取得するために必要な所要露光時間を低減させてもよい。  Adigital camera 126 is positioned adjacent to thearc welding system 102 where one or more features in theweld area 109, such as thearc 107 and theadjacent wire electrode 106 and theweld pool 111, or such features. Theentire weld area 109 where part or all is located may be focused. An optional seconddigital camera 127 may also be used for stereoscopic images as needed, for example, as described below for the camera 1306manual welding system 1300 shown in FIG. Camera control, lighting, original image generation by thecamera 126, processing techniques for creating a composite image from the original image, and other information and descriptions that apply to thecamera 126 also apply to the optionalsecond camera 127. . Thedigital camera 126 includes, for example, awelder nozzle 104, awelder wire electrode 106, anarc 107, aplasma 108, a droplet 121 (FIG. 1A), aweld pool 111, amelting zone 113, aweld bead 103, andbase materials 110 and 112. Are controlled to generate an original image of the features in the weldedarea 109, including adjacent portions thereof. In one embodiment, thedigital camera 126 is controlled by a signal from the vision system controller 124 as shown by the camera control link 129 of FIG. Exposure to light resulting from or reflecting from such features. In another embodiment, the digital camera is controlled by a signal from thewelding power supply 122, as indicated by the optional camera control link 129 'of FIG. Exposure to light that arises from or reflects from such features in theweld area 109. As described in more detail below, different exposures are fused together in the controller 124 to produce a composite image, for example, acomposite image 140 that can be viewed on the display device 138 at theuser interface 128 or at other locations. It is used to generate different original images of welds and surrounding areas (joined). The original image shows the features in theweld area 109 at different exposures. By fusing images with different exposures, all or a selected one of the features in theweld area 109 can simultaneously display and view the composite image with a high dynamic range, whereas theweld area 109 Some of the features are too bright for the photosensor array to capture in one simple image from one exposure and the other is too dark. For example, because of the different intensities resulting from or reflecting different features in theweld area 109, one exposure allows a photosensor array (not shown) in thecamera 126 to capture the original image of thearc 107 quite effectively. While another exposure may allow the photosensor array in thecamera 126 to more effectively acquire the original image of themolten metal droplet 121 that occurs at the molten tip of thewire electrode 106. It may be. Yet another exposure may allow the photosensor array of thecamera 126 to acquire original images of theweld pool 111 and themelt zone 113, and yet another exposure allows the image sensor of thecamera 126 to capture thebase material 110, It may be possible to obtain original images of other peripheral features such as 112 adjacent portions and solidifiedweld bead 103. By fusing these different original images into the composite image, all or a selected one of the important features in theweld area 109 are displayed in the resulting composite image, eg,composite image 140 of FIG. May be. Illumination 134 (illumination 135 on optional camera 127) attached tocamera 126 can assist in illuminating background or peripheral features, such as weldedparts 110, 112 and solidifiedweld bead 103, if desired. The required exposure time required to acquire such background features in the image may be reduced.

カメラ１２６の光センサアレイ（図示せず）を溶接領域１０９（図１）に露光するための露光技術例２００を、図２に示した。この露光技術例２００において、溶接領域１０９又は溶接領域１０９内の特定の特徴から生じるか、反射する光エネルギーに対するカメラ１２６の光センサアレイの一連の露光は、連続する露光期間２０４、２１０、２１６、２２２、２０６、２１２、２１８、２０８、２１４、２２０、２２６に電力供給波形上の各開始トリガーポイント２２８、２４０、２５２、２６４、２３２、２４４、２５６、２６８、２３６、２４８、２６０、２７２においてトリガされて、合成画像２５３、２５５、２５７を作成するために用いられる一連の各原画像２０４’、２１０’、２１６’、２２２’、２０６’、２１２’、２１８’、２０８’、２１４’、２２０’、２２６’を生成する。上で述べたように、かかる合成画像２５３、２５５、２５７は、図１のディスプレイ装置１３８において示される合成画像１４０等の表示のために、又は、図１のアーク溶接システム例１０２の自動制御のために処理されてもよい。図２の露光技術例２００に示す電力波形１３６（図１）の種類は、周期性電力波形２０２である。周期性電力波形例２０２は、この露光技術２００の原理を説明するために都合のよい正弦波であるが、カスタマイズされた、又は、専用の上昇、ピーク、背景、並びに、テールアウト傾斜及び振幅を有する信号を含むパルスＡＣ又はＤＣ電力波形は、多くの現代の溶接システムにおいて一般的に用いられ、この露光技術２００は、一旦、当業者がこの技術の原理を理解すれば、彼らによって理解されるように、かかるパルス電力波形により適用可能で、使用可能である。周期性ＤＣパルス電力波形へのこの技術の適用の一例は、図１２Ａ、１２Ｂ、及び１２Ｃに示されており、以下でより詳細に説明する。  Anexample exposure technique 200 for exposing the photosensor array (not shown) of thecamera 126 to the weld region 109 (FIG. 1) is shown in FIG. In thisexample exposure technique 200, a series of exposures of the photosensor array of thecamera 126 to light energy arising from or reflecting from theweld area 109 or a particular feature within theweld area 109 results insuccessive exposure periods 204, 210, 216, Trigger at eachstart trigger point 228, 240, 252, 264, 232, 244, 256, 268, 236, 248, 260, 272 on the power supply waveform to 222, 206, 212, 218, 208, 214, 220, 226 And a series oforiginal images 204 ′, 210 ′, 216 ′, 222 ′, 206 ′, 212 ′, 218 ′, 208 ′, 214 ′, 220 used to create thecomposite images 253, 255, 257. '226' is generated. As noted above, suchcomposite images 253, 255, 257 may be used for display of thecomposite image 140, etc. shown in the display device 138 of FIG. 1, or for automatic control of the examplearc welding system 102 of FIG. May be processed for. The type of power waveform 136 (FIG. 1) shown in the exposure technique example 200 of FIG. 2 is aperiodic power waveform 202. The periodic power waveform example 202 is a convenient sine wave to illustrate the principles of thisexposure technique 200, but with customized or dedicated rises, peaks, backgrounds, and tailout slopes and amplitudes. Pulsed AC or DC power waveforms containing signals having are commonly used in many modern welding systems, and thisexposure technique 200 will be understood by those skilled in the art once they understand the principles of this technique. Thus, it is applicable and usable with such a pulse power waveform. An example of application of this technique to a periodic DC pulse power waveform is shown in FIGS. 12A, 12B, and 12C and will be described in more detail below.

図２の電力波形例２０２の時間グラフにおいて、時間（ｔ）は横座標（横）軸にそって延在し、電圧（Ｖ）は垂直方向、すなわち、縦座標に示されている。この露光技術例２００において、波形２０２上の単一の閾電圧レベル（例えば、開始トリガーポイント２２８、２４０、２５２、２６４、２３２、２４４、２５６、２６８、２３６、２４８、２６０、及び２７２における電圧レベル例）は、溶接領域１０９から生じ、反射する光へのカメラ１２６（図１）の光センサアレイの露光を開始（トリガ）するために用いられ、それによって、カメラ１２６は、以下でより詳細に説明するように、溶接領域１０９の、又は、溶接領域１０９内の特定の特徴の原画像を取得する。当業者は電子カメラの技術及び実装を理解しているため、カメラ１２６（図１）の詳細な説明は、この露光トリガー技術の理解に必要ではない。最新の電子カメラは、物体（例えば、溶接領域１０９又は溶接領域１０９内の特徴）から生じるか、反射される光に露光される場合、物体からの光エネルギーを、ピクセルアレイ内の各ピクセルが、露光中に光センサアレイ内の各光センサによって吸収される光エネルギーを示す電気的性質（例えば、電圧、電流、抵抗、等）のピクセル値を有するピクセルアレイフォーマットの原画像（例えば、原画像２０４’、２１０’、２１６’、２２２’、２０６’、２１２’、２１８’、２０８’、２１４’、２２０’、２２６’）に変換する、一般に光センサアレイと呼ばれている光センサ（通常のＣＭＯＳ又はＣＣＤセンサ）の通常の二次元アレイを有していると言えば十分だろう。従って、光センサアレイは、物体から生じるか、反射される様々な光度を表すピクセル値の電子ピクセルアレイを生成する。かかるピクセルアレイは、物体の視覚映像を作成するよう処理されてもよい。物体から生じるか、反射する光への光センサアレイの露光時間は、所望の期間、開口部を物理的に開閉する機械シャッターによって、又は、シャッター同等機能、例えば、ピクセルセル充電又は電圧を対の陰影ダブルに電子的に転送することによって、制御されてもよい。他の電子シャッター同等技術が、露光、又は、光エネルギー吸収期間の露光を開始し、終了させるために用いられてもよい。従って、露光時間を開始し、終えるようシャッターを開閉することに言及することは、電子シャッター操作についても記述しているよう当業者によって理解される一方で、より一般的な説明は、露光を開始し、終了させることである。従って、シャッター又はシャッター同等操作のこれらの説明の両方は、同等であり、互換性があるように用いられてもよい。図２において、複数の露光期間例２０４、２１０、２１６、２２２、２０６、２１２、２１８、２２４、２０８、２１４、２２０、及び２２６を示す。これらの露光期間例２０４、２１０、２１６、２２２、２０６、２１２、２１８、２２４、２０８、２１４、２２０、及び２２６は、各開始トリガーポイント２２８、２４０、２５２、２６４、２３２、２４４、２５６、２６８、２３６、２４８、２６０、及び２７２、並びに、２３０、２４２、２５４、２６６、２３４、２４６、２６８、２７０、２３８、２５０、２６２、及び２７４において各終了トリガーポイントを有している。  In the time graph of power waveform example 202 in FIG. 2, time (t) extends along the abscissa (abscissa) axis and voltage (V) is shown in the vertical direction, ie, ordinate. In thisexample exposure technique 200, voltage levels at a single threshold voltage level on waveform 202 (eg, voltage levels atstart trigger points 228, 240, 252, 264, 232, 244, 256, 268, 236, 248, 260, and 272). Example) is used to initiate (trigger) exposure of the photosensor array of the camera 126 (FIG. 1) to reflected light originating from theweld area 109, whereby thecamera 126 is described in more detail below. As will be described, an original image of a particular feature in or within theweld area 109 is acquired. Since those skilled in the art understand electronic camera technology and implementation, a detailed description of the camera 126 (FIG. 1) is not necessary to understand this exposure trigger technology. Modern electronic cameras, when exposed to light that originates from or is reflected from an object (e.g., a weldedarea 109 or a feature in the welded area 109), each pixel in the pixel array An original image (eg, original image 204) in a pixel array format having pixel values of electrical properties (eg, voltage, current, resistance, etc.) indicative of light energy absorbed by each photosensor in the photosensor array during exposure. ', 210', 216 ', 222', 206 ', 212', 218 ', 208', 214 ', 220', 226 '), which is generally referred to as an optical sensor array Suffice it to say that it has a normal two-dimensional array of CMOS or CCD sensors). Thus, the photosensor array produces an electronic pixel array of pixel values that represent various light intensity originating from or reflected from the object. Such a pixel array may be processed to create a visual image of the object. The exposure time of the light sensor array to light originating from or reflecting from the object can be as long as desired by a mechanical shutter that physically opens and closes the aperture, or by shutter equivalent functions, such as pixel cell charging or voltage pairing. It may be controlled by electronic transfer to the shadow double. Other electronic shutter equivalent techniques may be used to start and end the exposure or exposure during the light energy absorption period. Thus, while referring to opening and closing the shutter to begin and end the exposure time is understood by those skilled in the art as also describing electronic shutter operation, a more general explanation is to start the exposure. And end it. Thus, both of these descriptions of shutters or shutter equivalent operations may be used interchangeably and interchangeably. In FIG. 2, a plurality of exposure period examples 204, 210, 216, 222, 206, 212, 218, 224, 208, 214, 220, and 226 are shown. Theseexample exposure periods 204, 210, 216, 222, 206, 212, 218, 224, 208, 214, 220, and 226 have respectivestart trigger points 228, 240, 252, 264, 232, 244, 256, 268. 236, 248, 260, and 272, and 230, 242, 254, 266, 234, 246, 268, 270, 238, 250, 262, and 274, respectively.

図２における露光技術例２００の一実装例において、この実装例においてカメラ１２６を制御するために用いられる視覚システムコントローラ１２４は、溶接用電力供給部１２２に（例えば、図１のリンク１２５を介して）又は電力波形センサ１２３に（例えば、図１のリンク１４８を介して）接続されて、図２の例において正弦電力波形２０２である図１の電力波形１３６において変化する電気的特性、例えば、電圧レベル又は電流レベル）を監視する。所定の電圧又は電流閾値が電力波形２０２において検出される場合、視覚システムコントローラ１２４は、開始制御信号をカメラ１２６に対して生成して、溶接領域１０９から、又は、溶接領域１０９内の特徴から生じるか、反射する光エネルギーへのカメラ１２６内の光センサアレイの露光を開始する。実際には、閾値は電力波形２０２内の電圧閾値、電流閾値、インピーダンス閾値、又は他のパラメータであってもよいが、便宜上及び簡略化のために、図２のグラフは、それが別の電気的特性であってもよいという了解の下で、電力波形２０２のための電圧対時間のグラフである。従って、電圧が電力波形２０２上で増加するにつれて、それは、開始トリガーポイント２２８、２４０、２５２、２６４、２３２、２４４、２５６、２６８、２３６、２４８、２６０及び２７２において示す開始閾電圧レベル等の開始閾電圧レベルに到達する。視覚システムコントローラは、これらの開始閾電圧値が到達し、電圧が電力波形２０２上で増加する場合を検出し、それに応じて、上で述べたように、開始制御信号をカメラ１２６に対して生成する。開始閾電圧レベルの検出は、検出された電圧が視覚システムコントローラ１２４において所定の開始閾電圧値と比較されて、電力波形２０２電圧が増加している場合に開始制御信号の生成をトリガする単純な比較回路を用いて達成されてもよい。開始閾電圧レベルは、開始閾電圧がユーザによって容易に調整できるか、又は、それがその他の簡便な方法で提供できるように、ユーザインターフェース１２８を介して視覚システムコントローラ１２４において容易に設定されてもよい。  In one implementation of the exposure technique example 200 in FIG. 2, the vision system controller 124 used in this implementation to control thecamera 126 is connected to the welding power supply 122 (eg, via the link 125 in FIG. 1). ) Or an electrical characteristic that is connected to the power waveform sensor 123 (eg, via thelink 148 of FIG. 1) and varies in the power waveform 136 of FIG. Level or current level). If a predetermined voltage or current threshold is detected in thepower waveform 202, the vision system controller 124 generates a start control signal to thecamera 126 resulting from theweld area 109 or from a feature within theweld area 109. Alternatively, the exposure of the photosensor array in thecamera 126 to the reflected light energy begins. In practice, the threshold may be a voltage threshold, current threshold, impedance threshold, or other parameter in thepower waveform 202, but for convenience and simplicity, the graph of FIG. FIG. 6 is a voltage versus time graph forpower waveform 202 with the understanding that it may be a dynamic characteristic. Thus, as the voltage increases on thepower waveform 202, it starts at the start threshold voltage levels, such as shown at thestart trigger points 228, 240, 252, 264, 232, 244, 256, 268, 236, 248, 260 and 272. The threshold voltage level is reached. The vision system controller detects when these start threshold voltage values are reached and the voltage increases on thepower waveform 202 and generates a start control signal to thecamera 126 accordingly, as described above. To do. Detection of the start threshold voltage level is a simple one that triggers generation of a start control signal when the detected voltage is compared with a predetermined start threshold voltage value in the vision system controller 124 to increase thepower waveform 202 voltage. It may be achieved using a comparison circuit. The starting threshold voltage level may be easily set in the visual system controller 124 via theuser interface 128 so that the starting threshold voltage can be easily adjusted by the user or provided in other convenient ways. Good.

図２における露光期間２０４、２１０、２１６、２２２、２０６、２１２、２１８、２２４、２０８、２１４、２２０、２２６は、カメラ１２６内の光センサアレイが、以下でより詳細に説明するように、溶接プロセスによって又は供給された照明から生成される、溶接領域１０９から生じるか、反射する光エネルギーに露光される間の露光期間を示している。上で説明したように、カメラ１２６は、各露光期間２０４、２１０、２１６、２２２、２０６、２１２、２１８、２２４、２０８、２１４、２２０、及び２２６中にカメラ１２６の光センサアレイによって吸収された光エネルギーから各原画像２０４’、２１０’、２１６’、２２２’、２０６’、２１２’、２１８’、２０８’、２１４’、２２０’、２２６’を生成する。４つの原画像２０４’、２１０’、２１６’、２２２’の第１のセットは、以下でより詳細に説明する方法で共に融合されて、第１の合成画像２５３を生成する。同様に、４つの原画像２０６’、２１２’、２１８’、２２４’の第２のセットは、同じ方法で共に融合されて、第２の合成画像２５５を生成する。４つの原画像２０８’、２１４’、２２０’、２２６’の第３のセットは、同じ方法で共に融合されて、第３の合成画像２５７を生成する。無論、図２においてドットＮによって記号で表される追加の合成画像は、アーク溶接システム１０２が図１の矢印１０５によって示されるように母材１１０、１１２に沿って移動するにつれて、溶接プロセスの映像が合成画像２５３、２５５、２５７、・・・、Ｎのストリームから作成できるように、溶接プロセスが続くにつれて、図２においてドットｎ’によって記号で表される追加の原画像から視覚システムコントローラ１２４（図１）によって生成される。  Theexposure periods 204, 210, 216, 222, 206, 212, 218, 224, 208, 214, 220, 226 in FIG. 2 are welded as the photosensor array in thecamera 126 will be described in more detail below. Fig. 4 shows an exposure period during exposure to light energy arising from or reflecting from theweld area 109, generated by the process or from the supplied illumination. As described above, thecamera 126 was absorbed by the photosensor array of thecamera 126 during eachexposure period 204, 210, 216, 222, 206, 212, 218, 224, 208, 214, 220, and 226. Eachoriginal image 204 ′, 210 ′, 216 ′, 222 ′, 206 ′, 212 ′, 218 ′, 208 ′, 214 ′, 220 ′, 226 ′ is generated from the light energy. A first set of fouroriginal images 204 ′, 210 ′, 216 ′, 222 ′ are fused together in a manner described in more detail below to produce a firstcomposite image 253. Similarly, a second set of fouroriginal images 206 ′, 212 ′, 218 ′, 224 ′ are fused together in the same manner to produce a secondcomposite image 255. A third set of four original images 208 ′, 214 ′, 220 ′, 226 ′ is fused together in the same way to produce a thirdcomposite image 257. Of course, additional composite images, symbolized by dots N in FIG. 2, are images of the welding process as thearc welding system 102 moves along thepreforms 110, 112 as shown by arrows 105 in FIG. As the welding process continues, the visual system controller 124 (from the additional original image symbolized by the dot n ′ in FIG. 2 as the welding process continues so that can be created from the stream ofcomposite images 253, 255, 257,. 1).

図２に示すように、第１の合成画像２５３を作成することに用いられる第１の原画像２０４’のための第１の露光期間２０４は、第２の合成画像２５５を作成することに用いられる第１の原画像２０６’のための第１の露光期間２０６と同じ期間であり、電力波形２０２の同じ位相の間に発生する。同様に、第３の合成画像２５７を作成することに用いられる第１の原画像２０８’のための第１の露光期間２０８は、第１及び第２の露光期間２０４、２０６の両方と同じ期間であり、電力波形２０２の同じ位相の間に発生する。同じように、各合成画像２５３、２５５、２５７を作成することに用いられる原画像２１０’、２１２’、２１４’のための第２の露光期間２１０、２１２、２１４は、また、互いと同じであり、互いと電力波形２０２の同じ位相の間に発生する。同様に、各合成画像２５３、２５５、２５７を作成することに用いられる原画像２１６’、２１８’、２２０’のための第３の露光期間２１６、２１８、２２０は、また、互いと同じであり、互いと電力波形２０２の同じ位相の間に発生する。同様に、各合成画像２５３、２５５、２５７を作成することに用いられる原画像２２２’、２２４’、２２６’のための第４の露光期間２２２、２２４、２２６は、また、互いと同じであり、互いと電力波形２０２の同じ位相の間に発生する。  As shown in FIG. 2, thefirst exposure period 204 for the firstoriginal image 204 ′ used to create the firstcomposite image 253 is used to create the secondcomposite image 255. Is the same period as thefirst exposure period 206 for the firstoriginal image 206 ′ that occurs and occurs during the same phase of thepower waveform 202. Similarly, the first exposure period 208 for the first original image 208 ′ used to create the thirdcomposite image 257 is the same period as both the first andsecond exposure periods 204, 206. And occur during the same phase of thepower waveform 202. Similarly, thesecond exposure periods 210, 212, 214 for theoriginal images 210 ′, 212 ′, 214 ′ used to create eachcomposite image 253, 255, 257 are also the same as each other. Yes, and occur between the same phase of each other and thepower waveform 202. Similarly, thethird exposure periods 216, 218, 220 for theoriginal images 216 ′, 218 ′, 220 ′ used to create eachcomposite image 253, 255, 257 are also the same as each other. Occur between each other and the same phase of thepower waveform 202. Similarly, thefourth exposure periods 222, 224, 226 for theoriginal images 222 ′, 224 ′, 226 ′ used to create eachcomposite image 253, 255, 257 are also the same as each other. Occur between each other and the same phase of thepower waveform 202.

図２に示すように、各原画像２０４’、２１０’、２１６’、２２２’のための露光期間２０４、２１０、２１６、２２２のそれぞれは、電力波形１０２上の同じ閾電圧レベルにおいて、すなわち、各開始トリガーポイント２２８、２４０、２５２、２６４において開始されるが、それらは、溶接プロセスのより長い期間を通じて延在する電力波形２０２のより大きい位相を通して耐える。従って、第１の合成画像２５３を作成することに用いられるそれぞれ個別の原画像２０４’、２１０’、２１６’、２２２’は、溶接領域１０９（図１）への、又は、溶接領域１０９内の特徴への次第に長くなる露光期間２０４、２１０、２１６、２２２を有する。同じ原理が、第２の合成画像２５５を作成することに用いられる原画像２０６’、２１２’、２１８’、２２４’のための露光期間２０６、２１２、２１８、２２４に、そして、第３の合成画像２５７を作成することに用いられる原画像２０８’、２１４’、２２０’、２２６’のための露光期間２０８、２１４、２２０、２２６に適用される。  As shown in FIG. 2, each of theexposure periods 204, 210, 216, 222 for eachoriginal image 204 ′, 210 ′, 216 ′, 222 ′ is at the same threshold voltage level on thepower waveform 102, ie, Starting at eachstart trigger point 228, 240, 252, 264, they withstand through a larger phase of thepower waveform 202 that extends through a longer period of the welding process. Accordingly, each individualoriginal image 204 ′, 210 ′, 216 ′, 222 ′ used to create the firstcomposite image 253 is either to the welding area 109 (FIG. 1) or within thewelding area 109. It has progressivelylonger exposure periods 204, 210, 216, 222 to the feature. The same principle applies to theexposure periods 206, 212, 218, 224 for theoriginal images 206 ′, 212 ′, 218 ′, 224 ′ used to create the secondcomposite image 255, and to the third composite. Applied to theexposure periods 208, 214, 220, 226 for the original images 208 ′, 214 ′, 220 ′, 226 ′ used to create theimage 257.

上で説明したように、図２に示す露光技術例２００において、露光期間２０４、２１０、２１６、２２２、２０６、２１２、２１８、２２４、２０８、２１４、２２０、２２６の全てが、電力波形２０２の電圧が上昇するにつれて、所定の開始電圧閾レベルの検出時に開始される。所定の開始電圧閾レベルまで上昇する電力波形２０２における電圧の検出時に、視覚システムコントローラ１２４は、カメラ１２６が、上で説明したような、溶接領域１０９（図１）内の特徴から生じるか、反射する光エネルギーへの光センサアレイの露光を開始することに応じて、開始トリガー信号をカメラ１２６に出力する。従って、第１の開始トリガーポイント２２８におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第１の露光期間２０４を開始させる。同様に、第２の開始トリガーポイント２４０におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第２の露光期間２１０を開始させ、第３の開始トリガーポイント２５２におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第３の露光期間２１６を開始させ、第４の開始トリガーポイント２６４におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第４の露光期間２２２を開始させ、第５の開始トリガーポイント２３２におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第５の露光期間２０６を開始させ、第６の開始トリガーポイント２４４におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第６の露光期間２１２を開始させ、第７の開始トリガーポイント２５６におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第７の露光期間２１８を開始させ、第８の開始トリガーポイント２６８におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第８の露光期間２２４を開始させ、第９の開始トリガーポイント２３６におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第９の露光期間２０８を開始させ、第１０の開始トリガーポイント２４８におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第１０の露光期間２１４を開始させ、第１１の開始トリガーポイント２６０におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第１１の露光期間２２０を開始させ、そして、第１２の開始トリガーポイント２７２におけるかかる開始電圧レベルの検出は、視覚システムコントローラ１２４に開始制御信号をカメラ１２６に対して出力させて、第１２の露光期間２２６を開始させる。このプロセスは、ユーザが溶接の画像を継続したいと望む限り継続する。  As described above, in the exposure technique example 200 shown in FIG. 2, all of theexposure periods 204, 210, 216, 222, 206, 212, 218, 224, 208, 214, 220, 226 have thepower waveform 202. As the voltage increases, it starts when a predetermined starting voltage threshold level is detected. Upon detection of a voltage in thepower waveform 202 that rises to a predetermined starting voltage threshold level, the vision system controller 124 causes thecamera 126 to reflect or reflect from features within the weld area 109 (FIG. 1), as described above. A start trigger signal is output to thecamera 126 in response to the start of exposure of the photosensor array to the light energy to be emitted. Accordingly, detection of such a start voltage level at the first start trigger point 228 causes the visual system controller 124 to output a start control signal to thecamera 126 to start thefirst exposure period 204. Similarly, detection of such a start voltage level at the secondstart trigger point 240 causes the visual system controller 124 to output a start control signal to thecamera 126 to start thesecond exposure period 210 and the third Detection of such a start voltage level at thestart trigger point 252 causes the visual system controller 124 to output a start control signal to thecamera 126 to start thethird exposure period 216 and to perform such a start at the fourthstart trigger point 264. Detection of the start voltage level causes the visual system controller 124 to output a start control signal to thecamera 126 to start thefourth exposure period 222, and detection of such start voltage level at the fifthstart trigger point 232 is The visual system controller 124 receives the start control signal. Thefirst exposure period 206 is started, and detection of such a start voltage level at the sixthstart trigger point 244 outputs a start control signal to the vision system controller 124 to thecamera 126. Thesixth exposure period 212 is started, and detection of such a start voltage level at the seventhstart trigger point 256 causes the visual system controller 124 to output a start control signal to thecamera 126 and Starting theexposure period 218 and detecting such a start voltage level at the eighthstart trigger point 268 causes the visual system controller 124 to output a start control signal to thecamera 126 to start theeighth exposure period 224. , Detection of such a start voltage level at the ninthstart trigger point 236. Causes the visual system controller 124 to output a start control signal to thecamera 126 to start the ninth exposure period 208, and detection of such a start voltage level at the tenthstart trigger point 248 is performed by the visual system controller 124. The start control signal is output to thecamera 126 to start the tenth exposure period 214, and detection of such a start voltage level at the eleventhstart trigger point 260 causes the vision system controller 124 to send the start control signal to thecamera 126. 126 to start theeleventh exposure period 220 and detection of such a start voltage level at the twelfthstart trigger point 272 causes the vision system controller 124 to send a start control signal to thecamera 126. To output thetwelfth exposure period 226. Let it begin. This process continues as long as the user wishes to continue the welding image.

視覚システムコントローラ１２４は、また、第１乃至第１２の露光期間２０４、２１０、２１６、２２２、２０６、２１２、２１８、２２４、２０８、２１４、２２０、２２６、及びそれ以降のそれぞれの持続時間も制御する。従って、視覚システムコントローラ１２４は、各露光開始制御信号後のある期間に露光終了制御信号を生成し、カメラ１２６（図１）に送信し、それに応じて、カメラ１２６は、溶接領域１０９から生じるか、反射する光への光センサアレイの露光を終了させる。図２に示すように、視覚システムコントローラ１２６は、各露光期間２０４、２１０、２１６、２２２、２０６、２１２、２１８、２２４、２０８、２１４、２２０、２２６を終了させるよう、電力波形２０２上の終了トリガーポイント２３０、２４２、２５４、２６６、２３４、２４６、２５８、２７０、２３８、２５０、２６２、２７４に対応するそれぞれの時間に終了制御信号をカメラ１２６に対して生成し、送信するようプログラミングされる。視覚システムコントローラ１２４は、（ｉ）各露光開始制御信号が、それぞれの開始トリガーポイント２２８、２４０、２５２、２６４、２３２、２４４、２５６、２６８、２３６、２４８、２６０、及び２７２においてトリガされた後の経過時間を計り、それぞれのかかる開始制御信号がトリガされた後の所定期間に、露光終了制御信号を生成すること、又は（ｉｉ）電力波形１０２上の電圧が所定の終了電圧閾値と一致する場合を判断し、かかる一致を検出した時、露光終了制御信号を生成することのどちらか一方によって、露光終了制御信号をカメラ１２６に対して生成し、送信するようプログラミングされてもよい。かかる所定期間の、及び、露光終了制御信号を生成するよう視覚システムコントローラ１２４をトリガするためのかかる所定の終了電圧閾値の例は、図２の電力波形２０２上の終了トリガーポイント２３０、２４２、２５４、２６６、２３４、２４６、２５８、２７０、２３８、２５０、２６２、２７４に対応する。再度、上で説明し、図２に示すように、第１の合成画像２５３を作成するために用いられる原画像２０４’、２１０’、２１６’、２２２’は、異なっており、例えば、次第に長くなり、それによって、光センサアレイ内のセンサが、溶接領域１０９（図１）の最も明るい特徴、例えば、アーク１０７及びプラズマ１０８から生じる最も強い光エネルギーによって第１の原画像２０４’のための最短露光期間２０４において飽和する可能性を最小限にする一方で、光センサアレイ内のセンサが、原画像２２２’の最長露光期間２２２の間に溶接領域１０９内の暗い特徴、例えば、溶接ビード１０３及び母材１１０、１１２からの一部の光エネルギーを捕捉する可能性を最大限にし、また、中間の露光期間２１０、２１６により作成された第２及び第３の原画像２１０’及び２１６’が、中強度の光エネルギーを生じるか、反射する特徴、例えば、電極１０６、溶接たまり１１１、溶融帯１１３の良好な画像を捕捉する可能性も高める。同様に、第２の合成画像２５５を作成するために用いられる原画像２０６’、２１２’、２１８’、２２４’及び第３の合成画像２５７を作成するために用いられる原画像２０８’、２１４’、２２０’、２２６’は、同じ理由から異なっており、例えば、次第に長くなる。また、図２に示す露光及び融合技術例は、４つの原画像を融合させて各合成画像２５３、２５５、２５７を作成する一方で、４つよりも多い、又は、少ない原画像が融合されて合成画像を作成してもよい。カメラ１２６の開口及び感度は、また、溶接領域１０９の異なる特徴又は部分が各露光期間の間に使用可能な方法で捕捉できる可能性を高めるよう、露光のうちの幾つか又は全てに対して変化させてもよい。また、任意選択の動的減光プレート１３０（図１）が、以下でより詳細に説明するように、溶接領域１０９の異なる特徴又は部分が、合成画像を作成するために用いられる原画像のうちの１つ以上のための光センサアレイによって効果的に捕捉できる可能性を高めるよう、カメラ１２６に到達する溶接領域１０９からの光エネルギーの強度を減衰し、変化させるために用いられてもよい。  The vision system controller 124 also controls the respective durations of the first throughtwelfth exposure periods 204, 210, 216, 222, 206, 212, 218, 224, 208, 214, 220, 226 and beyond. To do. Accordingly, the vision system controller 124 generates an exposure end control signal in a period after each exposure start control signal and transmits it to the camera 126 (FIG. 1), and in response, whether thecamera 126 originates from theweld area 109 The exposure of the photosensor array to the reflected light is terminated. As shown in FIG. 2, thevision system controller 126 terminates on thepower waveform 202 to terminate eachexposure period 204, 210, 216, 222, 206, 212, 218, 224, 208, 214, 220, 226. Programmed to generate and send an end control signal tocamera 126 at respective times corresponding to triggerpoints 230, 242, 254, 266, 234, 246, 258, 270, 238, 250, 262, 274 . The vision system controller 124 (i) after each exposure start control signal is triggered at the respectivestart trigger points 228, 240, 252, 264, 232, 244, 256, 268, 236, 248, 260, and 272. And an exposure end control signal is generated in a predetermined period after each such start control signal is triggered, or (ii) the voltage on thepower waveform 102 matches a predetermined end voltage threshold. It may be programmed to generate and send an exposure end control signal to thecamera 126 by either determining the case and detecting such a match, either by generating an exposure end control signal. Examples of such predetermined end voltage thresholds for triggering the visual system controller 124 to generate such an end-of-exposure control signal areend trigger points 230, 242, 254 on thepower waveform 202 of FIG. 266, 234, 246, 258, 270, 238, 250, 262, 274. Again, as described above and shown in FIG. 2, theoriginal images 204 ′, 210 ′, 216 ′, 222 ′ used to create the firstcomposite image 253 are different, for example, progressively longer. So that the sensors in the photosensor array are the shortest for the firstoriginal image 204 ′ due to the brightest features of the weld area 109 (FIG. 1), eg, the strongest light energy arising from thearc 107 and theplasma 108. While minimizing the possibility of saturating during theexposure period 204, the sensors in the photosensor array may have dark features in theweld area 109 during thelongest exposure period 222 of theoriginal image 222 ′, such as theweld bead 103 and Maximize the possibility of capturing some light energy from thebase material 110, 112, and also the second created by theintermediate exposure periods 210, 216. Beauty third original image 210 'and 216' are, or cause the medium intensity light energy, characterized reflected, for example, theelectrode 106, theweld puddle 111 also increases the possibility of capturing a good image of themelting zone 113. Similarly,original images 206 ′, 212 ′, 218 ′, 224 ′ used to create the secondcomposite image 255 and original images 208 ′, 214 ′ used to create the thirdcomposite image 257. , 220 ′, 226 ′ are different for the same reason, e.g. In the example of the exposure and fusion technique shown in FIG. 2, the four original images are fused to create thecomposite images 253, 255, and 257, while more or less than four original images are fused. A composite image may be created. The aperture and sensitivity of thecamera 126 also varies for some or all of the exposures to increase the likelihood that different features or portions of theweld area 109 can be captured in a usable manner during each exposure period. You may let them. In addition, an optional dynamic dimming plate 130 (FIG. 1) may cause different features or portions of theweld region 109 to be included in the original image used to create the composite image, as will be described in more detail below. It may be used to attenuate and change the intensity of light energy from theweld area 109 that reaches thecamera 126 to increase the likelihood that it can be effectively captured by one or more photosensor arrays.

原画像２０４’、２１０’、２１６’、２２２’は、カメラ１２６によって取得され、視覚システムコントローラ１２４に供給され、次いで、視覚システムコントローラ１２４によって融合されて第１の合成画像２５３を作成する。同様に、カメラ１２６によって取得された原画像２０６’、２１２’、２１８’、２２４’は、視覚システムコントローラ１２４に供給され、融合されて第２の合成画像２５５を作成し、原画像２０８’、２１４’、２２０’、２２６’は融合されて第３の合成画像２５７を作成する。合成画像２５３、２５５、２５７は、以下で説明し、図６のフロー図に示す技術に従って、視覚システムコントローラ１２４によって作成される。合成画像２５３、２５５、２５７は、次いで、ユーザインターフェース１２８上に表示され、後の表示及び分析のために、そして、アーク溶接システム１０２のパラメータを変化させて溶接の他の特性の品質を向上させるために、コントローラ１２４に含まれるストレージ又はどこか他の場所に格納されてもよい。一連の合成画像２５３、２５５、２５７、・・・、Ｎは、また、リアルタイムでの、又は、格納及び後の観察のために溶接プロセスの動画を提供するよう間断なく表示されてもよい。合成画像２５３、２５５、２５７は、また、以下でより詳細に説明するようなアーク溶接システム１０２の自動リアルタイム制御のために機械視覚及びパターン認識技術と共に用いられてもよい。  Theoriginal images 204 ′, 210 ′, 216 ′, 222 ′ are acquired by thecamera 126, supplied to the visual system controller 124, and then fused by the visual system controller 124 to create a firstcomposite image 253. Similarly, theoriginal images 206 ′, 212 ′, 218 ′, 224 ′ acquired by thecamera 126 are supplied to the vision system controller 124 and fused to create a secondcomposite image 255, and the original images 208 ′, 214 ′, 220 ′, 226 ′ are fused to create a thirdcomposite image 257. Thecomposite images 253, 255, 257 are created by the visual system controller 124 according to the technique described below and shown in the flow diagram of FIG. Thecomposite images 253, 255, 257 are then displayed on theuser interface 128 to change the parameters of thearc welding system 102 to improve the quality of other characteristics of the weld for later display and analysis. For this purpose, it may be stored in a storage included in the controller 124 or elsewhere. A series ofcomposite images 253, 255, 257,..., N may also be displayed without interruption to provide animation of the welding process in real time or for storage and subsequent viewing.Composite images 253, 255, 257 may also be used with machine vision and pattern recognition techniques for automatic real-time control ofarc welding system 102 as described in more detail below.

別の順次露光技術例３００を、電力供給波形３０２上の露光開始閾値３０３の検出から遅延する開始トリガーポイント３５２、３６４、３７６、３８８、３５６、３６８、３８０、３９２、３６０、３７２、３８４、３９５と共に、図３において示す。便宜上及び比較のために、図３に示す電力供給波形例３０２は、図２の正弦波形２０２と同様の正弦波形であるが、カスタマイズされた又は専用の上昇、ピーク、背景、並びに、テールアウト傾斜及び振幅と共に形状を成す波形を含むパルスＡＣ又はＤＣ電力波形等の他の種類の波形も、また、この技術３００と共に用いられてもよい。図３の実施例における露光開始閾値３０３は電力波形３０２上の電圧値であるが、それは、電力波形３０２内の、又は、それと関連する電流値、インピーダンス値、又は他の電気的特性であってもよい。露光開始閾電圧３０３は、電力波形３０３上の電圧閾点３２８、３３０、３３２、３３４、３３６、３３８、３４０、３４２、３４４、３４６、３４８、３５０において視覚システムコントローラ１２４によって検出される。しかし、開始閾電圧３０３の検出時に直ちに露光開始制御信号をトリガする代わりに、視覚システムコントローラ１２４は、電力波形３０２上のより遅い位相において、例えば、電力波形上の開始トリガーポイント３５２、３６４、３７６、３８８、３５６、３６８、３８０、３９２、３６０、３７２、３８４、３９５において、露光開始制御信号を生成するよう遅延を生じる。これらの露光開始制御信号のそれぞれは、カメラ１２６に転送されて、各原画像３０４’、３１０’、３１６’、３２２’、３０６’、３１２’、３１８’、３２４’、３０８’、３１４’、３２０’、３２６’を生成するよう、各露光期間３０４、３１０、３１６、３２２、３０６、３１２、３１８、３２４、３０８、３１４、３２０、３２６の溶接領域１０９（図１）から生じるか、反射する光エネルギーに対するカメラ１２６内の光センサアレイの露光を開始する。視覚システムコントローラ１２４は、また、原画像３０４’、３１０’、３１６’、３２２’、３０６’、３１２’、３１８’、３２４’、３０８’、３１４’、３２０’、３２６’のための各露光期間３０４、３１０、３１６、３２２、３０６、３１２、３１８、３２４、３０８、３１４、３２０、３２６を終了させるよう、カメラ１２６に対して露光終了制御信号を生成し、送信する。図２の実施例に対して上で説明したように、４つの原画像３０４’、３１０’、３１６’、３２２’が共に融合されて第１の合成画像３９７を作成し、次の４つの原画像３０６’、３１２’、３１８’、３２４’が共に融合されて第２の合成画像３９８を作成し、そして、次の４つの原画像３０８’、３１４’、３２０’、３２６’が共に融合されて第３の合成画像３９９を作成する。  Starttrigger point 352, 364, 376, 388, 356, 368, 380, 392, 360, 372, 384, 395 that delays another examplesequential exposure technique 300 from detection of theexposure start threshold 303 on thepower supply waveform 302 In addition, it is shown in FIG. For convenience and comparison, the examplepower supply waveform 302 shown in FIG. 3 is a sine waveform similar to thesine waveform 202 of FIG. 2, but with customized or dedicated rises, peaks, backgrounds, and tailout slopes. And other types of waveforms, such as pulsed AC or DC power waveforms, including waveforms that shape with amplitude, may also be used with thistechnique 300. Theexposure start threshold 303 in the embodiment of FIG. 3 is a voltage value on thepower waveform 302, which is a current value, impedance value, or other electrical characteristic in or associated with thepower waveform 302. Also good. The exposure startthreshold voltage 303 is detected by the visual system controller 124 at voltage threshold points 328, 330, 332, 334, 336, 338, 340, 342, 344, 346, 348, 350 on thepower waveform 303. However, instead of triggering the exposure start control signal immediately upon detection of thestart threshold voltage 303, the vision system controller 124 may, for example, starttrigger points 352, 364, 376 on the power waveform at a later phase on thepower waveform 302. 388, 356, 368, 380, 392, 360, 372, 384, and 395 are delayed to generate an exposure start control signal. Each of these exposure start control signals is transferred to thecamera 126, and eachoriginal image 304 ′, 310 ′, 316 ′, 322 ′, 306 ′, 312 ′, 318 ′, 324 ′, 308 ′, 314 ′, Each of theexposure periods 304, 310, 316, 322, 306, 312, 318, 324, 308, 314, 320, 326 originate from or reflect to produce 320 ', 326'. Begin exposure of the photosensor array in thecamera 126 to light energy. The vision system controller 124 also provides each exposure for theoriginal images 304 ′, 310 ′, 316 ′, 322 ′, 306 ′, 312 ′, 318 ′, 324 ′, 308 ′, 314 ′, 320 ′, 326 ′. An exposure end control signal is generated and transmitted to thecamera 126 so as to end theperiods 304, 310, 316, 322, 306, 312, 318, 324, 308, 314, 320, 326. As described above for the embodiment of FIG. 2, the fouroriginal images 304 ′, 310 ′, 316 ′, 322 ′ are fused together to create a firstcomposite image 397, and the next fouroriginal images Images 306 ′, 312 ′, 318 ′, 324 ′ are fused together to create a secondcomposite image 398, and the next fouroriginal images 308 ′, 314 ′, 320 ′, 326 ′ are fused together. Thus, a thirdcomposite image 399 is created.

図２の実施例に対して上でも説明したように、視覚システムコントローラ１２４は、第１の合成画像３９７を作成するために用いられる原画像３０４’、３１０’、３１６’、３２２’のための次第に長くなる露光期間３０４、３１０、３１６、３２２を生成する。同様に、視覚システムコントローラ１２４は、第２の合成画像３９８を作成するために用いられる原画像３０６’、３１２’、３１８’、３２４’のための次第に長くなる露光期間３０６、３１２、３１８、３２４を生成し、それは、第３の合成画像３９９を作成するために用いられる次第に長くなる露光期間３０８、３１４、３２０、３２６を生成する。各合成画像３９７、３９８、３９９を作成するために用いられる第１の原画像３０４’、３０６’、３０８’のための各露光期間３０４、３０６、３０８は、互いと同じ持続期間を有し、電力波形３０２の同じ位相において発生する。同様に、各合成画像３９７、３９８、３９９を作成するために用いられる第２の原画像３１０’、３１２’、３１４’のための各露光期間３０４、３０６、３０８は、互いと同じ持続期間を有し、電力波形３０２の同じ位相において発生し、各合成画像３９７、３９８、３９９を作成するために用いられる第３の原画像３１６’、３１８’、３２０’のための各露光期間３０４、３０６、３０８は、互いと同じ持続期間を有し、電力波形３０２の同じ位相において発生し、そして、各合成画像３９７、３９８、３９９を作成するために用いられる第３の原画像３０４’、３０６’、３０８’のための各露光期間３２２、３２４、３２６は、互いと同じ持続期間を有し、電力波形３０２の同じ位相において発生する。従って、第１の合成画像３９７を作成するために用いられる４つの原画像３０４’、３１０’、３１６’、３２２’のための露光期間３０４、３１０、３１６、３２２は、電力波形３０２上の各終了ポイント３５４、３６６、３７８、３９０において終了し、第２の合成画像３９８を作成するために用いられる４つの原画像３０６’、３１２’、３１８’、３２４’のための露光期間３０６、３１２、３１８、３２４は、電力波形３０２上の各終了ポイント３５８、３７０、３８２、３９４において終了し、そして、第３の合成画像３９９を作成するために用いられる４つの原画像３０８’、３１４’、３２０’、３２６’のための露光期間３０８、３１４、３２０、３２６は、電力波形３０２上の各終了ポイント３６２、３７４、３８６、３９６において終了する。  As described above for the embodiment of FIG. 2, the vision system controller 124 is responsible for theoriginal images 304 ′, 310 ′, 316 ′, 322 ′ used to create the firstcomposite image 397. Increasingexposure periods 304, 310, 316, and 322 are generated. Similarly, the vision system controller 124 may use progressivelylonger exposure periods 306, 312, 318, 324 for theoriginal images 306 ′, 312 ′, 318 ′, 324 ′ that are used to create the secondcomposite image 398. Which generates progressivelylonger exposure periods 308, 314, 320, 326 that are used to create a thirdcomposite image 399. Eachexposure period 304, 306, 308 for the firstoriginal image 304 ′, 306 ′, 308 ′ used to create eachcomposite image 397, 398, 399 has the same duration as each other, Occurs in the same phase of thepower waveform 302. Similarly, eachexposure period 304, 306, 308 for the secondoriginal image 310 ′, 312 ′, 314 ′ used to create eachcomposite image 397, 398, 399 has the same duration as each other. Eachexposure period 304, 306 for a third original image 316 ', 318', 320 'that occurs in the same phase of thepower waveform 302 and is used to create eachcomposite image 397, 398, 399. , 308 have the same duration as each other, occur in the same phase of thepower waveform 302, and are used to create eachcomposite image 397, 398, 399, a thirdoriginal image 304 ′, 306 ′. , 308 ′, eachexposure period 322, 324, 326 has the same duration as each other and occurs in the same phase of thepower waveform 302. Thus, theexposure periods 304, 310, 316, 322 for the fouroriginal images 304 ′, 310 ′, 316 ′, 322 ′ used to create the firstcomposite image 397 areExposure periods 306, 312 for the fouroriginal images 306 ′, 312 ′, 318 ′, 324 ′ that end at theend points 354, 366, 378, 390 and are used to create the secondcomposite image 398, 318, 324 terminate at eachend point 358, 370, 382, 394 on thepower waveform 302, and the fouroriginal images 308 ′, 314 ′, 320 used to create a thirdcomposite image 399. Theexposure periods 308, 314, 320, 326 for “326” are theend points 362, 374, 386, on thepower waveform 302. It ends at 96.

その結果、図２の実施例における露光期間２０４、２１０、２１６、２２２、２０６、２１２、２１８、２２４、２０８、２１４、２２０、２２６を図３の実施例における露光期間３０４、３１０、３１６、３２２、３０６、３１２、３１８、３２４、３０８、３１４、３２０、３２６と比較して、図３の第１、第２、及び第３の合成画像３９７、３９８、３９９を作成するために用いられる原画像３０４’、３１０’、３１６’、３２２’、３０６’、３１２’、３１８’、３２４’、３０８’、３１４’、３２０’、３２６’は、露光期間２０４、２１０、２１６、２２２、２０６、２１２、２１８、２２４、２０８、２１４、２２０、２２６が発生する電力波形２０２の位相とは異なる電力波形３０２の位相において発生する。溶接領域１０９（図１）において溶接システム１０２によって生成される光度並びに物理的特徴は、電力波形に関連して変動する電圧、電流、又はインピーダンスの関数として変化するため、図３の実施例においてカメラ１２６によって生成される原画像３０４’、３１０’、３１６’、３２２’、３０６’、３１２’、３１８’、３２４’、３０８’、３１４’、３２０’、３２６’は、図２の実施例における原画像２０４’、２１０’、２１６’、２２２’、２０６’、２１２’、２１８’、２０８’、２１４’、２２０’、２２６’とは異なる溶接領域１０９内の物理的特徴及び光度を取得する。また、図３の実施例における、電圧閾値ポイント３２８、３３０、３３２、３３４、３３６、３３８、３４０、３４２、３４４、３４６、３４８、３５０と、開始トリガーポイント３５２、３６４、３７６、３８８、３５６、３６８、３８０、３９２、３６０、３７２、３８４、３９５とでの露光開始閾電圧の検出の間の遅延は、ユーザが結果として生じる合成画像３９７、３９８、３９９、・・・、Ｎを観察して、溶接領域１０９内に異なる特徴同士を認識するか、ユーザが合成画像３９７、３９８、３９９、・・・、Ｎ内に観察したいと望む特徴に対する所望の画像品質のための最適な設定を見出す際に、自動的に、又は、ユーザインターフェース１２８からの手動入力のどちらか一方によって、視覚システムコントローラ１２４によって変化させてもよい。  As a result, theexposure periods 204, 210, 216, 222, 206, 212, 218, 224, 208, 214, 220, and 226 in the embodiment of FIG. 2 are changed to theexposure periods 304, 310, 316, and 322 in the embodiment of FIG. , 306, 312, 318, 324, 308, 314, 320, 326, original images used to create the first, second, and thirdcomposite images 397, 398, 399 of FIG. 304 ′, 310 ′, 316 ′, 322 ′, 306 ′, 312 ′, 318 ′, 324 ′, 308 ′, 314 ′, 320 ′, 326 ′ areexposure periods 204, 210, 216, 222, 206, 212. 218, 224, 208, 214, 220, 226 occurs at a phase of thepower waveform 302 that is different from the phase of thepower waveform 202 generated. The light intensity and physical characteristics generated by thewelding system 102 in the weld area 109 (FIG. 1) change as a function of the voltage, current, or impedance that varies in relation to the power waveform, so in the embodiment of FIG. Theoriginal images 304 ′, 310 ′, 316 ′, 322 ′, 306 ′, 312 ′, 318 ′, 324 ′, 308 ′, 314 ′, 320 ′, 326 ′ generated by Acquire physical features and luminosity in the weldedarea 109 different from theoriginal images 204 ′, 210 ′, 216 ′, 222 ′, 206 ′, 212 ′, 218 ′, 208 ′, 214 ′, 220 ′, 226 ′. . 3, voltage threshold points 328, 330, 332, 334, 336, 338, 340, 342, 344, 346, 348, 350 and starttrigger points 352, 364, 376, 388, 356, 368, 380, 392, 360, 372, 384, 395 and the delay between detection of the exposure start threshold voltage, the user observes the resultingcomposite images 397, 398, 399,... , When recognizing different features in the weldedregion 109 or finding the optimal settings for the desired image quality for the features that the user wants to observe in thecomposite images 397, 398, 399,. Automatically or by manual input from theuser interface 128 by the vision system controller 124. It may be changed.

可変露光開始遅延を有する一定露光技術例４００を図４に示し、再度、便宜上及び比較のため、図２及び３の実施例における正弦電力波形２０２及び３０２と同様の正弦電力波形４０２を有している。図４の一定露光例４００は、一定の露光期間による原画像、例えば、原画像４０４’、４１０’、４１６’、４２２’、４０６’、４１２’、４１８’、４２４’、４０８’、４１４’、４２０’、４２６’の取得を示しており、すなわち、原画像４０４’、４１０’、４１６’、４２２’、４０６’、４１２’、４１８’、４２４’、４０８’、４１４’、４２０’、４２６’のための露光期間４０４、４１０、４１６、４２２、４０６、４１２、４１８、４２４、４０８、４１４、４２０、４２６が全て、互いと同じ持続期間を有するが、電力供給波形４０２の異なる部分又は位相において有している。図４に示すように、第１の露光期間４０４は、視覚システムコントローラ１２４が、溶接領域１０９から生じるか、反射する光に対するカメラ１２６内の光センサアレイの露光を開始するようカメラ１２６に信号を送信する開始トリガーポイント４２８と、視覚システムコントローラ１２４が、露光を終了させるようカメラ１２６に信号を送信する終了トリガーポイント４３０との間の電力供給波形４０２の一部（位相）にわたって延在している。視覚システムコントローラ１２４は、閾値、例えば、開始トリガーポイント４２８における電圧値を使用（検出）して、露光を開始するよう、上で開示したように、カメラ１２６に対して露光開始制御信号をトリガしてもよい。同様に、他の露光期間４１０、４１６、４２２、４０６、４１２、４１８、４２４、４０８、４１４、４２０、４２６のそれぞれは、それらの露光開始ポイントにおいてカメラ１２６に対する露光開始制御信号の生成をトリガするよう、視覚システムコントローラ１２４による使用のための開始電圧閾値を設定することによって、各露光開始ポイント４４０、４５２、４６４、４３２、４４４、４５６、４６８、４３６、４４８、４６０、４７２において開始されてもよい。この露光技術例４００における露光期間４１０、４１６、４２２、４０６、４１２、４１８、４２４、４０８、４１４、４２０、４２６の持続期間は全て、互いと同じであるため、視覚システムコントローラ１２４は、各露光開始ポイント４２８、４４０、４５２、４６４、４３２、４４４、４５６、４６８、４３６、４４８、４６０、４７２のそれぞれの後のその同じ所定時間においてカメラ１２６に露光終了制御信号を生成するよう設定される。従って、露光期間４０４、４１０、４１６、４２２、４０６、４１２、４１８、４２４、４０８、４１４、４２０、４２６は、視覚システムコントローラ１２４によって、電力波形４０２上の各終了トリガーポイント４３０、４４２、４５４、４６６、４３４、４４６、４５８、４７０、４３８、４５０、４６２、４７４において終了する。代替として、カメラ１２６自体は、視覚システムコントローラ１２４からカメラ１２６への露光終了制御信号が露光期間４０４、４１０、４１６、４２２、４０６、４１２、４１８、４２４、４０８、４１４、４２０、４２６を終了させる必要がないように、所定の露光期間内の露光を終了させるよう、プリセット機能を有してもよい。別の代替において、終了閾電圧値が、終了トリガーポイント４３０、４４２、４５４、４６６、４３４、４４６、４５８、４７０、４３８、４５０、４６２、４７４においてカメラ１２６に対して露光終了制御信号をトリガするよう、視覚システムコントローラ１２４によって用いられてもよい。どちらの場合においても、カメラ１２６は、各露光期間４０４、４１０、４１６、４２２、４０６、４１２、４１８、４２４、４０８、４１４、４２０、４２６のそれぞれに対する同じ時間により原画像４０４’、４１０’、４１６’、４２２’、４０６’、４１２’、４１８’、４２４’、４０８’、４１４’、４２０’、４２６’のそれぞれを生成する。しかし、それらそれぞれの露光期間４０４、４１０、４１６、４２２、４０６、４１２、４１８、４２４、４０８、４１４、４２０、４２６のうちの幾つかは電力波形４０２上の異なる閾電圧において開始されるため、それらは電力波形４０２の異なる部分（位相）にわたって発生する。この露光技術例４００は、第１の開始電圧閾値での開始トリガーポイント４２８、４３２、４３６と共に、第２の開始電圧閾値での開始トリガーポイント４４０、４４４、４４８と共に、第３の開始電圧閾値での開始トリガーポイント４５２、４５６、４６０と共に、そして、第４の開始電圧閾値での開始トリガーポイント４６４、４６８、４７２と共に示されている。従って、原画像４０４’、４０６’、４０８’は、電力波形４０２の同じ第１の部分（位相）にわたる同じ露光時間を有し、原画像４１０’、４１２’、４１４’は、電力波形４０２の同じ第２の部分（位相）にわたる同じ露光時間を有し、原画像４１６’、４１８’、４２０’は、電力波形４０２の同じ第３の部分（位相）にわたる同じ露光時間を有し、原画像４２２’、４２４’、４２６’は、電力波形４０２の同じ第４の部分（位相）にわたる同じ露光時間を有し、そして、電力波形４０２のそれらの第１、第２、第３、及び第４の部分（位相）は互いに異なっている。結果として、電力波形４０２におけるより高い電圧が、より明るいアーク１０７及びプラズマ１０８を生じ、電力波形４０２におけるより低い電圧が、減光したアーク１０７及びプラズマ１０８を生じるため、光センサアレイ内の光センサの飽和は、特定の一定露光時間を設定し、所望の光度が溶接によって生成されている場合に露光をトリガすることによって制御することができる。  A constant exposure technique example 400 with variable exposure start delay is shown in FIG. 4 and again has asine power waveform 402 similar to thesine power waveforms 202 and 302 in the embodiments of FIGS. 2 and 3 for convenience and comparison. Yes. The fixed exposure example 400 of FIG. 4 is an original image with a fixed exposure period, for example,original images 404 ′, 410 ′, 416 ′, 422 ′, 406 ′, 412 ′, 418 ′, 424 ′, 408 ′, 414 ′. , 420 ′, 426 ′, ie,original images 404 ′, 410 ′, 416 ′, 422 ′, 406 ′, 412 ′, 418 ′, 424 ′, 408 ′, 414 ′, 420 ′, Theexposure periods 404, 410, 416, 422, 406, 412, 418, 424, 408, 414, 420, 426 for 426 'all have the same duration as each other, but different portions of thepower supply waveform 402 or Have in phase. As shown in FIG. 4, thefirst exposure period 404 signals thecamera 126 that the vision system controller 124 initiates exposure of the photosensor array in thecamera 126 to light originating from or reflected from theweld area 109. Extending over a portion (phase) of thepower supply waveform 402 between thestart trigger point 428 to transmit and theend trigger point 430 to which the vision system controller 124 sends a signal to thecamera 126 to end the exposure. . The vision system controller 124 uses (detects) a threshold, eg, the voltage value at thestart trigger point 428, to trigger an exposure start control signal to thecamera 126 as disclosed above to start the exposure. May be. Similarly, each of theother exposure periods 410, 416, 422, 406, 412, 418, 424, 408, 414, 420, 426 triggers the generation of an exposure start control signal for thecamera 126 at their exposure start point. As such, it may be initiated at each exposure startpoint 440, 452, 464, 432, 444, 456, 468, 436, 448, 460, 472 by setting a start voltage threshold for use by the vision system controller 124. Good. Since the duration of theexposure periods 410, 416, 422, 406, 412, 418, 424, 408, 414, 420, 426 in thisexample exposure technique 400 are all the same as each other, the vision system controller 124 Thecamera 126 is set to generate an exposure end control signal at that same predetermined time after each of the start points 428, 440, 452, 464, 432, 444, 456, 468, 436, 448, 460, 472. Thus, theexposure periods 404, 410, 416, 422, 406, 412, 418, 424, 408, 414, 420, 426 are each determined by the vision system controller 124 for eachend trigger point 430, 442, 454, End at 466, 434, 446, 458, 470, 438, 450, 462, 474. Alternatively, in thecamera 126 itself, an exposure end control signal from the visual system controller 124 to thecamera 126 ends theexposure periods 404, 410, 416, 422, 406, 412, 418, 424, 408, 414, 420, 426. A preset function may be provided to end the exposure within a predetermined exposure period so that it is not necessary. In another alternative, an end threshold voltage value triggers an end-of-exposure control signal forcamera 126 atend trigger points 430, 442, 454, 466, 434, 446, 458, 470, 438, 450, 462, 474. As such, it may be used by the vision system controller 124. In either case, thecamera 126 may have theoriginal images 404 ′, 410 ′, 410 a, 410 ′, 410 ′, 410, 410, 416 ′, 422 ′, 406 ′, 412 ′, 418 ′, 424 ′, 408 ′, 414 ′, 420 ′, 426 ′ are generated. However, because some of theirrespective exposure periods 404, 410, 416, 422, 406, 412, 418, 424, 408, 414, 420, 426 begin at different threshold voltages on thepower waveform 402, They occur over different parts (phases) of thepower waveform 402. Thisexample exposure technique 400 includes astart trigger point 428, 432, 436 at a first start voltage threshold and astart trigger point 440, 444, 448 at a second start voltage threshold, at a third start voltage threshold. With thestart trigger points 452, 456, 460 and with thestart trigger points 464, 468, 472 at the fourth start voltage threshold. Thus, theoriginal images 404 ′, 406 ′, 408 ′ have the same exposure time over the same first portion (phase) of thepower waveform 402, and the original images 410 ′, 412 ′, 414 ′ Theoriginal images 416 ′, 418 ′, 420 ′ have the same exposure time over the same third portion (phase) of thepower waveform 402 and have the same exposure time over the same second portion (phase) 422 ′, 424 ′, 426 ′ have the same exposure time over the same fourth portion (phase) of thepower waveform 402 and their first, second, third, and fourth of thepower waveform 402. Are different from each other (phase). As a result, a higher voltage in thepower waveform 402 results in abrighter arc 107 andplasma 108, and a lower voltage in thepower waveform 402 results in a dimmedarc 107 andplasma 108, so that the photosensors in the photosensor array. Can be controlled by setting a specific constant exposure time and triggering the exposure when the desired light intensity is produced by welding.

上で述べたように、溶接領域１０９から生じ、反射する光エネルギーの強度、及び、溶接領域１０９の物理的特性、例えば、溶融、溶滴、プラズマサイズ、スパッタ、等でさえも、溶接電力波形の電気的特性の関数として変化する。従って、電力波形４０２の第１の部分（位相）の間に原画像４０４’、４０６’、４０８’によって取得される溶接領域１０９の光度、特徴、及び特性は、それらの露光期間４０４、４０６、４０８、４１０、４１２、４１４の持続期間が同じだとしても、電力波形４０２の第２の部分（位相）の間に原画像４１０’、４１２’、４１４’によって取得される光度、特徴、及び特性とは幾つかの点で異なっている。同様に、電力波形４０２の異なる部分（位相）にわたって延在する露光期間の間に他の原画像によって取得される溶接領域１０９の光度、特徴、及び特性は、幾つかの点で異なる。  As mentioned above, the intensity of the reflected light energy originating from theweld area 109 and the physical properties of theweld area 109, such as melting, droplets, plasma size, spatter, etc. As a function of the electrical properties of Accordingly, the intensity, characteristics, and characteristics of theweld region 109 acquired by theoriginal images 404 ′, 406 ′, 408 ′ during the first portion (phase) of thepower waveform 402 are determined by theirexposure periods 404, 406, Luminosities, features, and characteristics acquired by the original images 410 ′, 412 ′, 414 ′ during the second portion (phase) of thepower waveform 402 even though the durations of 408, 410, 412, 414 are the same Is different in several ways. Similarly, the light intensity, features, and characteristics of theweld region 109 acquired by other original images during an exposure period that extends over different portions (phases) of thepower waveform 402 are different in several respects.

図２及び３の技術２００及び３００に対する上記の説明と同様に、各露光期間４０４、４１０、４１６、４２２中に得られた原画像４０４’、４１０’、４１６’、４２２’は、第１の合成画像を作成するよう融合される。同様に、各露光期間４０６、４１２、４１８、４２４中に得られた原画像４０６’、４１２’、４１８’、４２４’は、第２の合成画像４７８を作成するよう融合され、各露光期間４０８、４１４、４２０、４２６中に得られた原画像４０８’、４１４’、４２０’、４２６’は、第３の合成画像４８０を作成するよう融合される。これらのプロセスは、ユーザが所望する限り、ドットｎ’によって表される追加の原画像を取得してドットＮによって表される追加の合成画像を作成するよう、無期限に繰り返される。また、上でも説明したように、カメラ１２６の開口、カメラ１２６の光センサアレイ内の光センサの感度、及び任意選択の減光プレート１３０の減光量は、カメラ１２６によって生成される原画像の様々なピクセルのうちの少なくとも幾つかが飽和されないか、暗色でないような光線レベルを達成するよう、全て変化させてもよいか、個々に、又は何らかの組み合わせのどちらか一方で変化させてもよい。  Similar to the above description for thetechniques 200 and 300 of FIGS. 2 and 3, theoriginal images 404 ′, 410 ′, 416 ′, 422 ′ obtained during eachexposure period 404, 410, 416, 422 are Fused to create a composite image. Similarly, the original images 406 ′, 412 ′, 418 ′, 424 ′ obtained during eachexposure period 406, 412, 418, 424 are merged to create a secondcomposite image 478 and eachexposure period 408. Theoriginal images 408 ′, 414 ′, 420 ′, 426 ′ obtained during 414, 420, 426 are fused to create a thirdcomposite image 480. These processes are repeated indefinitely, as long as the user desires, to acquire an additional original image represented by dot n 'and create an additional composite image represented by dot N. In addition, as described above, the aperture of thecamera 126, the sensitivity of the photosensors in the photosensor array of thecamera 126, and the amount of light reduction of the optional dimming plate 130 can vary with the original image generated by thecamera 126. All of the pixels may be varied, either individually or in any combination, to achieve a light level such that at least some of the pixels are not saturated or dark.

上で説明したように、図２の実施例の合成画像２５３、２５５、２５７、図３の実施例の合成画像３９７、３９８、３９９、及び図４の実施例の合成画像４７６、４７８、４８０等の合成画像を作成することの目標の１つは、溶接領域１０９（図１）及び溶接領域１０９内の特定の特徴、例えば、溶接ビード１０３、溶接機ノズル１０４、電極１０６、アーク１０７、プラズマ１０８、たまり１１１、母材１１０、１１２、及び溶滴１２１が、高い解像度で画像化できることである。このように、合成画像は、溶接領域１０９の異なる部分の全てを示し、溶接ビード１０３の品質に関する有用な情報を提供する。かかる情報により、調整を溶接プロセスのパラメータに対して行って、高品質の溶接を確かなものにすることができる。例えば、電極１０７と並置される母材１１０、１１２における電流は、溶融金属の溶融帯１１３を生成するために十分な熱を生成するべきであり、溶滴１２１は、均一な形で電極１０７の先端から溶融され、何らかのスパッタがある場合、最小限に溶接たまり１１１に堆積するべきであり、溶接たまり１２１は、母材１１０、１１２の交差部において母材１１０、１１２内の溶融帯１１３と融合するよう、十分に液状であり、十分に高温であるべきであり、そして、結果として生じる溶接ビード１０３は、見てわかるポロシティが全くない、平滑で、均一であるべきである。加えて、溶接チップ（ノズル１０４において見えていない）の場所、及び従って、電極１０６は、修正されなければならず、溶滴１２１は、溶接によって接合されている母材１１０、１１２の交差部において、又は、その近傍に落下するか、堆積されるべきである。１つの画像において、溶接領域１０９において通常はより暗い溶接部品１１０、１１２、並びに、はるかに明るいプラズマ、溶滴１２１、たまり１１１、及び他の特徴を一緒に見ることができるようにすることによって、溶接ビード１０３を、溶接部品１１０、１１２の交差部において、正確に、そして、高い品質特性で形成することができる。カメラ１２６内の検出器の感度を調整すること、開口を開けること、及び／又は、動的減光プレート１３０を用いることによって、原画像のうちの少なくとも幾つかが、十分な光量で取得されて飽和無しで画像を作成することができる。無論、照明１３４（図１）が、背景及び母材１１０、１１２又は溶接ビード１０３等の溶接領域１０９内のより暗い特徴のための補助的な照明を提供するよう、カメラ１２６又は他の使い易い場所に取り付けられてもよい。十分な光量に対する補助的な照明のため、溶接部品１１０、１１２等の背景領域を画像化するよう収集されてもよい。これらの目標及び原理は、また、以下でより詳細に検討する他の技術によって作成される合成画像にも適用する。  As described above, thecomposite images 253, 255, 257 of the embodiment of FIG. 2, thecomposite images 397, 398, 399 of the embodiment of FIG. 3, and thecomposite images 476, 478, 480 of the embodiment of FIG. One of the goals of creating a composite image of the welding area 109 (FIG. 1) and certain features within thewelding area 109 are, for example, theweld bead 103,welder nozzle 104,electrode 106,arc 107,plasma 108. That is, thepool 111, thebase materials 110 and 112, and thedroplet 121 can be imaged with high resolution. Thus, the composite image shows all of the different parts of theweld area 109 and provides useful information regarding the quality of theweld bead 103. With this information, adjustments can be made to the parameters of the welding process to ensure high quality welding. For example, the current in thepreforms 110, 112 juxtaposed with theelectrode 107 should generate enough heat to produce the moltenmetal melting zone 113, and thedroplet 121 is in a uniform shape in theelectrode 107. If melted from the tip and there is some spatter, it should be minimally deposited in theweld pool 111 and theweld pool 121 fuses with themelt zone 113 in thebase material 110, 112 at the intersection of thebase materials 110, 112. As such, it should be sufficiently liquid, sufficiently hot, and the resultingweld bead 103 should be smooth and uniform with no appreciable porosity. In addition, the location of the welding tip (not visible at the nozzle 104), and thus theelectrode 106, must be modified and thedroplet 121 is at the intersection of thebase materials 110, 112 being joined by welding. Or should fall or be deposited nearby. In one image, by allowingweld parts 110, 112, which are usually darker in theweld area 109, and much brighter plasma,droplets 121,pools 111, and other features to be seen together, Theweld bead 103 can be formed accurately and with high quality characteristics at the intersection of the weldedparts 110, 112. By adjusting the sensitivity of the detector in thecamera 126, opening an aperture, and / or using the dynamic dimming plate 130, at least some of the original images are acquired with sufficient light intensity. Images can be created without saturation. Of course, thecamera 126 or other easy to use so that the illumination 134 (FIG. 1) provides supplemental illumination for the background and darker features in theweld area 109 such as thebase material 110, 112 or theweld bead 103. It may be attached to a place. It may be collected to image a background area, such as weldedparts 110, 112, for supplemental illumination for sufficient light. These goals and principles also apply to composite images created by other techniques discussed in more detail below.

可変露光技術例５００を、可変開始トリガー遅延と共に図５に示す。便宜上及び比較のため、図５の電力波形５０２は、図２、３、及び４の実施例における電力波形２０２、３０２、４０２と同様の正弦波として示されている。図５の技術例５００は、原画像５０４’、５１０’、５１６’、５２２’、５０６’、５１２’、５１８’、５２４’、５０８’、５１４’、５２０’、５２６’、・・・、ｎ’が、原画像４０４’、４１０’、４１６’、４２２’、４０６’、４１２’、４１８’、４２４’、４０８’、４１４’、４２０’、４２６’、・・・、ｎ’と同様に、電力供給波形５０２の異なる部分（位相）の間に得られるという点で、図４技術例４００と同様である。しかし、露光期間５０４、５１０、５１６、５２２、５０６、５１２、５１８、５２４、５０８、５１４、５２０、５２６が異なる持続期間を有するのに対して、露光期間４０４、４１０、４１６、４２２、４０６、４１２、４１８、４２４、４０８、４１４、４２０、４２６の持続期間は、全て同じである。技術例５００において、最初の４つの露光期間５０４、５１０、５１６、５２２は異なる持続期間を有し、すなわち、露光期間５１６は露光期間５１０よりも長く、それは露光期間５０４よりも長く、それは露光期間５２２よりも長い。同様に、露光期間５０６、５０８は露光期間５０４と同じ持続期間を有し、露光期間５１２、５１４は露光期間５１０と同じ持続期間を有し、露光期間５１８、５２０は露光期間５１６と同じ持続期間を有し、そして、露光期間５２４、５２６は露光期間５２２と同じ持続期間を有している。図２、３、及び４の他の露光技術例２００、３００、４００と同様に、開始トリガーポイント５２８、５４６、５５２、５６４、５３２、５４４、５５６、５６８、５３６、５４８、５５０、５７２及び終了トリガーポイント５３０、５４２、５５４、５６６、５３４、５４６、５５８、５７０、５３８、５５０、５６２、５７４は、クロック時間計測、若しくは、電力波形５０２の閾電圧又は他の電気的特性を検出することのどちらか一方によって設定されてもよい。また、図２、３、及び４の技術例２００、３００、４００に対して上でも説明したように、各露光期間５０４、５１０、５１６、５２２の間にカメラ１２６によって作成された原画像露光期間５０４’、５１０’、５１６’、５２２’は、第１の合成画像５７６を作成するよう融合され、各露光期間５０６、５１２、５１８、５２４の間にカメラ１２６によって作成された原画像５０６’、５１２’、５１８’、５２４’は、第２の合成画像５７８を作成するよう融合され、そして、各露光期間露光期間５０８、５１４、５２０、５２６の間にカメラ１２６によって作成された原画像５０８’、５１４’、５２０’、５２６’は、第３の合成画像５７８を作成するよう融合される。図２の実施例２００における合成画像２５３、２５５、２５７、図３の実施例３００における合成画像３９７、３９８、３９９、図４の実施例４００における合成画像４７６、４７８、４８０、及び図５の実施例５００における合成画像５７６、５７８、５８０は、各原画像同士を組み合わせる何らかの所望のプロセスにより形成されてもよい。例えば、それぞれ個々の原画像からのそれぞれ個々のピクセルは、それぞれ個々のピクセルがどのくらい飽和に近いか、又は、どのくらい完全な黒に近いかに基づいて、統計的に評価されてもよい。用いられている特定の露光に基づいて、合成画像における使用のために原画像内で所定の位置を有するピクセルを選択すること等、他の技術が用いられてもよい。例えば、ピクセルは、その露光期間が極めて短い場合、最初の露光のために検出器アレイの中心から、そして、背景領域を見ることができるように、長い露光の間は検出器アレイの周辺領域から選択されてもよい。多数の他の技術が、画像結合プロセスのために用いられてもよい。  An examplevariable exposure technique 500 is shown in FIG. 5 with a variable start trigger delay. For convenience and comparison, thepower waveform 502 of FIG. 5 is shown as a sine wave similar to thepower waveforms 202, 302, 402 in the embodiments of FIGS. 5 includes anoriginal image 504 ′, 510 ′, 516 ′, 522 ′, 506 ′, 512 ′, 518 ′, 524 ′, 508 ′, 514 ′, 520 ′, 526 ′,. n ′ is the same as theoriginal images 404 ′, 410 ′, 416 ′, 422 ′, 406 ′, 412 ′, 418 ′, 424 ′, 408 ′, 414 ′, 420 ′, 426 ′,. In addition, it is the same as the technical example 400 of FIG. 4 in that it is obtained during different portions (phases) of thepower supply waveform 502. However, while theexposure periods 504, 510, 516, 522, 506, 512, 518, 524, 508, 514, 520, 526 have different durations, theexposure periods 404, 410, 416, 422, 406, The durations of 412, 418, 424, 408, 414, 420, 426 are all the same. In theexample technique 500, the first fourexposure periods 504, 510, 516, 522 have different durations, ie, theexposure period 516 is longer than theexposure period 510, which is longer than theexposure period 504, which is the exposure period. Longer than 522. Similarly,exposure periods 506 and 508 have the same duration asexposure period 504,exposure periods 512 and 514 have the same duration asexposure period 510, andexposure periods 518 and 520 have the same duration asexposure period 516. And theexposure periods 524, 526 have the same duration as theexposure period 522. Similar to the otherexample exposure techniques 200, 300, 400 of FIGS. 2, 3, and 4, starttrigger points 528, 546, 552, 564, 532, 544, 556, 568, 536, 548, 550, 572 and end.Trigger points 530, 542, 554, 566, 534, 546, 558, 570, 538, 550, 562, 574 may be used to detect clock time measurements or threshold voltages or other electrical characteristics ofpower waveform 502. It may be set by either one. Also, as described above for the technical examples 200, 300, and 400 of FIGS. 2, 3, and 4, the original image exposure period created by thecamera 126 during each of theexposure periods 504, 510, 516, and 522. 504 ′, 510 ′, 516 ′, 522 ′ are fused to create a firstcomposite image 576, and theoriginal image 506 ′, created by thecamera 126 during eachexposure period 506, 512, 518, 524, 512 ′, 518 ′, 524 ′ are fused to create a secondcomposite image 578 and theoriginal image 508 ′ created by thecamera 126 during each exposureperiod exposure period 508, 514, 520, 526. 514 ′, 520 ′, and 526 ′ are fused to create a thirdcomposite image 578. Thecomposite images 253, 255, 257 in theembodiment 200 of FIG. 2, thecomposite images 397, 398, 399 in theembodiment 300 of FIG. 3, thecomposite images 476, 478, 480 in theembodiment 400 of FIG. 4, and the implementation of FIG. Thecomposite images 576, 578, 580 in example 500 may be formed by any desired process that combines the original images. For example, each individual pixel from each individual original image may be evaluated statistically based on how close each individual pixel is to saturation or how close to full black. Other techniques may be used, such as selecting pixels having a predetermined position in the original image for use in the composite image based on the particular exposure being used. For example, a pixel may be from the center of the detector array for the first exposure if its exposure period is very short, and from the surrounding area of the detector array during long exposures so that the background area can be seen. It may be selected. A number of other techniques may be used for the image combining process.

上で説明した実施例２、３、４、及び５の技術の別の実装例において、上で説明した露光開始制御信号及び露光終了制御信号は、別個の視覚システムコントローラ１２４によってではなく、図１の代替カメラル制御リンク１４８によって示されるように、溶接用電力供給部１２２によってカメラ１２６に提供されてもよい。かかる信号をカメラに提供するための視覚システムコントローラ１２４のものと類似した特徴及び性能が、溶接用電力供給部１２２内に構築されてもよい。別の実装において、視覚システムコントローラは、溶接用電力供給部１２２から信号を受信し、かかる信号に応答して露光開始制御信号及び露光終了制御信号をカメラ１２６に対して生成できる。従って、視覚システムコントローラ１２４は、溶溶接用電力供給部１２２の一体部分であってもよい。  In another implementation of the techniques of Examples 2, 3, 4, and 5 described above, the exposure start control signal and the exposure end control signal described above are not by a separate visual system controller 124, but by FIG. Thecamera 126 may be provided by thewelding power supply 122 as shown by the alternativecamera control link 148. Features and performance similar to that of the vision system controller 124 for providing such signals to the camera may be built into thewelding power supply 122. In another implementation, the vision system controller can receive signals from thewelding power supply 122 and generate an exposure start control signal and an exposure end control signal to thecamera 126 in response to the signals. Therefore, the vision system controller 124 may be an integral part of the weldingpower supply unit 122.

図２、３、４、及び５に示す技術例と共に利用されてもよい一実施形態において、電力波形、例えば、図２の電力波形２０２の周波数は、例えば、１１０Ｈｚに設定されてもよい。無論、何らかの所望の周波数が、特定用途に適した露光期間を提供する電力供給波形２０２のために用いられてもよく、１１０Ｈｚはほんの一例として与えられる。この図２の実施例において、結合した合成画像２５３、２５５、２５７のそれぞれは電力供給波形２０２の周波数の約４分の１で作成され、それは１秒当たり約２７画像のレートである。標準的な動画は１秒当たり約３０画像（フレーム）であり、Ｂｌｕ−ｒａｙは１秒当たり２４画像であり、そして、映画は１秒当たり約２５画像である。従って、極めて視認可能な動画を、この実施例において、約１１０Ｈｚの周波数としての電力供給波形２０２を用いて作成することができる。  In one embodiment that may be utilized with the example techniques shown in FIGS. 2, 3, 4, and 5, the power waveform, eg, the frequency of thepower waveform 202 of FIG. 2, may be set to 110 Hz, for example. Of course, any desired frequency may be used for thepower supply waveform 202 to provide an exposure period suitable for a particular application, 110 Hz is given as an example only. In this embodiment of FIG. 2, each of the combinedcomposite images 253, 255, 257 is created at about one quarter of the frequency of thepower supply waveform 202, which is a rate of about 27 images per second. A standard movie is about 30 images (frames) per second, Blu-ray is 24 images per second, and a movie is about 25 images per second. Accordingly, a highly visible moving image can be created using thepower supply waveform 202 as a frequency of about 110 Hz in this embodiment.

図６Ａは、上の図２、３、４、及び５の実施例において作成された合成画像等の溶接の画像を生成するための溶接用視覚及び制御システム１００の作動例を示すフロー図６００である。ステップ６０２において、溶接用視覚及び制御システム１００のコントローラ１２４は、溶接用視覚及び制御システム１００の作動のための作動パラメータを取得する。視覚システムコントローラ１２４は、これらの作動パラメータをストレージから読み取る。コンピュータシステムにおいて、かかるストレージは、ＲＡＭ又はディスクストレージ、又はＥＥＰＲＯＭ等の他のストレージ、若しくはハードウェア実装のための同様のストレージであってもよい。ユーザインターフェース１２８は、また、これらの作動パラメータを提供するよう用いられてもよい。一実施形態において、視覚システムコントローラ１２４は、溶接用視覚及び制御システム１００が様々な形態で作動して様々な画像を生成することを可能にする一連の異なる作動パラメータを格納してもよい汎用コンピュータを備えていてもよい。例えば、作動又は技術の様々な形態が、図２〜５に示されている。この文脈において、図２、３、４、及び５の技術例２００、３００、４００、５００は、また、作動モードとも称される。無論、他の作動モードも、また、選択されてもよい。他の実施形態において、１つ又は２つだけの作動モードがあってもよく、システムは、作動データと共に予めロードされてもよい。例えば、図１０に示す手溶接用視覚システム１０００の実施形態において、システムの作動パラメータは、ＥＥＰＲＯＭ又は類似のストレージ等のハードウェア内にロードされ、本明細書中に開示する様々な実施形態又は技術に従って、データを取得し、溶接用視覚システム１０００を作動させるよう、プロセッサによってアクセスされてもよい。例えば、図１０の手溶接用視覚システム１０００の実施形態において、図１の視覚システムコントローラ１２４は、ヘルメット１００２又は他の使い易い場所に取り付けられる簡単な小型電子回路パッケージ１００８内に封入されてもよい。電子回路パッケージ１００８は、作動パラメータを含むＥＥＰＲＯＭストレージ、又は他の類似ストレージ、マイクロプロセッサ、状態機械、及び他の電子回路を含んでいる。加えて、又は代替として、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び他のロジック回路が、１つのみ又はことによると２つの異なる作動モードを提供できる小型電子回路パッケージ１００８において用いられてもよい。  FIG. 6A is a flow diagram 600 illustrating an example operation of the welding vision andcontrol system 100 to generate an image of a weld, such as a composite image created in the embodiments of FIGS. 2, 3, 4, and 5 above. is there. Instep 602, the controller 124 of the welding vision andcontrol system 100 obtains operating parameters for operation of the welding vision andcontrol system 100. The vision system controller 124 reads these operating parameters from storage. In a computer system, such storage may be RAM or disk storage, or other storage such as EEPROM, or similar storage for hardware implementation.User interface 128 may also be used to provide these operating parameters. In one embodiment, the vision system controller 124 may store a series of different operating parameters that allow the welding vision andcontrol system 100 to operate in various forms and generate various images. May be provided. For example, various forms of operation or technology are shown in FIGS. In this context, theexample techniques 200, 300, 400, 500 of FIGS. 2, 3, 4, and 5 are also referred to as operating modes. Of course, other modes of operation may also be selected. In other embodiments, there may be only one or two operating modes, and the system may be preloaded with the operating data. For example, in the embodiment of the manualwelding vision system 1000 shown in FIG. 10, the operating parameters of the system are loaded into hardware such as EEPROM or similar storage, and the various embodiments or techniques disclosed herein. And may be accessed by the processor to obtain data and operate thewelding vision system 1000. For example, in the embodiment of the manualwelding vision system 1000 of FIG. 10, the vision system controller 124 of FIG. 1 may be enclosed within a simple miniatureelectronic package 1008 that is attached to ahelmet 1002 or other convenient location. . Theelectronic circuit package 1008 includes EEPROM storage containing operating parameters, or other similar storage, microprocessors, state machines, and other electronic circuitry. Additionally or alternatively, field programmable gate arrays (FPGAs) and other logic circuits may be used in the smallelectronic circuit package 1008 that can provide only one or possibly two different modes of operation.

再度図６Ａを参照すると、一旦、作動パラメータが溶接用視覚及び制御システム１００の作動のために取得されると、プロセスはステップ６０４に進んで、幾つかの異なる作動モードから１セットの作動パラメータを選択する。再度、仮に、図１０の手溶接用視覚システム１０００の実施形態におけるような単一の作動モードのみが利用されている場合、ステップ６０４は削除されてもよい。プロセスは、次いで、ステップ６０６において、作動パラメータを適用して、カメラ１２６を含むシステムを作動させる。様々な露光期間、開口、感度、及び任意選択の動的減光プレート１３０の設定、並びに、合成画像を生成することに関連するロジックを含むカメラ１２６の作動は、視覚システムコントローラ１２４によって実行される。ステップ６０８において、溶接領域１０９の原画像がカメラ１２６よって生成される。これらの原画像は、上で説明した方法で、原画像の取得を電力供給波形と同期させることによって、溶接プロセスと同期する。言い換えると、原画像は、上で説明した方法で電力波形に応じて、カメラ１２６によって生成される。従って、連続する原画像は、溶接プロセスが進むにつれて、溶接領域１０９内の全て又は特定の特徴をリアルタイムで示す合成画像のストリームの作成を可能にするよう十分急速な方法で溶接領域１０９内の特定の特徴を取得するよう最適化させることにおいて、溶接プロセスの発生順と同期する原画像のストリームを生成するよう、電力波形と同期する。従って、画像は、省略されないが、溶接プロセスにおける発生順に展開するにつれて、各特徴の一貫して安定した表示を提供する。  Referring again to FIG. 6A, once the operating parameters have been obtained for operation of the welding vision andcontrol system 100, the process proceeds to step 604 to set a set of operating parameters from several different operating modes. select. Again, if only a single mode of operation is utilized as in the embodiment of the manualwelding vision system 1000 of FIG. 10, step 604 may be deleted. The process then applies operating parameters instep 606 to operate the system including thecamera 126. The operation of thecamera 126, including various exposure periods, apertures, sensitivity, and optional dynamic dimming plate 130 settings, as well as the logic associated with generating the composite image, is performed by the vision system controller 124. . Instep 608, an original image of theweld area 109 is generated by thecamera 126. These original images are synchronized with the welding process by synchronizing the acquisition of the original image with the power supply waveform in the manner described above. In other words, the original image is generated by thecamera 126 according to the power waveform in the manner described above. Thus, successive raw images are identified in theweld area 109 in a sufficiently rapid manner to allow the creation of a stream of composite images that show all or specific features in theweld area 109 in real time as the welding process proceeds. In optimizing to acquire the features of the image, it synchronizes with the power waveform to generate a stream of original images that is synchronized with the order of occurrence of the welding process. Thus, the image is not omitted, but provides a consistent and stable display of each feature as it evolves in the order of occurrence in the welding process.

図６Ａへの参照を続けると、ステップ６１０において、合成画像が結合されて溶接プロセスの略リアルタイムの動画を作成する。その点に関し、合成画像は、溶接プロセスのリアルタイム動画を提供するよう所望の合成画像を作成するために画像同士を結合する何らかの所望の方法に従って、それらが作成されるレートで簡単に表示される。原画像を合成画像に結合するためのハードウェア実装の一実施例を、図９に示し、以下で説明する。フレームレートに応じて、ハードウェア又はソフトウェア実装のどちらか一方が、原画像を結合するために用いられてもよい。ステップ６１２において、合成画像は動画として表示される。合成画像は、また、いずれかの溶接パラメータが変更されたかどうかを判断するために、自動的に、又は、監視者によってのどちらか一方により解析されてもよい。例えば、合成画像は、溶接チップ及び電極の位置が修正されたかどうか、又は、電力波形の電圧又は電流若しくは溶接チップの速度が変更されたかどうかを判断するために見ることができる。他のパラメータも、また、修正されてもよい。  Continuing with reference to FIG. 6A, instep 610, the composite image is combined to create a substantially real-time animation of the welding process. In that regard, the composite images are simply displayed at the rate at which they are created according to some desired method of combining the images to create the desired composite image to provide a real-time animation of the welding process. One embodiment of a hardware implementation for combining an original image with a composite image is shown in FIG. 9 and described below. Depending on the frame rate, either hardware or software implementation may be used to combine the original images. In step 612, the composite image is displayed as a moving image. The composite image may also be analyzed either automatically or by a monitor to determine whether any welding parameters have been changed. For example, the composite image can be viewed to determine whether the position of the welding tip and electrode has been modified, or whether the voltage or current of the power waveform or the speed of the welding tip has been changed. Other parameters may also be modified.

また、図６Ａに示すように、動画は、溶接又は溶接プロセスの何の態様がかかる解析のために用いられるかによって、何らかの形のパターン認識の有無にかかわらず、機械視覚システム等の自動システムによって見ることができるか、及び／又は、解析することができる。十分に開発された機械視覚及びパターン認識技術が、例えば、ＭＡＴＬＡＢ（商標）ソフトウェアプラットフォーム用のパターン認識ライブラリとして市販されている。例えば、溶接ビード１０３（図１）自体の形状及び大きさは、溶接品質に関する多くの情報を提供する。溶接プロセス中の溶接溶滴１２１の形成及び溶接たまり１１１の発達は、溶接用電力供給部１２２によって生成される電力波形の電流又は電圧を修正するよう、機械視覚又はパターン認識技術を用いて観察し、解析することができる。溶接プロセスにおいて形成される溶滴１２１の大きさ及び場所、並びに溶接プロセスにおける溶滴１２１の堆積は、母材１１０、１１２に対する溶接チップの場所及び間隔の修正に関する情報を提供できる。母材１１０、１１２に関する溶接用電極１０６の画像は、また、自動的な方法で溶接チップ及び電極１０６の位置の修正を可能にする。その点に関し、母材１１０、１１２から、又は、溶接たまり１１１からの溶接チップ及び電極１０６の距離も、また、自動的な方法で観察し、修正することができる。往復動ワイヤアーク溶接において、ワイヤ電極１０６は、溶滴１２１がワイヤ電極１０６の先端に形成するにつれて、溶接たまり１１１から離間して上方に、次いで、形成された溶滴１２１をたまり１１１内に整然と堆積させるために下方に移動するよう往復動され、そのため、機械視覚及びパターン認識は、そのプロセスを監視し、電力波形パラメータ及びワイヤ電極１０６往復動パラメータを自動的に調整して、溶滴が、完全に形成され、たまり１１１内へ直接のみであって、たまり１１１の上ではなく、ワイヤ電極１０６から離間することを保証するよう用いられてもよい。別の実施例として、パターン認識ソフトウェアが、たまり１１１を取り囲む溶接部品１１０、１１２の溶融帯１１３を示す溶接たまり１１１の周りの発光を検出するよう設計されてもよい。これらの溶融帯１１３は、ちょうどたまり１１１の縁部にある、発光する湾曲領域として出現する。再度、この発光の存在及び発光の強度は、溶接１０３の品質を判断するために用いられてもよい。また、溶接ビード１０３の高さ及び幅は、溶接の品質を判断するため、及び、溶接ビード１０３の所望の大きさ及び形状、均一性、等を得るために、電流を修正すること若しくは溶接ヘッドの速度又は位置を修正すること等の溶接プロセスに対する調整を行うために機械視覚技術を用いて決定されてもよい。かかる機械視覚及びパターン認識機能は、適切な機械視覚及びパターン認識アプリケーション及びパラメータをロードした視覚システムコントローラ１２４によって合成画像に適用されてもよい。かかる機械視覚及びパターン認識プロセスを合成画像に適用する視覚システムコントローラ１２４が、調整を必要とする溶接プロセス内の条件又は特徴を特定した場合、視覚システムコントローラ１２４は、信号を溶接用電力供給部１２２に又はロボットシステムコントローラ１４２に、若しくは両方に出力して、修正する必要のあるパラメータ又は条件を修正する。例えば、視覚システムコントローラ１２４から溶接用電力供給部への波形制御信号は、溶接用電力供給部１２２に、電力供給波形１３６のいずれかの電気的パラメータ、例えば、電圧、電流、周波数、変調、形状（上昇、ピーク、背景、及びテールアウト傾斜、振幅、等）、インピーダンス、又は他の特性を調整又は修正させることができる。視覚システムコントローラ１２４からロボットシステムコントローラ１４２への位置制御信号は、ロボットシステムコントローラ１４２に、いずれかの特定の溶接作業に対する溶接の種類及び母材の種類に応じて、例えば、適切な機械的リンク機構１４６を介して、溶接部品１１０、１１２に対するいずれかの方向に、及び、いずれかの配向又は態様に、溶接機ノズル１０４、ノズル内の火口、及び電極１０６を移動させるよう、信号をロボットシステムアクチュエータに対して出力させることができる。様々なアクチュエータ１４４及びリンク機構１４６を有するかかるロボット溶接システム並びに制御ソフトウェア及びファームウェアを有するロボットシステムコントローラが、周知であり、市販されている。代替として、ロボットコントローラソフトウェアが、視覚システムコントローラ１２４に実装されてもよい。溶接プロセスの他のパラメータも、また、機械視覚及びパターン認識プロセスを合成画像に適用することによって、自動的に解析され、調整されてもよい。代替として、より簡単な実装において、合成画像に適用される機械視覚及びパターン認識プロセスが、調整を必要とする溶接プロセス内の条件又は特徴を特定した場合、視覚システムコントローラ１２４は、ディスプレイ装置１３８若しくは幾つか他の別体警報又は通知システム（図示せず）により警報又は通知を出力してもよい。  Also, as shown in FIG. 6A, the video is displayed by an automated system such as a machine vision system, depending on what aspect of the welding or welding process is used for such analysis, with or without some form of pattern recognition. Can be seen and / or analyzed. Well-developed machine vision and pattern recognition techniques are commercially available, for example, as a pattern recognition library for the MATLAB® software platform. For example, the shape and size of the weld bead 103 (FIG. 1) itself provides a lot of information about the weld quality. The formation ofweld droplets 121 and the development ofweld pool 111 during the welding process is observed using machine vision or pattern recognition techniques to modify the current or voltage of the power waveform generated by weldingpower supply 122. Can be analyzed. The size and location of thedroplets 121 formed in the welding process, and the deposition of thedroplets 121 in the welding process can provide information regarding the modification of the location and spacing of the welding tips relative to thebase materials 110, 112. The image of thewelding electrode 106 with respect to thebase material 110, 112 also allows correction of the position of the welding tip andelectrode 106 in an automatic manner. In that regard, the distance of the welding tip andelectrode 106 from thebase material 110, 112 or from theweld pool 111 can also be observed and corrected in an automated manner. In reciprocating wire arc welding, thewire electrode 106 is separated from theweld pool 111 upward as thedroplet 121 is formed at the tip of thewire electrode 106, and then the formeddroplet 121 is ordered in thepool 111. Reciprocated to move downward to deposit, so machine vision and pattern recognition monitor the process and automatically adjust power waveform parameters andwire electrode 106 reciprocating parameters to ensure that the droplets It may be used to ensure that it is fully formed and only directly into thepool 111 and not on thepool 111 but away from thewire electrode 106. As another example, pattern recognition software may be designed to detect light emission around theweld pool 111, which shows themelt zone 113 of the weldedparts 110, 112 surrounding thepool 111. Thesemelting zones 113 appear as curved regions that emit light, just at the edge of thepool 111. Again, the presence and intensity of the emission may be used to determine the quality of theweld 103. Also, the height and width of theweld bead 103 can be used to modify the current or weld head to determine the quality of the weld and to obtain the desired size, shape, uniformity, etc. of theweld bead 103. It may be determined using machine vision techniques to make adjustments to the welding process, such as modifying the speed or position of the machine. Such machine vision and pattern recognition functions may be applied to the composite image by a vision system controller 124 loaded with appropriate machine vision and pattern recognition applications and parameters. If the vision system controller 124 that applies such machine vision and pattern recognition process to the composite image identifies conditions or features in the welding process that require adjustment, the vision system controller 124 sends a signal to thewelding power supply 122. Or to the robot system controller 142 or both to modify parameters or conditions that need to be modified. For example, the waveform control signal from the visual system controller 124 to the welding power supply unit is sent to the weldingpower supply unit 122 as to any electrical parameter of the power supply waveform 136, such as voltage, current, frequency, modulation, shape, and the like. (Rise, peak, background, and tailout slope, amplitude, etc.), impedance, or other characteristics can be adjusted or modified. A position control signal from the vision system controller 124 to the robot system controller 142 may be sent to the robot system controller 142, for example, an appropriate mechanical linkage mechanism, depending on the type of weld and the type of base material for any particular welding operation. Via 146, a signal is sent to the robot system actuator to move thewelder nozzle 104, the crater in the nozzle, and theelectrode 106 in any direction and in any orientation or manner relative to the weldedparts 110, 112. Can be output. Such robotic welding systems with various actuators 144 and linkages 146 and robotic system controllers with control software and firmware are well known and commercially available. Alternatively, robot controller software may be implemented in the vision system controller 124. Other parameters of the welding process may also be automatically analyzed and adjusted by applying machine vision and pattern recognition processes to the composite image. Alternatively, in a simpler implementation, if the machine vision and pattern recognition process applied to the composite image identifies conditions or features in the welding process that require adjustment, the vision system controller 124 may display the display device 138 or An alarm or notification may be output by some other separate alarm or notification system (not shown).

図６Ａのプロセスは、次いで、ステップ６１４に進み、その点において、異なる作動モードが画像化システムのために利用されるべきかどうかが決定される。異なるモード、例えば、図２、３、４、又は５に示す技術２００、３００、４００、又は５００、若しくは別の技術が、ユーザによって選択されてもよいか、又は、このプロセスは自動化された方法で決定されてもよい。例えば、第１の作動モードは、溶接ビード１０３又は母材１１０、１１２等の溶接領域１０９（図１）内のより暗い特徴の十分な定義又は有効な情報を提供しない可能性がある。この決定は、合成画像又は合成画像によって作成された動画を単に見ることによって行われてもよいか、又は、合成画像の周辺のピクセルの光線レベルを測定する機械視覚又は他の自動化プロセスによって、自動的に決定されてもよい。溶接用視覚及び制御システムの異なる作動モードが、より長い露光期間により、又は、上で説明したように電力波形の異なる部分（位相）にわたって延在する露光期間により、かかるより暗い領域からの良好な照明又は光線取得を提供してもよい。別の実施例において、溶接チップ周辺の領域における、例えば、電極１０６での、又は、プラズマ１０８内の画像の飽和は、それらの特徴の、又は、電極１０６の先端上に形成されるか、溶接たまり１１１内に堆積される溶滴１２１の鮮明な画像を提供しない可能性がある。この場合、合成画像を作成することに用いるためにそれらの特徴の原画像を良好に取得する異なる作動モードが選択されてもよい。再度、幾つかの作動モード例は、図２〜５の技術によって示されている。これらのモードは、視覚システムコントローラがそれらのモードのために設定されたパラメータを自動的に用いるか、作動モードを修正するよう、データをユーザインターフェース１２８を介して入力できるように、視覚システムコントローラ１２４内で予め設定されていてもよい。異なる作動モードが溶接用視覚及び制御システム１００に対して用いられるべきであると判断された場合、図６Ａのプロセスはステップ６０４に戻り、ここで、作動パラメータのセットが幾つかの異なるモードから選択されるか、モードがユーザインターフェース１２８に単に入力される。その点に関し、ユーザインターフェース１２８は予め設定されたモードを溶接用視覚及び制御システム１００に格納し、適用してもよい。  The process of FIG. 6A then proceeds to step 614 where it is determined whether a different mode of operation should be utilized for the imaging system. Different modes may be selected by the user, for example, thetechniques 200, 300, 400, or 500 shown in FIGS. 2, 3, 4, or 5, or another technique, or the process is an automated method. May be determined. For example, the first mode of operation may not provide sufficient definition or useful information of darker features in the weld area 109 (FIG. 1), such as theweld bead 103 or the base material 110,112. This determination may be made by simply looking at the composite image or the animation created by the composite image, or automatically by machine vision or other automated process that measures the light levels of pixels around the composite image. May be determined automatically. Different modes of operation of the welding vision and control system can be better achieved from such darker areas due to longer exposure periods or exposure periods extending over different parts (phases) of the power waveform as explained above. Illumination or light acquisition may be provided. In another embodiment, image saturation in the area around the welding tip, for example, at theelectrode 106 or in theplasma 108 is formed on those features or on the tip of theelectrode 106 or welded. There is a possibility that a clear image of thedroplet 121 deposited in thepool 111 is not provided. In this case, different operating modes may be selected that successfully acquire the original images of those features for use in creating the composite image. Again, some example operating modes are illustrated by the techniques of FIGS. These modes are used by the visual system controller 124 so that data can be entered via theuser interface 128 to automatically use the parameters set for those modes or to modify the operating mode. May be set in advance. If it is determined that a different mode of operation should be used for the welding vision andcontrol system 100, the process of FIG. 6A returns to step 604, where the set of operating parameters is selected from a number of different modes. Or the mode is simply entered into theuser interface 128. In that regard, theuser interface 128 may store and apply preset modes in the welding vision andcontrol system 100.

図６Ａに示すフロー図のステップ６１４において、異なるモードが用いられるべきではないと判断された場合、プロセスはステップ６１６に進み、ここで、溶接が満足なものであるかどうかが判断される。溶接が満足なものであれば、プロセスは、動画が引き続き表示され、解析されてもよいように、ステップ６１２に戻る。ステップ６１６において、溶接が満足するものではないと判断された場合、プロセスはステップ６１８に進み、ここで、溶接システムパラメータが修正される。プロセスは、次いで、ステップ６０８に戻り、調整された溶接プロセスの合成画像が生成される。  If it is determined instep 614 of the flow diagram shown in FIG. 6A that a different mode should not be used, the process proceeds to step 616 where it is determined whether the weld is satisfactory. If the weld is satisfactory, the process returns to step 612 so that the animation may continue to be displayed and analyzed. If instep 616 it is determined that the weld is not satisfactory, the process proceeds to step 618 where the welding system parameters are modified. The process then returns to step 608 to generate a composite image of the adjusted welding process.

図６Ｂは、視覚システムコントローラ１２４の作動例を示すフロー図６５０である。図６Ｂに示すステップは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のコンピューティングシステム、組み込みプロセッサ、又はロジックハードウェアによって実行されてもよい。図６Ｂに開示するように、視覚システムコントローラ１２４は、ステップ６５２において電力供給波形に対して閾値を読み取る。視覚システムコントローラ１２４は、次いで、もしあれば、図２〜５に開示したような１つ以上の露光に関連する遅延を、ステップ６５４において読み取る。ステップ６５６において、コントローラは露光期間を読み取る。このデータの全ては、ＲＡＭ又はＲＯＭストレージ内、又は、ハードウェア実装内、ＥＥＰＲＯＭ内、又は他のストレージ内に格納されてもよい。露光期間がクロックパルスにおいて提供されない場合、視覚システムコントローラ１２４は、ステップ６５８において、各露光のためのクロックパルス数を計算してもよい。ステップ６６０において、視覚システムコントローラ１２４は検出器感度データを読み取る。上で開示したように、カメラ１２６内の光センサアレイの検出器は、調整可能な感度を有していてもよい。カメラ１２６内のこれらの検出器の感度は、光センサアレイへの入射光に対する感度が高くなる又は低くなるよう調整することができる。感度に関するデータは、感度が露光期間のそれぞれに対して変更できるように、図２〜５に示すもの等の露光期間のそれぞれに対して格納することができる。代替として、単一の感度が、露光期間の全てに対して選択されてもよい。ステップ６６２において、視覚システムコントローラ１２４は開口データを読み取る。開口データは、カメラ１２６の光センサアレイに入射する光量を調整するよう、露光期間のそれぞれに対して変更することができる。ステップ６６４において、視覚システムコントローラ１２４は、露光開始制御信号をカメラ１２６へ生成して、溶接領域１０９から生じるか、反射する光エネルギーへの光センサアレイの露光を開始する。露光を開始するための露光開始制御信号は、閾値に達する溶接電力波形に応じて、又は、電力波形が上で説明したように閾値に達する時間からの遅延に応じて、生成されてもよい。ステップ６６８において、視覚システムコントローラ１２４は、クロックパルス数が各露光期間に対して達した場合に、露光終了制御信号をカメラ１２６へ生成して、溶接領域１０９から生じるか、反射する光エネルギーへの光センサアレイの露光を終了させる。代替として、露光終了閾値は、カメラ１２６に対する露光終了制御信号の生成をトリガするために用いられてもよい。ステップ６７０において、制御信号は、視覚システムコントローラ１２６によって読み取られた感度データ及び開口データに従って、感度及び開口を調整するよう生成される。再度、制御信号は各露光期間のために生成されてもよい。ステップ６７２において、制御信号はカメラ１２６に適用される。カメラ１２６は、次いで、制御信号に従って全てのパラメータを調整する。ステップ６７４において、各露光期間中に生成された原画像のそれぞれのためのカメラ１２６からの画像データが、視覚システムコントローラ１２４によって受信される。ステップ６７６において、視覚システムコントローラ１２６は、様々なロジック機能を用いて個々の画像を合成画像に結合する。再度、これらのロジック機能は、画像の各セットにおける個々の原画像のそれぞれのピクセル同士を結合して所望の合成画像を得るための何らかの所望のロジック機能であってもよい。ステップ６７８において、合成画像は視聴のために表示される。  FIG. 6B is a flow diagram 650 illustrating an example operation of the vision system controller 124. The steps shown in FIG. 6B may be performed by a computing system such as a field programmable gate array (FPGA), an embedded processor, or logic hardware. As disclosed in FIG. 6B, vision system controller 124 reads a threshold value for the power supply waveform at step 652. The vision system controller 124 then reads instep 654 the delay associated with one or more exposures, if any, as disclosed in FIGS. Instep 656, the controller reads the exposure period. All of this data may be stored in RAM or ROM storage, or in a hardware implementation, EEPROM, or other storage. If the exposure period is not provided in clock pulses, vision system controller 124 may calculate the number of clock pulses for each exposure instep 658. Instep 660, the vision system controller 124 reads the detector sensitivity data. As disclosed above, the detector of the photosensor array incamera 126 may have adjustable sensitivity. The sensitivity of these detectors in thecamera 126 can be adjusted to increase or decrease sensitivity to light incident on the photosensor array. Sensitivity data can be stored for each exposure period, such as those shown in FIGS. 2-5, such that the sensitivity can be changed for each exposure period. Alternatively, a single sensitivity may be selected for all of the exposure periods. In step 662, the vision system controller 124 reads the aperture data. Aperture data can be changed for each exposure period to adjust the amount of light incident on the photosensor array of thecamera 126. Instep 664, the vision system controller 124 generates an exposure start control signal to thecamera 126 to begin exposing the photosensor array to light energy originating from or reflecting from theweld area 109. The exposure start control signal for starting the exposure may be generated according to the welding power waveform reaching the threshold value, or according to the delay from the time when the power waveform reaches the threshold value as described above. In step 668, the vision system controller 124 generates an end-of-exposure control signal to thecamera 126 when the number of clock pulses has been reached for each exposure period, to the light energy originating from or reflected from theweld area 109. The exposure of the photosensor array is terminated. Alternatively, the exposure end threshold may be used to trigger generation of an exposure end control signal for thecamera 126. Instep 670, a control signal is generated to adjust the sensitivity and aperture according to the sensitivity data and aperture data read by thevision system controller 126. Again, a control signal may be generated for each exposure period. Instep 672, the control signal is applied tocamera 126. Thecamera 126 then adjusts all parameters according to the control signal. Instep 674, image data from thecamera 126 for each of the original images generated during each exposure period is received by the vision system controller 124. Instep 676,visual system controller 126 combines the individual images into the composite image using various logic functions. Again, these logic functions may be any desired logic function for combining the respective pixels of the individual original images in each set of images to obtain a desired composite image. In step 678, the composite image is displayed for viewing.

図７は、溶接領域１０９から生じるか、反射する光エネルギーへのカメラ１２６の光センサアレイの露光を開始するためのシステム例７００を示している。図７に示すように、電力波形７０４、並びに閾値７０６は、コンパレータ７０２に印加される。コンパレータ７０２は、電力波形７０４の電気的特性、例えば、電圧の大きさと閾値７０６を比較する。これらの値が一致する場合、コンパレータ７０２は露光開始トリガー信号７０８を生成する。露光開始トリガー信号は、次いで、遅延カウンタ７１０に印加される。遅延カウンタは、もしあれば、遅延値に達するまでクロックパルス７１２の数をカウントする。遅延カウンタ７１０は、次いで、トリガ７１４を生成する。トリガ７１４は、カメラ１２６に印加される制御信号７１８を生成する制御信号発生器７１６に印加される。無論、図７に示すシステムは、遅延カウンタ７１０無しで作動できる。遅延カウンタ７１０は、特に、遅延値７２０が修正される可能性がある場合に、より多くの柔軟性を提供する。修正された遅延値７２０は、溶接用視覚及び制御システム１００の異なる作動モードにおいて用いられてもよい。  FIG. 7 shows anexample system 700 for initiating exposure of the photosensor array of thecamera 126 to light energy originating from or reflecting from theweld area 109. As shown in FIG. 7, the power waveform 704 and thethreshold value 706 are applied to thecomparator 702. Thecomparator 702 compares an electrical characteristic of the power waveform 704, for example, a voltage magnitude with athreshold value 706. If these values match, thecomparator 702 generates an exposurestart trigger signal 708. The exposure start trigger signal is then applied to thedelay counter 710. The delay counter, if any, counts the number ofclock pulses 712 until the delay value is reached. Thedelay counter 710 then generates atrigger 714. Thetrigger 714 is applied to acontrol signal generator 716 that generates acontrol signal 718 that is applied to thecamera 126. Of course, the system shown in FIG. 7 can operate without adelay counter 710. Thedelay counter 710 provides more flexibility, especially when the delay value 720 may be modified. The modified delay value 720 may be used in different operating modes of the welding vision andcontrol system 100.

図２、３、４、及び５に示す作動モード（技術）例において、４つの連続する原画像のセットは、何らかの方法で合成画像に結合される。例えば、上で説明したように、最初の４つの原画像２０４’、２１０’、２１６’、２２２’は、第１の合成画像２５３を作成するために結合される。結合プロセスは、後続の原画像を合成画像に結合するために繰り返される。４つの原画像が、１つの合成画像を作成するために結合されるよう図２、３、４、及び５の実施例に示されている一方で、いくつの数の原画像も、合成画像を作成するために用いられてもよい。二次元センサアレイの個々のセンサによって生成される電子的な値は、画像のピクセル光度値のラスターとして生成され、一般に、ラスター走査において光センサアレイから、例えば、通常、ラスターの一角におけるピクセル値から始まり、ラスターの反対側の角における最後のピクセル値までライン毎に進むラスターのライン毎に読み出される一連の個々のピクセルデータ値の状態で、読み出される。合成画像への結合用の４つの原画像から対応するピクセルを時間的に整列させるために用いられてもよいシステム例を、図８において略図で示す。図８に示すように、３つのシフトレジスタ８１０、８１２、及び８１４が、合成画像を作成するために用いられる４つの原画像のセットのうちの第１、第２、及び第３の原画像（例えば、図２の合成画像２５３を作成するために用いられる原画像２０４’、２１０’、２１６’）からの各ピクセルストリーム８０２、８０４、８０６内の対応するピクセル値を、合成画像を作成するために用いられる第４の原画像（例えば、図２の合成画像２５３の作成においても用いられる原画像２２２’）からのピクセルストリーム８０８と時間的に整列させるために用いられる。効果的に、最初の３つの原画像（例えば、原画像２０４’、２１０’、２１６’）のそれぞれの各ピクセルストリームは、それらが第４の原画像（例えば、原画像２２２’）のピクセルストリームと時間的に整列するように、各シフトレジスタ８１０、８１２、８１４によってそのうち次第に遅延される。４つの原画像のための４つのピクセルストリームからの対応するピクセル値が時間的に整列される場合、それらは、以下でより詳細に説明するように、合成画像（例えば、図２の合成画像２５３）を作成するために用いられる４つの原画像（例えば、原画像２０４’、２１０’、２１６’、２２２’）からの特定のピクセル値を選択するための評価及び選択プロセスにかけられてもよい。  In the example operating modes (techniques) shown in FIGS. 2, 3, 4 and 5, a set of four consecutive original images is combined in some way into a composite image. For example, as described above, the first fouroriginal images 204 ′, 210 ′, 216 ′, 222 ′ are combined to create a firstcomposite image 253. The combining process is repeated to combine subsequent original images with the composite image. While the four original images are shown in the embodiments of FIGS. 2, 3, 4, and 5 to be combined to create one composite image, any number of original images can be combined into a composite image. It may be used to create. The electronic values generated by the individual sensors of the two-dimensional sensor array are generated as a raster of the pixel intensity values of the image, generally from a photosensor array in a raster scan, for example, usually from pixel values at one corner of the raster. Read out in the state of a series of individual pixel data values that are read out for each line of the raster starting and going line by line to the last pixel value at the opposite corner of the raster. An example system that may be used to temporally align corresponding pixels from four original images for combination into a composite image is shown schematically in FIG. As shown in FIG. 8, threeshift registers 810, 812, and 814 have first, second, and third original images (of the set of four original images used to create the composite image). For example, the corresponding pixel values in eachpixel stream 802, 804, 806 from theoriginal images 204 ′, 210 ′, 216 ′) used to create thecomposite image 253 of FIG. Is used to temporally align with thepixel stream 808 from the fourth original image used in (for example, theoriginal image 222 ′ also used in the creation of thecomposite image 253 of FIG. 2). Effectively, each pixel stream of each of the first three original images (eg,original images 204 ′, 210 ′, 216 ′) is a pixel stream of which they are the fourth original image (eg,original image 222 ′). Are gradually delayed by eachshift register 810, 812, 814 so that they are aligned in time. When the corresponding pixel values from the four pixel streams for the four original images are temporally aligned, they are combined as described in more detail below (eg,composite image 253 in FIG. 2). ) May be subjected to an evaluation and selection process to select specific pixel values from the four original images (eg, theoriginal images 204 ′, 210 ′, 216 ′, 222 ′) used to create.

図２で見て取れるように、原画像２０４’は、露光終了トリガ２３０の時にカメラ１２６によって完全に作成される一方で、原画像２２２’は、露光終了トリガ２６６の時にカメラ１２６によって完全に作成される。言い換えれば、露光は、時間２３０、２６６内のそれらの各ポイントにおいてこれらの原画像２０４’、２２２’のそれぞれに対して完了し、それらの原画像２０４’、２２２’のためのシリアルピクセルストリームが、時間２３０、２６６内の各ポイントにおいてカメラ１２６によって転送される。従って、原画像２０４’のためのピクセル値は、露光終了トリガーポイント２３０と露光終了トリガーポイント２６６との間の時間、遅延されなければならない。クロックパルス数は、それら２つの露光終了トリガーポイント２３０、２６６間で決定され、シフトレジスタ８１０は、第１の原画像２０４’からのピクセルストリーム８０２がその時間、遅延されるように、その数のシフトセルを備える。シリアルピクセルストリーム８０２がシフトレジスタ８１０に入ると、クロックパルス８１６は、ピクセルデータをシフトレジスタ８１０を介して出力８２０に進める。  As can be seen in FIG. 2, theoriginal image 204 ′ is completely created by thecamera 126 at the end ofexposure trigger 230, while theoriginal image 222 ′ is completely created by thecamera 126 at the end ofexposure trigger 266. . In other words, the exposure is completed for each of theseoriginal images 204 ′, 222 ′ at their respective points withintimes 230, 266, and the serial pixel stream for thoseoriginal images 204 ′, 222 ′ is , Transferred bycamera 126 at each point intime 230, 266. Accordingly, the pixel value for the original image 204 'must be delayed for the time between the end-of-exposure trigger point 230 and the end-of-exposure trigger point 266. The number of clock pulses is determined between those two end-of-exposure trigger points 230, 266, and theshift register 810 determines that number of times so that thepixel stream 802 from the firstoriginal image 204 ′ is delayed for that time. A shift cell is provided. Asserial pixel stream 802 entersshift register 810,clock pulse 816 advances the pixel data tooutput 820 viashift register 810.

同様に、第２の原画像（例えば、原画像２１０’）からの第２のピクセルストリーム８０４は、所定量遅延される。この実施例において、遅延は、第２の原画像２１０’のための露光終了トリガーポイント２４２と第４の原画像２２２’のための露光終了トリガーポイント２６６との間の時間に等しい。シフトレジスタ８１２は、クロック信号８１６に応答して、シフトレジスタを介して第２の原画像２２２’からのピクセルデータストリーム８０４を移動させる。シフトレジスタ８１２内のセルの数は、露光終了トリガーポイント２４２と露光終了ポイント２６６との間のクロックパルスの数と等しい。図８のピクセルストリーム８０６は、第３の原画像、例えば、図２の原画像２１６’によって生成される。）シフトレジスタ８１４は、クロック信号８１６に応答して、シリアルピクセルストリーム８０６を移動させる。第４の原画像からのピクセルストリーム８０８は、シフトレジスタによって遅延されない。ピクセルストリーム８０２、８０４、８０６は、全て、ピクセルストリーム８０８と時間的に整列される。従って、出力８２０、８２２、８２４、８２６は時間的に整列された出力８１８を備えている。言い換えれば、１つの結合された画像（例えば、図２の第１の合成画像２５３を形成する原画像のセット内の４つの原画像（例えば、図２の原画像２０４’、２１０’、２１６’、２２２’）のそれぞれのための対応するピクセルは、全て、出力８１８において時間的に整列されている。このように、原画像の各セット内の原画像のそれぞれの対応するピクセルからのピクセル値は、結合画像の作成において用いるために、それぞれの対応する４つのピクセルからの単一のピクセル値の選択のために比較されてもよい。図８の整列デバイスは、かかるシステムにおけるピクセルがアドレスと共に格納されてもよく、比較をアドレス位置に基づいて行うことができるため、デジタルコンピュータシステム実装において必要とされなくてもよい。  Similarly, thesecond pixel stream 804 from the second original image (eg, original image 210 ') is delayed by a predetermined amount. In this example, the delay is equal to the time between the end ofexposure trigger point 242 for the second original image 210 'and the end ofexposure trigger point 266 for the fourth original image 222'. Theshift register 812 moves thepixel data stream 804 from the second original image 222 'through the shift register in response to theclock signal 816. The number of cells in theshift register 812 is equal to the number of clock pulses between the exposureend trigger point 242 and theexposure end point 266. The pixel stream 806 of FIG. 8 is generated by a third original image, for example, the original image 216 'of FIG. )Shift register 814 moves serial pixel stream 806 in response toclock signal 816. Thepixel stream 808 from the fourth original image is not delayed by the shift register. Pixel streams 802, 804, 806 are all temporally aligned withpixel stream 808. Thus, theoutputs 820, 822, 824, 826 comprise a time alignedoutput 818. In other words, four combined original images (eg, theoriginal images 204 ′, 210 ′, 216 ′ of FIG. 2) in one combined image (eg, the set of original images forming the firstcomposite image 253 of FIG. 2). , 222 ′) are all temporally aligned atoutput 818. Thus, the pixel values from each corresponding pixel of the original image in each set of original images. May be compared for selection of a single pixel value from each corresponding four pixel for use in the creation of a combined image.The alignment device of FIG. It may be stored and may not be required in a digital computer system implementation because the comparison can be based on address locations.

図９は、画像結合器９００の一実施例の略図である。図８の出力８１８において全てが時間的に整列された図８からの出力８２０、８２２、８２４、８２６からの４つの異なるピクセルストリームは、図９の画像結合器９００に印加され、それぞれ、第１の画像ピクセルストリーム９０２、第２の画像ピクセルストリーム９０４、第３の画像ピクセルストリーム９０６、及び第４の画像ピクセルストリーム９０８を備えている。従って、図２の個々の原画像（例えば、原画像２０４’、２１０’、２１６’、２２２’のそれぞれは、合成画像（例えば、図２の第１の合成画像２５２を作成するために用いられる４つの原画像のセット作っている。合成画像は、画像結合器９００を用いて、４つの異なる原画像のピクセルストリームからピクセル値を選択することによって作成されてもよい。第１の原画像（例えば、原画像２０４’）からのピクセルストリーム９０２は、飽和コンパレータ９２６及び暗部コンパレータ９３４に印加される。第１のピクセルストリーム９０２の各ピクセルは、原画像のそのピクセルを照明する入射放射線の輝度すなわち強度を示すデジタル値を有している。そのデジタル値は、飽和値９１０と比較されて、飽和値９１０と、カメラ１２６の光センサアレイが、溶接領域１０９から生じるか、反射する光エネルギーに対して露光された場合に、そのピクセルに入射した溶接領域１０９（図１）からの光エネルギーの輝度すなわち強度との間の差を示すデルタ信号９４２を生成する。その差信号９４２は、飽和差コンパレータ９５８に印加される。ピクセルストリーム９０２内の各ピクセルも、また、ピクセルストリーム９０２内のピクセルのそれぞれの輝度デジタル値と暗部値９１８を比較する暗部コンパレータ９３４に印加される。暗部値９１８は単にゼロであってもよく、それはユーザによって選択されたその他の値を構成してもよい。飽和値９１０及び暗部値９１８の両方は、ユーザインターフェース１２８を介してユーザによって入力されてもよい。それ以外の場合は、これらの飽和及び暗部値は、飽和コンパレータ９２６及び暗部コンパレータ９３４に格納されてもよい。暗部値９１８と、カメラ１２６の光センサアレイが、溶接領域１０９から生じるか、反射する光エネルギーに対して露光された場合に、そのピクセルに入射した溶接領域１０９からの光エネルギーの強度との間の差を示す差信号９５０は、暗部差コンパレータ９６２に印加される。  FIG. 9 is a schematic diagram of one embodiment of an image combiner 900. Four different pixel streams fromoutputs 820, 822, 824, and 826 from FIG. 8, all temporally aligned atoutput 818 of FIG. 8, are applied to image combiner 900 of FIG.Image pixel stream 902, secondimage pixel stream 904, third image pixel stream 906, and fourthimage pixel stream 908. Accordingly, each of the individual original images of FIG. 2 (eg, theoriginal images 204 ′, 210 ′, 216 ′, 222 ′ is used to create a composite image (eg, the firstcomposite image 252 of FIG. 2). A set of four original images is being created, and a composite image may be created using the image combiner 900 by selecting pixel values from a pixel stream of four different original images. For example, thepixel stream 902 from theoriginal image 204 ′) is applied to asaturation comparator 926 and adark comparator 934. Each pixel of thefirst pixel stream 902 is the intensity of incident radiation that illuminates that pixel of the original image, ie, It has a digital value indicating the intensity, which is compared with thesaturation value 910 and thesaturation value 910 and thecamera 126. The difference between the intensity or intensity of light energy from the weld area 109 (FIG. 1) incident on that pixel when the photosensor array is exposed to light energy originating from or reflected from theweld area 109. Thedifference signal 942 is applied to a saturation difference comparator 958. Each pixel in thepixel stream 902 also has a luminance digital value and a dark value for each of the pixels in thepixel stream 902. Applied to adark comparator 934 that compares 918. Thedark value 918 may simply be zero, which may constitute other values selected by the user, both thesaturation value 910 and thedark value 918 are May be entered by the user via theuser interface 128. Otherwise, These saturation and dark area values may be stored insaturation comparator 926 anddark area comparator 934. The dark area values 918 and the light sensor array ofcamera 126 are relative to the light energy that originates from or reflects fromweld area 109. When exposed, adifference signal 950 indicating the difference between the intensity of light energy from theweld area 109 incident on the pixel is applied to a darkarea difference comparator 962.

同様に、第２の原画像の第２のピクセルストリーム９０４は、飽和コンパレータ９２８に、及び暗部コンパレータ９３６に印加される。ピクセルストリーム９０４内のピクセル値の比較は、飽和差信号９４４及び暗部差信号９５２を生成するよう、飽和値９１２及び暗部値９２０と行われる。飽和差信号９４４は飽和差コンパレータ９５８に印加される。暗部差信号９５２は暗部差コンパレータ９６２に印加される。  Similarly, thesecond pixel stream 904 of the second original image is applied to thesaturation comparator 928 and to thedark area comparator 936. Comparison of pixel values in thepixel stream 904 is performed with thesaturation value 912 and thedark value 920 to generate asaturation difference signal 944 and adark difference signal 952.Saturation difference signal 944 is applied to saturation difference comparator 958. The darkpart difference signal 952 is applied to the darkpart difference comparator 962.

同様に、第３の原画像の第３のピクセルストリーム９０６は、飽和コンパレータ９３０及び暗部コンパレータ９３８に印加される。飽和コンパレータ９３０は、飽和差コンパレータ９５８に印加される飽和差信号９４６を生成する。飽和差信号９４６は、露光中にカメラ１２６内の光センサアレイにおけるピクセルを照明した入射放射線の強度と、飽和値９１４との間の差である。ピクセルストリーム９０６は、また、露光中にカメラ１２６内の光センサアレイにおけるピクセルを照明した入射放射線の強度と暗部値９２２とを比較して、暗部差コンパレータ９６２に印加される暗部差信号９５４を生成する暗部コンパレータ９３８にも印加される。  Similarly, the third pixel stream 906 of the third original image is applied to the saturation comparator 930 and thedark area comparator 938. The saturation comparator 930 generates asaturation difference signal 946 that is applied to the saturation difference comparator 958. Thesaturation difference signal 946 is the difference between the intensity of incident radiation that illuminated the pixels in the photosensor array in thecamera 126 during exposure and thesaturation value 914. The pixel stream 906 also compares the intensity of the incident radiation that illuminated the pixels in the photosensor array in thecamera 126 during exposure and thedark value 922 to generate adark difference signal 954 that is applied to thedark difference comparator 962. Thedark portion comparator 938 is also applied.

同様に、第４の原画像の第４のピクセルストリーム９０８は、飽和コンパレータ９３２及び暗部コンパレータ９４０に印加される。飽和コンパレータ９３２は、飽和差コンパレータ９５８に印加される飽和差信号９４８を生成する。飽和差信号９４８は、露光中にカメラ１２６内の光センサアレイにおけるピクセルを照明した入射放射線の強度と、飽和値９１６との間の差である。ピクセルストリーム９０８は、また、露光中にカメラ１２６内の光センサアレイにおけるピクセルを照明した入射放射線の強度と暗部値９２４とを比較して、暗部差コンパレータ９６２に印加される暗部差信号９５６を生成する暗部コンパレータ９４０にも印加される。  Similarly, thefourth pixel stream 908 of the fourth original image is applied to thesaturation comparator 932 and thedark area comparator 940. Thesaturation comparator 932 generates asaturation difference signal 948 that is applied to the saturation difference comparator 958. Thesaturation difference signal 948 is the difference between the intensity of the incident radiation that illuminated the pixels in the photosensor array in thecamera 126 during exposure and thesaturation value 916. Thepixel stream 908 also compares the intensity of the incident radiation that illuminated the pixels in the photosensor array in thecamera 126 during exposure and thedark value 924 to generate adark difference signal 956 that is applied to thedark difference comparator 962. This is also applied to thedark part comparator 940.

飽和値９１０、９１２、９１４、９１６及び暗部値９１８、９２０、９２２、９２４は、特定のシステムのために固定されてもよく、又は、それらは機械視覚技術により手動又は自動のどちらか一方によって調整可能であってもよい。  Saturation values 910, 912, 914, 916 anddark values 918, 920, 922, 924 may be fixed for a particular system, or they are adjusted either manually or automatically by machine vision techniques It may be possible.

図９Ａに示す一実施例において、図２の合成画像２５３は、上で説明したように、４つの原画像２０４’、２１０’、２１６’、２２２’から融合される。また、上でも説明したように、図２のそれらの４つの原画像２０４’、２１０’、２１６’、２２２’は、カメラ１２６によって次第に増加する露光期間２０４、２１０、２１６、２２２から作成された。従って、カメラ１２６内の光センサアレイにおけるピクセル光センサは、溶接領域１０９（図１）内の特定の特徴から、例えば、溶接ビード３０３、溶接機ノズル１０４、溶接機電極１０６、アーク１０７、プラズマ１０８、溶接たまり１１１、母材１１０、１１２、溶融帯１１３、及び溶滴１２１から生じるか、反射する光を吸収するための、次第に増加する露光期間２０４、２１０、２１６、２２２を有していた。それらの特徴のうちの幾つか（例えば、アーク１０７及びプラズマ１０８）は、その他（例えば、電極１０６、溶接たまり１１１、溶滴１２１、及び溶融帯１１３）よりも幾分か明るく、更にその他（例えば、溶接ビード１０３、溶接機ノズル１０４、及び母材１１０、１１２）よりもはるかに明るい。従って、最も明るい特徴から（例えば、アーク１０７及びプラズマ１０８から）生じるか、反射する強い光エネルギーは、かかる強い光エネルギーが集中するカメラ１２６の光センサアレイ内の特定の光センサ又は検出器を飽和させる高い可能性を有しているのに対して、それ程明るくない特徴からのそれ程強くはない光エネルギーは、かかるそれ程強くない光エネルギーが集中するカメラ１２６の光センサアレイ内の特定の光センサ又は検出器を飽和させる可能性が低い。飽和した光センサ又は検出器は、画像のために使用可能なピクセルデータを生成しない。従って、最も強い光エネルギーが集中するカメラ１２６の光センサアレイ内の光センサ又は検出器から使用可能なピクセルデータを得るために、かかる強い光エネルギーに対するそれらの光センサ又は検出器の露光は、制限されなければならない。一方で、より暗い特徴から（例えば、溶接ビード１０３及び母材１１０、１１２から反射される光エネルギーが、それらの暗い特徴から使用可能なピクセルデータを生成するよう、かかる低いエネルギーの光が集中するカメラ１２６内の光センサ又は検出器にとって、十分なエネルギーを有していない場合、結果として生じる原画像内のそれらのピクセルは、それらの暗い特徴を示さない。従って、より長い露光期間は、それらの暗い特徴からの十分な光エネルギーが、かかるそれ程強くない光エネルギーが集中するカメラ１２６の光センサアレイ内の光センサ又は検出器によって検出されることを可能にしてもよく、それによって、それらの光センサ又は検出器がそれらの暗い特徴のための有用なピクセルデータを生成することを可能にしている。従って、図２の実施例における次第に長くなる露光期間２０４、２１０、２１６、２２２の目標は、最も明るい特徴からの最も強い光エネルギーが集中するカメラ１２６の光センサアレイ内の特定の光センサ又は検出器が、短い露光期間中（例えば、第１及び第２の露光期間２０４、２１０中）に、それ程強くない光エネルギーが集中する光センサ又は検出器がそれらの短い露光期間中に使用可能なピクセルデータを生成することができないとしても、飽和することなく、使用可能なピクセルデータを生成することを可能にすることにある。次いで、後続のより長い露光期間中（例えば、第３及び第４の露光期間２１６、２２２中）に、暗い特徴からのそれ程強くない光エネルギーが集中するカメラ１２６の光センサアレイ内の光センサ又は検出器は、最も強い光エネルギーが集中する光センサ又は検出器が飽和する可能性があるとしても、使用可能なピクセルデータを生成することができるであろう。従って、パラメータ（例えば、開口、センサ感度、及び任意選択の減光プレート１３０（図１）による任意選択の減衰の場合、図２の実施例の最も短い露光期間２０４からの第１の原画像２０４’は、最も明るい特徴（例えば、アーク１０７及びプラズマ１０８）からの使用可能なピクセルを有するのに対して、図２の実施例のそれぞれ連続する後続の原画像２１０’、２１６’、２２２’は、飽和した光センサ又は検出器からの、従って、役に立たない多くのピクセルではあるが、暗い特徴（例えば、溶接ビード１０３及び母材１１０、１１２にとっても、より使用可能な、光センサ又は検出器からのピクセルを有していてもよい。幾分か明るい特徴（例えば、ノズル１０４、電極１０６、たまり１１１、溶融帯１１３、及び溶滴１２１）からの中間強度の光エネルギーは、中間強度の光エネルギーが集中するカメラ１２６の光センサアレイ内の光センサ又は検出器が原画像２０４’、２１０’、２１６’、２２２’のうちの幾つか又は全てにおいて有用なピクセルを生成することを可能にする範囲内にあってもよい。  In one embodiment shown in FIG. 9A, thecomposite image 253 of FIG. 2 is fused from the four original images 204 ', 210', 216 ', 222' as described above. Also, as described above, those fouroriginal images 204 ′, 210 ′, 216 ′, 222 ′ in FIG. 2 were created by thecamera 126 from the increasingexposure periods 204, 210, 216, 222. . Accordingly, the pixel photosensors in the photosensor array incamera 126 may, for example, be welded 303,welder nozzle 104,welder electrode 106,arc 107,plasma 108 due to specific features in weld area 109 (FIG. 1). And gradually increasingexposure periods 204, 210, 216, 222 for absorbing light originating from or reflecting from theweld pool 111, thebase materials 110, 112, themelt zone 113, and thedroplet 121. Some of these features (eg,arc 107 and plasma 108) are somewhat brighter than others (eg,electrode 106,weld pool 111,droplet 121, and molten zone 113), and others (eg, Much brighter than theweld bead 103,welder nozzle 104, andbase material 110, 112). Thus, strong light energy that arises from or reflects from the brightest features (eg, from thearc 107 and the plasma 108) saturates a particular light sensor or detector in the light sensor array of thecamera 126 where such strong light energy is concentrated. Light energy from features that are not so bright, while less likely to be a particular light sensor in the light sensor array of thecamera 126 where such less intense light energy is concentrated or Less likely to saturate the detector. A saturated light sensor or detector does not produce usable pixel data for the image. Therefore, in order to obtain usable pixel data from the light sensors or detectors in the light sensor array of thecamera 126 where the strongest light energy is concentrated, the exposure of those light sensors or detectors to such strong light energy is limited. It must be. On the other hand, such low energy light is concentrated so that light energy reflected from darker features (eg, light energy reflected fromweld bead 103 andbase materials 110, 112 produces usable pixel data from those dark features). If there is not enough energy for the light sensor or detector incamera 126, those pixels in the resulting original image will not show their dark features. Sufficient light energy from the dark features of thecamera 126 may be allowed to be detected by a light sensor or detector in the light sensor array of thecamera 126 where such less intense light energy is concentrated. Allows light sensors or detectors to generate useful pixel data for those dark features Thus, the goal of the progressivelylonger exposure periods 204, 210, 216, 222 in the embodiment of Fig. 2 is the specific light sensor in the light sensor array of thecamera 126 where the strongest light energy from the brightest features is concentrated. Or, a light sensor or detector that concentrates less intense light energy during short exposure periods (eg, during the first andsecond exposure periods 204, 210) can be used during those short exposure periods It is possible to generate usable pixel data without saturation even if the pixel data cannot be generated, and then during subsequent longer exposure periods (e.g. 4exposure periods 216, 222) during which the light sensors in the photosensor array of thecamera 126 are concentrated with less intense light energy from dark features. The sensor or detector will be able to generate usable pixel data even if the light sensor or detector where the strongest light energy is concentrated may saturate. , Sensor sensitivity, and optional attenuation by the optional dimming plate 130 (FIG. 1), the firstoriginal image 204 ′ from theshortest exposure period 204 of the embodiment of FIG. For example, each successive subsequentoriginal image 210 ′, 216 ′, 222 ′ of the embodiment of FIG. 2 has a saturated photosensor or detection, while having usable pixels from thearc 107 and plasma 108). A lot of pixels from the vessel, and thus useless, but also darker features (eg, more usable forweld bead 103 and preforms 110, 112) You may have pixels from photosensors or detectors. Intermediate intensity light energy from somewhat bright features (eg,nozzle 104,electrode 106,pool 111,melt zone 113, and droplet 121) is within the photosensor array ofcamera 126 where the intermediate intensity light energy is concentrated. May be within a range that allows the generation of useful pixels in some or all of theoriginal images 204 ′, 210 ′, 216 ′, 222 ′.

図９の画像結合器９００の目的は、図２の技術例２００の原画像２０４’、２１０’、２１６’、２２２’から適切なピクセルを選択、融合させて、特定の視聴、分析、又は制御目的のためにユーザによって所望されるような溶接領域１０９（図１）内の特徴のうちの１つ、幾つか、又は全てを明瞭に示すピクセルを有する合成画像２５３を生成することにある。無論、その目的は、本明細書中で説明する他の技術例及び原画像に適用できる。結合器９００の一適用例において、原画像２０４’、２１０’、２１６’、２２２’内のそれぞれ任意に対応するピクセルからの任意のピクセル値９８０、９８１、９８２、９８３は、それらが図９の第１、第２、第３、及び第４の画像ピクセルストリーム９０２、９０４、９０６、９０８において生じるものとして、図９Ａに図示されている。グラフ内のより高いピクセル値は、より明るいことを意味するが、輝度光エネルギー強度の何の特定の単位も、この図に対して用いられていない。この図９Ａの実施例において、図９の飽和コンパレータ９２６、９２８、９３０、９３２の４つ全てに対する飽和値９１０、９１２、９１４、９１６は、互いに同じように設定されているが、それらは異なっていてもよい。同様に、図９の暗部コンパレータ９３４、９３６、９３８、９４０の４つ全てに対する暗部値９１８、９２０、９２２、９２４は、この図９Ａの実施例において互いに同じように設定されているが、それらは異なっていてもよい。第１の原画像２０４’は最も短い露光期間を有しているため（図２）、その原画像２０４’内のピクセルのピクセル値９８０は、上で説明したように、第２、第３、及び第４の原画像２１０’、２１６’、２２２’内の対応するピクセルの次第に高くなるピクセル値９８１、９８２、９８３よりも低い可能性がある。  The purpose of the image combiner 900 of FIG. 9 is to select and fuse appropriate pixels from theoriginal images 204 ′, 210 ′, 216 ′, 222 ′ of theexample technique 200 of FIG. 2 for specific viewing, analysis, or control. The goal is to generate acomposite image 253 having pixels that clearly show one, some, or all of the features in the weld area 109 (FIG. 1) as desired by the user for the purpose. Of course, the purpose can be applied to other technical examples and original images described herein. In one application of the combiner 900, arbitrary pixel values 980, 981, 982, 983 from arbitrarily corresponding pixels in theoriginal images 204 ′, 210 ′, 216 ′, 222 ′, respectively, 9A is shown as occurring in the first, second, third, and fourth image pixel streams 902, 904, 906, 908. Higher pixel values in the graph mean brighter, but no specific unit of luminance light energy intensity is used for this figure. In the embodiment of FIG. 9A, the saturation values 910, 912, 914, 916 for all four of thesaturation comparators 926, 928, 930, 932 of FIG. 9 are set the same as each other, but they are different. May be. Similarly, the dark part values 918, 920, 922, 924 for all four of thedark part comparators 934, 936, 938, 940 in FIG. 9 are set in the same manner in the embodiment of FIG. May be different. Since the firstoriginal image 204 ′ has the shortest exposure period (FIG. 2), the pixel values 980 of the pixels in theoriginal image 204 ′ are second, third, And may be lower than the progressively higher pixel values 981, 982, 983 of the corresponding pixels in the fourthoriginal image 210 ′, 216 ′, 222 ′.

原画像２０４’、２１０’、２１６’、２２２’からのそれらのピクセル値９８０、９８１、９８２、９８３が図９の飽和コンパレータ９２６、９２８、９３０、９３２における飽和値９１０、９１２、９１４、９１６と比較される場合、結果として生じる飽和差信号９４２、９４４、９４６、９４８は、図９Ａに示すように、次第に小さくなる。この実施例において、第４の原画像２２２’からのピクセル値９８３は、その第４の原画像２２２’が作成された長い露光期間２２２（図２）のために、飽和されているものとして示されており、これは、溶接領域１０９内の極めて明るい特徴（例えば、アーク１０７又はプラズマ１０８）からの高強度光エネルギーが、そのピクセルを作成したカメラ１２６の光センサアレイ内の光センサ又は検出器上に集中した場合に生じてもよい。従って、図９Ａに示すように、第４の原画像２２２’内のそのピクセル値９８３のための結果として生じる飽和差信号９４８はゼロであり、これは、第４の原画像２２２’内のピクセルが使用できないことを示している。一方で、それぞれ、第１、第２、及び第３の原画像２０４’、２１０’、２１６’内の対応するピクセルのためのピクセル値９８０、９８１、９８２から結果として生じる非ゼロ飽和差信号９４２、９４４、９４６は、何の輝度、コントラスト、又は他の画像特性が結果の合成画像２５３に対して望まれているかに応じて、それら３つのピクセル値９８０、９８１、９８２のうちのいずれかが合成画像２５３（図２）のために潜在的に使用可能であることを示している。  Those pixel values 980, 981, 982, 983 from theoriginal images 204 ′, 210 ′, 216 ′, 222 ′ are the saturation values 910, 912, 914, 916 in thesaturation comparators 926, 928, 930, 932 of FIG. When compared, the resulting saturation difference signals 942, 944, 946, 948 become progressively smaller, as shown in FIG. 9A. In this example, thepixel value 983 from the fourthoriginal image 222 ′ is shown to be saturated due to the long exposure period 222 (FIG. 2) over which the fourthoriginal image 222 ′ was created. This is because a high intensity light energy from a very bright feature in the weld area 109 (eg,arc 107 or plasma 108) is the photosensor or detector in the photosensor array of thecamera 126 that created the pixel. May occur when concentrated on top. Thus, as shown in FIG. 9A, the resultingsaturation difference signal 948 for thatpixel value 983 in the fourthoriginal image 222 ′ is zero, which is the pixel in the fourthoriginal image 222 ′. Indicates that it cannot be used. Meanwhile, a non-zerosaturation difference signal 942 resulting frompixel values 980, 981, 982 for corresponding pixels in the first, second, and thirdoriginal images 204 ′, 210 ′, 216 ′, respectively. , 944, 946 may be any of those threepixel values 980, 981, 982 depending on what brightness, contrast, or other image characteristics are desired for the resultingcomposite image 253. It shows that it can potentially be used for the composite image 253 (FIG. 2).

図９Ａを続けて参照すると、原画像２０４’、２１０’、２１６’、２２２’からのそれらのピクセル値９８０、９８１、９８２、９８３が図９の暗部コンパレータ９３４、９３６、９３８、９４０における暗部値９１８、９２０、９２２、９２４と比較される場合、結果として生じる暗部差信号９５０、９５２、９５４、９５６は、次第に小さくなる。この実施例において、第１の原画像２２２’からのピクセル値９８０は、その第１の原画像２２２’が作成された短い露光期間２０４（図２）のために、暗部として示されており、これは、溶接領域１０９内の暗い特徴（例えば、溶接１０３又は母材１１０、１１２）からの低強度光エネルギーが、そのピクセルを作成したカメラ１２６の光センサアレイ内の光センサ又は検出器上に集中した場合に生じてもよい。従って、図９Ａに示すように、第１の原画像２０４’内のそのピクセル値９８０のための結果として生じる暗部差信号９５０はゼロであり、これは、溶接領域内の暗い特徴が特定の合成画像２５３において可視であろうとなかろうと、ユーザが気にしない限り、第１の原画像２０４’内のピクセルが使用できない可能性があることを示している。例えば、ユーザ又は自動機械視覚システムは、通常は最も暗い特徴の１つではない溶滴１２１だけに関心があるかもしれず、この場合は、そのピクセル値９８０は使用可能であってもよい。一方で、それぞれ、第２、第３、及び第４の原画像２１０’、２１６’、２２２’内の対応するピクセルのためのピクセル値９８１、９８２、９８３から結果として生じる非ゼロ暗部差信号９５２、９５４、９５６は、何の輝度、コントラスト、又は他の画像特性が結果の合成画像２５３に対して望まれているかに応じて、それら３つのピクセル値９８１、９８２、９８３のうちのいずれかが合成画像２５３（図２）のために潜在的に使用可能であることを示している。  With continued reference to FIG. 9A, those pixel values 980, 981, 982, 983 from theoriginal images 204 ′, 210 ′, 216 ′, 222 ′ are the dark area values in thedark area comparators 934, 936, 938, 940 of FIG. When compared to 918, 920, 922, 924, the resulting dark difference signals 950, 952, 954, 956 become progressively smaller. In this example, thepixel value 980 from the firstoriginal image 222 ′ is shown as dark because of the short exposure period 204 (FIG. 2) during which the firstoriginal image 222 ′ was created, This is because low-intensity light energy from dark features in the weld area 109 (eg,weld 103 ormatrix 110, 112) is on the photosensors or detectors in the photosensor array of thecamera 126 that created the pixel. May occur when concentrated. Thus, as shown in FIG. 9A, the resultingdark difference signal 950 for thatpixel value 980 in the firstoriginal image 204 ′ is zero, which means that the dark features in the weld region are a specific composite. Whether or not it is visible in theimage 253 indicates that the pixels in the firstoriginal image 204 ′ may not be usable unless the user cares. For example, a user or automated machine vision system may be interested only indroplet 121, which is not usually one of the darkest features, in which case itspixel value 980 may be usable. On the other hand, the non-zerodark difference signal 952 resulting from the pixel values 981, 982, 983 for the corresponding pixels in the second, third, and fourthoriginal images 210 ′, 216 ′, 222 ′, respectively. , 954, 956 may be any of those threepixel values 981, 982, 983 depending on what brightness, contrast, or other image characteristics are desired for the resultingcomposite image 253. It shows that it can potentially be used for the composite image 253 (FIG. 2).

しかし、第４の原画像２２２’からの対応ピクセルが、上で説明したように、飽和により使用できないため、そして、第１の原画像２０４’からの対応ピクセルが、上で説明したように、暗いため、第２及び第３の原画像２１０’、２１６’からの対応ピクセル値９８１、９８２のみが、この実施例において、合成画像２５３内の溶接領域１０９（図１）の照明された特徴を示すために使用可能である。無論、電力波形の他の部分（位相）にわたる他の露光期間、他の光センサアレイ感度設定、他の絞り設定、他の光減衰、補助照明、及び他の調整は、様々なピクセルに対する異なる結果を提供できる。原画像の対応するピクセル値の大部分若しくは全てでさえも、露光期間、それにわたって露光が行われる電力波形の位相、センサアレイ感度設定、絞り設定、光減衰、補助照明、及び露光期間中の他の調整等のパラメータを動的に変化させることによって、飽和未満及び暗部超に維持されてもよいことが可能である。  However, since the corresponding pixel from the fourthoriginal image 222 ′ cannot be used due to saturation, as described above, and the corresponding pixel from the firstoriginal image 204 ′, as described above, Due to the darkness, only the corresponding pixel values 981, 982 from the second and thirdoriginal images 210 ′, 216 ′ represent the illuminated features of the weld region 109 (FIG. 1) in thecomposite image 253 in this example. Can be used to show. Of course, other exposure periods across other parts (phases) of the power waveform, other photosensor array sensitivity settings, other aperture settings, other light attenuation, auxiliary illumination, and other adjustments will result in different results for various pixels. Can provide. Most or even all of the corresponding pixel values in the original image are exposed during the exposure period, the phase of the power waveform over which exposure is performed, sensor array sensitivity settings, aperture settings, light attenuation, auxiliary illumination, and others during the exposure period. It is possible that it may be kept below saturation and above the dark by dynamically changing parameters such as adjustment of.

また、図９にも示すように、輝度範囲値９６０は飽和差コンパレータ９５８に印加される。同様に、暗部範囲値９６４は暗部差コンパレータ９６２に印加される。飽和差信号９４２、９４４、９４６、９４８も、飽和差コンパレータ９５８に印加される。飽和差コンパレータ９５８は、飽和差信号９４２〜９４８を比較し、一実施形態において、範囲値９６０の有効範囲内に入る最大飽和差信号を選択する。飽和差コンパレータ９５８の出力における選択済飽和通過後ピクセル９６６は、従って、飽和値から最も遠いが、依然として値９６０の輝度範囲内に入るピクセル値を有している。従って、４つの異なるピクセルストリームから選択されるピクセルは、飽和していないピクセルであるが、合成画像内に表示され、見ることができるピクセル値を有している。上で検討した図９Ａの実施例において、輝度範囲値９６０は、図９Ｂに示すような輝度範囲９６０’を提供するよう設定されてもよい。この実施例において、従って、第１の原画像２０４’からのピクセル値９８０は、輝度範囲９６０’未満であるものとして不合格判定され、第４の原画像２２２’からのピクセル値９８３は、輝度範囲９６０’を超えるものとして不合格判定される。それぞれ第２及び第３の原画像２１０’、２１６’からの２つのピクセル値９８１、９８２の間のように、第２の原画像２１０’からのピクセルは、第３の原画像２１６’からのピクセルの飽和差信号９４６よりも大きい飽和差信号９４４を有している。従って、上で説明した試験によれば、飽和差コンパレータ９５８（図９）は、合成画像２５３（図２）を融合させることに用いるために第２の原画像２１０’からのピクセルを選択し、そのピクセル値９８１を有するそのピクセルが、選択済飽和通過後ピクセル９６６としてピクセルセレクタ９７０に出力される。言い換えれば、選択済飽和通過後ピクセル９６６は、合成画像内で視認可能であり、飽和点に近づきすぎていないピクセルである。無論、飽和差コンパレータ９５８は、異なる試験と共に設定されてもよい。例えば、輝度範囲値９６０の有効範囲内に入る最大飽和差信号を選択する代わりに、飽和差コンパレータ９５８は、範囲値９６０の有効範囲内に入る最小飽和差信号を選択するよう設定されてもよい。仮に、輝度範囲値９６０の上端が、飽和近傍が問題ではないことを確実にするよう、十分に飽和値未満に設定されると、この試験は、図９Ｂの実施例において、第３の原画像２１６’からのピクセルである最も明るい許容可能なピクセルを選定する。  Further, as shown in FIG. 9, the luminance range value 960 is applied to the saturation difference comparator 958. Similarly, the darkarea range value 964 is applied to the darkarea difference comparator 962. Saturation difference signals 942, 944, 946, 948 are also applied to the saturation difference comparator 958. A saturation difference comparator 958 compares the saturation difference signals 942-948 and, in one embodiment, selects the maximum saturation difference signal that falls within the valid range of the range value 960. The selectedpost-saturation pixel 966 at the output of the saturation difference comparator 958 thus has a pixel value that is farthest from the saturation value but still falls within the luminance range of the value 960. Thus, the pixels selected from the four different pixel streams are non-saturated pixels, but have pixel values that are displayed and visible in the composite image. In the example of FIG. 9A discussed above, the luminance range value 960 may be set to provide a luminance range 960 'as shown in FIG. 9B. In this example, therefore, thepixel value 980 from the firstoriginal image 204 ′ is rejected as being less than the luminance range 960 ′, and thepixel value 983 from the fourthoriginal image 222 ′ is A failure is determined as exceeding the range 960 ′. The pixels from the secondoriginal image 210 ′ are from the thirdoriginal image 216 ′, such as between the twopixel values 981, 982 from the second and thirdoriginal images 210 ′, 216 ′, respectively. It has asaturation difference signal 944 that is larger than the pixelsaturation difference signal 946. Thus, according to the tests described above, the saturation difference comparator 958 (FIG. 9) selects pixels from the secondoriginal image 210 ′ for use in fusing the composite image 253 (FIG. 2), The pixel having thepixel value 981 is output to thepixel selector 970 as the selected saturated passedpixel 966. In other words, the selectedpost-saturation pixel 966 is a pixel that is visible in the composite image and is not too close to the saturation point. Of course, the saturation difference comparator 958 may be configured with different tests. For example, instead of selecting the maximum saturation difference signal that falls within the effective range of the luminance range value 960, the saturation difference comparator 958 may be set to select the minimum saturation difference signal that falls within the effective range of the range value 960. . If the upper end of the luminance range value 960 is set sufficiently below the saturation value to ensure that near saturation is not a problem, this test is the third original image in the example of FIG. 9B. Select the brightest acceptable pixel that is the pixel from 216 ′.

暗部差信号９５０、９５２、９５４、９５６も、暗部差コンパレータ９６２に印加される。暗部差コンパレータ９６２は、最大ではあるが、依然として暗部範囲値９６４内に入る暗部差信号を選択する。言い換えれば、合成画像内で見るために暗すぎず、依然として値の範囲内に入るピクセルを選択することが望ましい。選択済暗部通過後ピクセル９６８が、次いで、ピクセルセレクタ９７０に印加される。図９Ａの実施例において、暗部範囲値９６４は、図９Ｃに示すような暗部範囲９６４’を提供するよう設定されてもよい。この実施例において、従って、第１の原画像２０４’からのピクセル値９８０は、暗部範囲９６４’未満であるものとして不合格判定され、第４の原画像２２２’からのピクセル値９８３は、暗部範囲９６４’を超えるものとして不合格判定される。それぞれ第２及び第３の原画像２１０’、２１６’からの２つのピクセル値９８１、９８２の間のように、第３の原画像２１６’からのピクセルは、第２の原画像２１６’からのピクセルの飽和差信号９５２よりも大きい飽和差信号９５４を有している。従って、上で説明した試験によれば、暗部差コンパレータ９６２（図９）は、合成画像２５３（図２）を融合させることに用いるために第３の原画像２１０’からのピクセルを選択し、そのピクセル値９８２を有するそのピクセルが、選択済暗部通過後ピクセル９６８としてピクセルセレクタ９７０に出力される。言い換えれば、選択済暗部通過後ピクセル９６８は、合成画像内で視認可能であり、暗部点に近づきすぎていないピクセルである。無論、暗部差コンパレータ９６２は、異なる試験と共に設定されてもよい。例えば、暗部範囲値９６４の有効範囲内に入る最大飽和差信号を選択する代わりに、飽和差コンパレータ９６２は、範囲値９６４の有効範囲内に入る最小暗部差信号を選択するよう設定されてもよい。仮に、暗部範囲値９６４の上端が、ピクセルが合成画像内で視認可能であることを確実にするよう、十分に暗部値を上回って設定されると、この試験は、図９Ｂの実施例において、第２の原画像２１６’からのピクセルである最も暗い許容可能なピクセルを選定する。  Dark portion difference signals 950, 952, 954, 956 are also applied to the darkportion difference comparator 962. The darkarea difference comparator 962 selects the dark area difference signal that is maximal but still falls within the darkarea range value 964. In other words, it is desirable to select pixels that are not too dark to see in the composite image and still fall within the range of values. Thepixel 968 after passing the selected dark portion is then applied to thepixel selector 970. In the example of FIG. 9A, thedark range value 964 may be set to provide a dark range 964 'as shown in FIG. 9C. In this embodiment, therefore, thepixel value 980 from the firstoriginal image 204 ′ is determined to be less than thedark area 964 ′ and thepixel value 983 from the fourthoriginal image 222 ′ is dark. A failure is determined as exceeding therange 964 ′. The pixels from the thirdoriginal image 216 ′ are from the secondoriginal image 216 ′, such as between the twopixel values 981, 982 from the second and thirdoriginal images 210 ′, 216 ′, respectively. It has asaturation difference signal 954 that is greater than thesaturation difference signal 952 of the pixel. Therefore, according to the test described above, the dark difference comparator 962 (FIG. 9) selects pixels from the thirdoriginal image 210 ′ for use in fusing the composite image 253 (FIG. 2), The pixel having thepixel value 982 is output to thepixel selector 970 as the selected dark portion passedpixel 968. In other words, the selected dark part passedpixel 968 is a pixel that is visible in the composite image and is not too close to the dark part point. Of course, the darkspace difference comparator 962 may be set with different tests. For example, instead of selecting the maximum saturation difference signal that falls within the effective range of thedark range value 964, thesaturation difference comparator 962 may be set to select the minimum dark portion difference signal that falls within the effective range of therange value 964. . If the top of thedark area value 964 is set sufficiently above the dark area value to ensure that the pixel is visible in the composite image, this test is in the example of FIG. 9B. The darkest acceptable pixel that is a pixel from the secondoriginal image 216 ′ is selected.

ピクセルセレクタ９７０は、選択済の好ましいピクセル９７２のために選択済飽和通過後ピクセル９６６及び選択済暗部通過後ピクセル９６８から選択する。これらのピクセルは、上で説明したような、飽和差コンパレータ９５８及び暗部差コンパレータ９６２において用いられる輝度範囲値９６０及び暗部範囲値９６４次第では、同じピクセルであってもよい。更に、飽和差コンパレータ９５８からの選択済飽和通過後ピクセル９６６も存在しない場合、ピクセルセレクタ９７０は、暗部差コンパレータ９６２から暗部通過後ピクセル９６８を選択する。暗部差コンパレータ９６２からの選択済暗部通過後ピクセル９６８が存在しない場合、ピクセルセレクタ９７０は、飽和差コンパレータ９５８から飽和通過後ピクセル９６６を自動的に選択する。選択されたピクセル９７２は、次いで、合成画像を生成する画像生成器９７４に転送される。しかし、選択済飽和通過後ピクセル９６６が存在せず、そして、選択済暗部通過後ピクセル９６８が存在しない場合、ピクセルセレクタ９７０は、選択ピクセル９７２を画像生成器９７４に転送しない。合成画像内に存在しない多くのピクセルがあった場合、より許容可能なピクセルが、露光期間、露光が延在する電力波形の位相、等のようなパラメータを調整することによって、又は、上で検討したような、光センサアレイの感度、開口、任意選択の減光プレート、等のようなカメラ１２６の作動パラメータを調整することによって、原画像内に作成されてもよい。更に、範囲値９６０、９６４も、また、より多くの選択ピクセルを含むよう調整されてもよい。  Pixel selector 970 selects from selectedpost-saturation pixel 966 and selectedpost-dark part pixel 968 for the selectedpreferred pixel 972. These pixels may be the same pixel depending on the luminance range value 960 and thedark range value 964 used in the saturation difference comparator 958 and the darkarea difference comparator 962, as described above. Further, if the selectedpost-saturation pixel 966 from the saturation difference comparator 958 does not exist, thepixel selector 970 selects thepost-dark part pixel 968 from the darkpart difference comparator 962. If there is no selectedpost-dark pixel 968 from thedark difference comparator 962, thepixel selector 970 automatically selects thepost-saturation pixel 966 from the saturation difference comparator 958. The selectedpixel 972 is then transferred to animage generator 974 that generates a composite image. However, thepixel selector 970 does not transfer the selectedpixel 972 to theimage generator 974 if there is no selectedpost-saturation pixel 966 and no selecteddark portion pixel 968 exists. If there are many pixels that are not present in the composite image, consider a more acceptable pixel by adjusting parameters such as the exposure duration, the phase of the power waveform over which the exposure extends, etc., or above It may be created in the original image by adjusting the operating parameters of thecamera 126, such as the sensitivity of the light sensor array, aperture, optional dimming plate, etc. Further, the range values 960, 964 may also be adjusted to include more selected pixels.

ピクセルセレクタ９７０は、様々な基準のいずれかを適用して、選択ピクセル９７２を画像生成器９７４に送信するために飽和通過後ピクセル９６６及び暗部通過後ピクセル９６８から選択してもよい。例えば、ピクセルセレクタ９７０は、中央ピクセル値を備えていてもよく、飽和通過後ピクセル９６６及び暗部通過後ピクセル９６８を中央ピクセル値と比較してもよい。ピクセルセレクタ９７０は、中央値から最も遠く外れているピクセル値を有するピクセルを選択してもよいか、又は、それは、中央値から最も外れていないピクセル値を有するピクセルを選択してもよい。前者は、結果として生じる合成画像に対してより多くのコントラストを提供する可能性があり、後者は、結果として生じる合成画像においてより多くの均一性を提供する可能性がある。幾つかの場合において、それは、飽和通過後ピクセル９６６又は暗部通過後ピクセルが選択されたかどうかの差をそれ程多く生じない可能性があり、そのため、無作為選択又はそれら２つのピクセルからの交互選択が十分である可能性がある。  Pixel selector 970 may select frompost-saturation pass pixel 966 andpost-dark pass pixel 968 to apply selectedcriteria 972 toimage generator 974, applying any of a variety of criteria. For example, thepixel selector 970 may comprise a central pixel value and may compare thepost-saturation pixel 966 and thepost-dark pixel 968 with the central pixel value.Pixel selector 970 may select a pixel having a pixel value furthest away from the median value, or it may select a pixel having a pixel value farthest from the median value. The former may provide more contrast to the resulting composite image, and the latter may provide more uniformity in the resulting composite image. In some cases, it may not make much difference whether apost-saturation pixel 966 or a post-dark pixel is selected, so random selection or alternate selection from the two pixels It may be sufficient.

図９の画像結合器９００は、ピクセルが結合画像のための原画像から選択されもよい方法の一実施例である。他の変更が行われてもよい。例えば、暗部コンパレータ９３４、９３６、９３８、９４０は削除されてもよく、暗部差コンパレータ９６２も同様である。輝度範囲値９６０は、暗部コンパレータを必要としないように、調整されてもよい。高速画像化用途に対して、コンパレータは、画像を略リアルタイムで提供できるように、ハードウェアコンパレータであってもよい。加えて、画像結合器９００のコンパレータは、また、ソフトウェアで実装されたコントローラ１２４の一部として機能するソフトウェアコンパレータを備えていてもよい。選択ピクセル９７２は、次いで、ディスプレイ９７８上への表示のため、及び／又は、解析器９７６における解析のための合成画像を生成する画像生成器９７４に転送される。解析器９７６は、視覚システムコントローラ１２４（図１）内で実装されてもよく、ディスプレイ９７８は、合成画像１４０が静止画又は動画フォーマットで表示される図１のディスプレイ装置１３８として実装されてもよい。  The image combiner 900 of FIG. 9 is one example of how pixels may be selected from an original image for a combined image. Other changes may be made. For example, thedark area comparators 934, 936, 938, and 940 may be deleted, and the darkarea difference comparator 962 is the same. The luminance range value 960 may be adjusted so as not to require a dark area comparator. For high speed imaging applications, the comparator may be a hardware comparator so that the image can be provided in near real time. In addition, the comparator of the image combiner 900 may also include a software comparator that functions as part of the controller 124 implemented in software. The selectedpixel 972 is then transferred to animage generator 974 that generates a composite image for display ondisplay 978 and / or for analysis inanalyzer 976. Theanalyzer 976 may be implemented within the vision system controller 124 (FIG. 1) and thedisplay 978 may be implemented as the display device 138 of FIG. 1 where thecomposite image 140 is displayed in a still or moving image format. .

より高速な表示速度及び動画平滑性を促進できる、一連の原画像を融合させて合成画像を作成する別のプロセス例１０００を、図１０に示す。このプロセス例１０００において、４つ（又は、その他の都合のよい数）のバッチ又はセット内の原画像同士を融合させて、図２、３、４、及び５の実施例に示すような合成画像を作成する代わりに、図１０の合成画像１０３１、１０３２、１０３３、１０３４、１０３５、１０３６、１０３７、１０３８、１０３９、・・・、Ｎは、連続的なシリアル更新プロセスにおいて融合される。従って、次の合成画像を作成する前に、カメラ１２６によって生成されるべき４つの原画像のセットを待つ代わりに、新規（更新された）合成画像が、カメラ１２６（図１）による各原画像１００４’、１０１０’、１０１６’、１０２２’、１００６’、１０１２’、１０１８’、１０２４’、１００８’、１０１４’、１０２０’、１０２６’、・・・、ｎ’の生成後に作成される。例えば、図１０に示すように、第１の合成画像１０３１は、最初の４つの原画像１００４’、１０１０’、１０１６’、１０２２’からのピクセルを融合することによって作成される。第２の合成画像１０３２は、次いで、第５の原画像１００６’からのピクセルを使用し、第１の原画像１００４’からのピクセルを落とす（すなわち、使用しない）一方で、第２、第３、及び第４の原画像１０１０、１０１６からのピクセルの使用を続けることによって、作成される。同じように、第６の原画像１０１２’がカメラ１２６によって生成される場合、第３の合成画像１０３３が、第３、第４、及び第５の原画像１０１６’、１０２２’、及び１００６’からのピクセルと共に、新規の第６の原画像１０１２’からのピクセルを用いて作成される。同様に、後続の合成画像１０３３、１０３４、１０３５、１０３６、１０３７、１０３８、１０３９、・・・、Ｎのそれぞれは、直前の３つの原画像からのピクセルと共に、それぞれ新規に生成された原画像１０１２’、１０１８’、１０２４’、１００８’、１０１４’、１０２０’、１０２６’、・・・、ｎ’により作成される。  FIG. 10 shows anotherexample process 1000 for fusing a series of original images to create a composite image that can promote faster display speed and smoothness of video. In thisexample process 1000, the original images in four (or other convenient number) batches or sets are fused together to produce a composite image as shown in the examples of FIGS. , N in FIG. 10 are merged in a continuous serial update process. In FIG. 10, thecomposite images 1031, 1032, 1033, 1034, 1035, 1036, 1037, 1038, 1039,. Thus, instead of waiting for a set of four original images to be generated bycamera 126 before creating the next composite image, a new (updated) composite image is generated for each original image by camera 126 (FIG. 1). 1004 ′, 1010 ′, 1016 ′, 1022 ′, 1006 ′, 1012 ′, 1018 ′, 1024 ′, 1008 ′, 1014 ′, 1020 ′, 1026 ′,. For example, as shown in FIG. 10, the firstcomposite image 1031 is created by fusing pixels from the first four original images 1004 ', 1010', 1016 ', 1022'. The secondcomposite image 1032 then uses the pixels from the fifthoriginal image 1006 ′ and drops (ie, does not use) the pixels from the firstoriginal image 1004 ′, while the second, third , And by continuing to use pixels from the fourthoriginal image 1010, 1016. Similarly, when a sixthoriginal image 1012 ′ is generated by thecamera 126, a thirdcomposite image 1033 is obtained from the third, fourth, and fifthoriginal images 1016 ′, 1022 ′, and 1006 ′. Are created using pixels from the new sixthoriginal image 1012 ′. Similarly, each of the subsequentcomposite images 1033, 1034, 1035, 1036, 1037, 1038, 1039,..., N, together with the pixels from the previous three original images, each newly generatedoriginal image 1012. '1018', 1024 ', 1008', 1014 ', 1020', 1026 ', ..., n'.

再度、便宜上及び比較のため、図１０の電力波形１００２は、図２の電力波形２００と同様の正弦波として示されているが、他のＡＣ又はＤＣ波形が用いられてもよい。また、便宜上及び比較のため、図１０の露光期間１００４、１０１０、１０１６、１０２２、１００６、１０１２、１０１８、１０２４、１００８、１０１４、１０２０、１０２６は、それぞれ、図２の露光期間２０４、２１０、２１６、２２２、２０６、２１２、２１８、２２４、２０８、２１４、２２０、２２６と同じである。また、図１０のそれらの露光期間は、図２の露光開始トリガーポイント及び露光終了トリガーポイントと同じ露光開始トリガーポイント及び同じ露光終了トリガーポイントを有しており、同じ技術がそれらのトリガーポイントを確立するために用いられてもよい。従って、便宜上及び不必要な混乱及び繰り返しを避けるために、露光開始トリガーポイント及び露光終了トリガーポイントは、図１０に示していない。図１０の原画像１００４’、１０１０’、１０１６’、１０２２’、１００６’、１０１２’、１０１８’、１０２４’、１００８’、１０１４’、１０２０’、１０２６’は、図２、３、４、及び５の実施例における原画像のいずれかと同じ方法で作成されてもよいと言えば十分だろう。  Again, for convenience and comparison, thepower waveform 1002 of FIG. 10 is shown as a sine wave similar to thepower waveform 200 of FIG. 2, but other AC or DC waveforms may be used. For convenience and comparison, theexposure periods 1004, 1010, 1016, 1022, 1006, 1012, 1018, 1024, 1008, 1014, 1020, and 1026 in FIG. , 222, 206, 212, 218, 224, 208, 214, 220, 226. Also, those exposure periods in FIG. 10 have the same exposure start trigger point and the same exposure end trigger point as the exposure start trigger point and exposure end trigger point in FIG. 2, and the same technique establishes those trigger points. May be used to Therefore, the exposure start trigger point and the exposure end trigger point are not shown in FIG. 10 for convenience and to avoid unnecessary confusion and repetition. Theoriginal images 1004 ′, 1010 ′, 1016 ′, 1022 ′, 1006 ′, 1012 ′, 1018 ′, 1024 ′, 1008 ′, 1014 ′, 1020 ′, 1026 ′ of FIG. Suffice it to say that it may be created in the same way as any of the original images in the five embodiments.

図８、９、９Ａ、９Ｂ、及び９Ｃに示し、上で説明した融合プロセスは、第１の合成画像１０３０を作成するために用いられてもよい。図８に関連して図１１に示すような実施例のために、第１、第２、及び第３の原画像１００４’、１０１０’、１０１６’の各ピクセルストリームは、上で説明したような第４の原画像１０２２’のピクセルストリームと時間的に整列するよう十分に第１、第２、及び第３のピクセルストリームを遅延させるため、それぞれ第１、第２、及び第３のシフトレジスタ８１０、８１２、８１４に供給される。結果として、第１、第２、第３、及び第４の原画像１００４’、１０１０’、１０１６’、１０２２’のピクセルストリームの４つ全てが、それらの４つの原画像１００４’、１０１０’、１０１６’、１０２２’内の対応ピクセルが、同時に画像結合器９００（図９）の各入力９０２、９０４、９０６、９０８に到達するように、８２０、８２２、８２４、８２６において同じ時間Ｔ１に出力される。画像結合器９００は、次いで、原画像１００４’、１０１０’、１０１６’、１０２２’の４つのピクセルストリームからピクセルを選択して、上で説明したように、画像生成器９７４（図９）において第１の合成画像１０３１（図１０）を生成する。  The fusion process shown in FIGS. 8, 9, 9A, 9B, and 9C and described above may be used to create a first composite image 1030. For the example as shown in FIG. 11 in connection with FIG. 8, the first, second, and thirdoriginal image 1004 ′, 1010 ′, 1016 ′ pixel streams are as described above. First, second, andthird shift registers 810, respectively, to delay the first, second, and third pixel streams sufficiently to be temporally aligned with the pixel stream of the fourthoriginal image 1022 ′. , 812, 814. As a result, all four of the first, second, third, and fourthoriginal image 1004 ′, 1010 ′, 1016 ′, 1022 ′ pixel streams are converted into their fouroriginal images 1004 ′, 1010 ′, Corresponding pixels in 1016 ′, 1022 ′ are output at 820, 822, 824, 826 at the same time T1 so that they simultaneously reach eachinput 902, 904, 906, 908 of the image combiner 900 (FIG. 9). The The image combiner 900 then selects pixels from the four pixel streams of theoriginal images 1004 ′, 1010 ′, 1016 ′, 1022 ′ and the first in the image generator 974 (FIG. 9) as described above. 1 composite image 1031 (FIG. 10) is generated.

上で説明したように、第５の原画像１００６’（図１０）がカメラ１２６（図１）によって生成される場合、図１０の次の（第２の）合成画像１０３２が、新規原画像１００６’からの新規ピクセルデータにより以前の合成画像１０３１を更新し、第１の原画像１００４’からのピクセルデータを落とすことによって作成される。従って、更新された（第２の）合成画像１０３１は、第２乃至第５の原画像１０１０’、１０１６’、１０２２’、１００６’から選択されたピクセルから融合される。図８及び９を参照すると、かかる連続的なシリアル更新プロセスは、例えば、それらの前に、原画像からのピクセルストリームに続いて、直前の原画像からのピクセルストリームを遅延ハードウェア８００のシフトレジスタ８１０、８１２、８１４向けることによって行われてもよい。結果として、最新の原画像からのピクセルストリームが、直前の３つの原画像のピクセルストリームと時間的に整列される。このプロセス例の時間的性質を示すため、その３つのシフトレジスタ８１０、８１２、８１４を有する遅延ハードウェア８００を、記号列で図１１に示すが、１つの遅延ハードウェア８００のみが実際には用いられる。上で述べたように、第１の合成画像１０３１は、最初の４つの原画像１００４’、１０１０’、１０１６’、１０２２’からのピクセルストリームを遅延ハードウェア８００に供給してそれら４つの原画像からの各対応ピクセルを時間的に整列させることによって作成される。最初の３つの原画像１００４’、１０１０’、１０１６’、１０２２’からのピクセルストリームは、それぞれのシフトレジスタ８１０、８１２、８１４に供給されて、画像結合器９００（図９）に対して時間Ｔ１に同時に出力するためにそれらを時間的に整列させるよう時間的に十分にそれらのピクセルストリームを遅延させる。同時に、第２、第３、及び第４の原画像１０１０’、１０１６’、１０２２’のピクセルストリームは、それぞれ、第１、第２、及び第３のシフトレジスタ８１０、８１２、８１４に供給されて、新規の第５の原画像１００６’がカメラ１２６（図１）によって生成される場合にその新規の第５の原画像１００６’からのピクセルストリームと時間的に整列させるよう適切な時間、それらを遅延させる。従って、時間Ｔ２における遅延ハードウェア８００からの第２、第３、第４、及び第５の原画像１０１０’、１０１６’、１０２２’、１００６’のピクセルストリームの出力８２０、８２２、８２４、８２６は、互いと時間的整列状態にある。従って、第２、第３、第４、及び第５の原画像１０１０’、１０１６’、１０２２’、１００６’のそれらの時間的に整列されたピクセルストリームは、上で説明したような、ピクセル選択及び画像生成器９７４（図９）における第２の合成画像１０３２（図１０）の生成のために、画像結合器９００（図９）の入力９０２、９０４、９０６、９０８に送られる。  As described above, when the fifthoriginal image 1006 ′ (FIG. 10) is generated by the camera 126 (FIG. 1), the next (second)composite image 1032 of FIG. It is created by updating the previouscomposite image 1031 with new pixel data from 'and dropping the pixel data from the first original image 1004'. Thus, the updated (second)composite image 1031 is fused from pixels selected from the second to fifthoriginal images 1010 ', 1016', 1022 ', 1006'. Referring to FIGS. 8 and 9, such a continuous serial update process may, for example, precede the pixel stream from the original image, followed by the pixel stream from the previous original image, the shift register of thedelay hardware 800. 810, 812, 814 may be performed. As a result, the pixel stream from the latest original image is temporally aligned with the previous three original image pixel streams. To illustrate the temporal nature of this example process, thedelay hardware 800 with its threeshift registers 810, 812, 814 is shown in FIG. 11 in the symbol string, but only onedelay hardware 800 is actually used. It is done. As noted above, the firstcomposite image 1031 provides the pixel stream from the first fouroriginal images 1004 ′, 1010 ′, 1016 ′, 1022 ′ to thedelay hardware 800 to provide the four original images. Created by temporally aligning each corresponding pixel from. The pixel streams from the first threeoriginal images 1004 ′, 1010 ′, 1016 ′, 1022 ′ are fed torespective shift registers 810, 812, 814 for time T1 to the image combiner 900 (FIG. 9). Delay their pixel streams sufficiently in time to align them in time for simultaneous output. At the same time, the pixel streams of the second, third, and fourthoriginal images 1010 ′, 1016 ′, 1022 ′ are supplied to the first, second, andthird shift registers 810, 812, 814, respectively. When the new fifthoriginal image 1006 ′ is generated by the camera 126 (FIG. 1), they are timed to be aligned in time with the pixel stream from the new fifthoriginal image 1006 ′. Delay. Accordingly, theoutput 820, 822, 824, 826 of the pixel streams of the second, third, fourth, and fifthoriginal images 1010 ′, 1016 ′, 1022 ′, 1006 ′ from thedelay hardware 800 at time T2 is , In time alignment with each other. Thus, their temporally aligned pixel streams of the second, third, fourth, and fifthoriginal images 1010 ′, 1016 ′, 1022 ′, 1006 ′ are pixel selected as described above. And the second composite image 1032 (FIG. 10) in image generator 974 (FIG. 9) is sent toinputs 902, 904, 906, 908 of image combiner 900 (FIG. 9).

第２、第３、第４、及び第５の原画像１０１０’、１０１６’、１０２２’、１００６’のピクセルストリームが遅延ハードウェア８００において時間的に整列されているのと同時に、第３、第４、及び第５の原画像１０１６’、１０２２’、１００６’のピクセルストリームは、それぞれ、第１、第２、及び第３のシフトレジスタ８１０、８１２、８１４に供給されて、新規の第６の原画像１０１２’がカメラ１２６（図１）によって生成される場合にその新規の第６の原画像１０１２’からのピクセルストリームと時間的に整列させるよう適切な時間、それらを遅延させる。従って、時間Ｔ３における遅延ハードウェア８００からの第３、第４、第５、及び第６の原画像１０１６’、１０２２’、１００６’、１０１２’のピクセルストリームの出力８２０、８２２、８２４、８２６は、互いと時間的整列状態にある。従って、第３、第４、第５、及び第６の原画像１０１６’、１０２２’、１００６’、１０１２’のそれらの時間的に整列されたピクセルストリームは、上で説明したような、ピクセル選択及び画像生成器９７４（図９）における第３の合成画像１０３３（図１０）の生成のために、画像結合器９００（図９）の入力９０２、９０４、９０６、９０８に送られる。  At the same time as the pixel streams of the second, third, fourth, and fifthoriginal images 1010 ′, 1016 ′, 1022 ′, 1006 ′ are temporally aligned in thedelay hardware 800, the third, The pixel streams of the 4th and 5thoriginal images 1016 ′, 1022 ′, 1006 ′ are fed to the first, second, andthird shift registers 810, 812, 814, respectively, and the new sixth When theoriginal image 1012 ′ is generated by the camera 126 (FIG. 1), they are delayed by an appropriate time to align in time with the pixel stream from the new sixthoriginal image 1012 ′. Thus, theoutput 820, 822, 824, 826 of the pixel streams of the third, fourth, fifth, and sixthoriginal images 1016 ′, 1022 ′, 1006 ′, 1012 ′ from thedelay hardware 800 at time T3 are , In time alignment with each other. Thus, their temporally aligned pixel streams of the third, fourth, fifth, and sixthoriginal images 1016 ′, 1022 ′, 1006 ′, 1012 ′ are pixel selection as described above. And sent toinputs 902, 904, 906, 908 of the image combiner 900 (FIG. 9) for generation of the third composite image 1033 (FIG. 10) in the image generator 974 (FIG. 9).

第３、第４、第５、及び第６の原画像１０１６’、１０２２’、１００６’、１０１２’のピクセルストリームが遅延ハードウェア８００において時間的に整列されているのと同時に、第４、第５、及び第６の原画像１０２２’、１００６’、１０１２’のピクセルストリームは、それぞれ、第１、第２、及び第３のシフトレジスタ８１０、８１２、８１４に供給されて、新規の第７の原画像１０１８’がカメラ１２６（図１）によって生成される場合にその新規の第７の原画像１０１８’からのピクセルストリームと時間的に整列させるよう適切な時間、それらを遅延させる。従って、時間Ｔ４における遅延ハードウェア８００からの第４、第５、第６、及び第７の原画像１０２２’、１００６’、１０１２’、１０１８’のピクセルストリームの出力８２０、８２２、８２４、８２６は、互いと時間的整列状態にある。従って、第４、第５、第６、及び第７の原画像１０２２’、１００６’、１０１２’、１０１８’のそれらの時間的に整列されたピクセルストリームは、上で説明したような、ピクセル選択及び画像生成器９７４（図９）における第４の合成画像１０３４（図１０）の生成のために、画像結合器９００（図９）の入力９０２、９０４、９０６、９０８に送られる。  At the same time that the pixel streams of the third, fourth, fifth, and sixthoriginal images 1016 ′, 1022 ′, 1006 ′, 1012 ′ are temporally aligned in thedelay hardware 800, the fourth, The pixel streams of the fifth and sixthoriginal images 1022 ′, 1006 ′, 1012 ′ are fed to the first, second, andthird shift registers 810, 812, 814, respectively, to create a new seventh When theoriginal image 1018 ′ is generated by the camera 126 (FIG. 1), they are delayed by an appropriate time to align in time with the pixel stream from the new seventhoriginal image 1018 ′. Accordingly, theoutput 820, 822, 824, 826 of the pixel streams of the fourth, fifth, sixth, and seventhoriginal images 1022 ′, 1006 ′, 1012 ′, 1018 ′ from thedelay hardware 800 at time T4 are , In time alignment with each other. Thus, their temporally aligned pixel streams of the fourth, fifth, sixth, and seventhoriginal images 1022 ′, 1006 ′, 1012 ′, 1018 ′ are pixel selected as described above. And sent toinputs 902, 904, 906, 908 of the image combiner 900 (FIG. 9) for generation of a fourth composite image 1034 (FIG. 10) in the image generator 974 (FIG. 9).

この同じ連続的なシリアル更新プロセスは、ユーザによって又は自動的に停止されるまで、無期限に続く。図１１は、第６の合成画像１０３６を作成することに用いるために、３つの直前の原画像１０１２’、１０１８’、１０２４’のピクセルストリームとの第９の原画像１００８’のピクセルストリームの整列を介する時間的整列プロセスを示している。上で述べたように、この図１０の融合プロセス例において、次の合成画像を作成する前に、カメラ１２６によって生成されるべき４つの原画像のセットを待つ代わりに、新規（更新された）合成画像が、カメラ１２６（図１）による各原画像１００４’、１０１０’、１０１６’、１０２２’、１００６’、１０１２’、１０１８’、１０２４’、１００８’、１０１４’、１０２０’、１０２６’、・・・、ｎ’の生成後に作成される。従って、電力波形１００２の周波数が、図２〜５の実施例に関して上で示したように、１１０Ｈｚ例で設定された場合、合成画像１０３１〜１０３９、・・・・、Ｎは１秒当たり１１０フレームで作成されるが、各フレームは、１秒の２７分の１にわたる、すなわち、４回の露光からの全ての画像情報を備えている。従って、同じ周波数の電力波形に対して、この図１０の技術は、図２〜５の技術によって作成される画像よりも単位時間当たり４倍も多い合成画像を生成する。  This same continuous serial update process continues indefinitely until stopped by the user or automatically. FIG. 11 illustrates the alignment of the pixel stream of the ninthoriginal image 1008 ′ with the pixel streams of the three previousoriginal images 1012 ′, 1018 ′, 1024 ′ for use in creating the sixthcomposite image 1036. Figure 2 shows a temporal alignment process via As noted above, in this example fusion process of FIG. 10, instead of waiting for a set of four original images to be generated by thecamera 126 before creating the next composite image, a new (updated) A composite image is obtained by eachoriginal image 1004 ′, 1010 ′, 1016 ′, 1022 ′, 1006 ′, 1012 ′, 1018 ′, 1024 ′, 1008 ′, 1014 ′, 1020 ′, 1026 ′, ... created after generation of n '. Thus, if the frequency of thepower waveform 1002 is set at the 110 Hz example as shown above with respect to the embodiments of FIGS. 2-5, the composite images 1031-1039,..., N are 110 frames per second. Each frame contains all the image information from 1 / 27th of a second, ie from 4 exposures. Therefore, for the same frequency power waveform, the technique of FIG. 10 generates four times more composite images per unit time than the images created by the techniques of FIGS.

上で述べたように、溶接プロセス中に溶接領域１０９（図１）内で生じる様々な現象は、電力供給波形の関数であり、それによって制御されるか、影響を受けてもよい。例えば、図１２ＡのＤＣ電力波形１２０２は、溶接機電極１０６の先端から溶融する溶滴１２１の発達に対応し、それに影響を及ぼす形状となっている。現代の溶接用電力供給部、例えば、図１の溶接用電力供給部１２２は、所望の形状及び特性を有するＤＣ電力波形１３６を生成するようプログラム化することができる。図１２Ａの特定の形状を成す電力波形１２０２は、アーク１０７及びプラズマコーン１０８を維持する基準量の電流を提供する時間ｔ_１及びｔ_２間の基準電流（Ｉ）アンペア数レベルにおいて、平坦な位相１２０５を有している。溶融電極金属の溶滴１２１の形成は、溶接領域１０９の第１の実施例線図１２８１に示すように、この平坦な基本相の間に始まる。次いで、時間ｔ_２において、上昇位相１２０７が開始される。上昇位相１２０７の間、溶接電流のアンペア数は上昇して、電極内の熱を高め、溶滴１２１の形成を加速させる。時間ｔ_３において所望のピークアンペア数に達した時、ピークアンペア数は、アンペア数がテールアウト位相１２１１において減少を開始する場合の時間ｔ_３まで、ピークアンペア数位相１２０９において維持される。溶滴１２１は、溶接領域１０９の第２の実施例線図１２８２に示すように、電極１０６からの分離点までのピークアンペア数位相１２０９中に完全に発達する。次いで、テールアウト位相１２１１において、溶滴１２１は、溶接領域１０９の第３の実施例線図に示すように、電極１０６から離れている。溶滴１２１は、次いで、溶接たまり１１１に落下し、ここで、それは母材１１０、１１２の溶融帯１１３内の溶融金属と融合する。溶接ノズル１０４が（図１の矢印１０５で示すように）移動するにつれて、溶融金属は溶接ビード１０３内で冷却され、固化する。従って、それらの位相１２０５、１２０９、１２１１のうちの選択された１つと一致する露光期間を生じる露光開始制御信号及び露光終了制御信号をカメラ１２６（図１）に供給することにより、溶接用視覚及び制御システム１００が、以下でより詳細に説明するような、リアルタイムで視認可能か、又は、後の視聴又は解析のために格納可能なそれらの特徴、例えば、溶滴１２１の発達段階の合成画像を作成することが可能となる。As noted above, the various phenomena that occur within the weld zone 109 (FIG. 1) during the welding process are a function of the power supply waveform and may be controlled or influenced thereby. For example, theDC power waveform 1202 in FIG. 12A corresponds to the development of thedroplet 121 that melts from the tip of thewelder electrode 106 and has a shape that affects the development. A modern welding power supply, such as thewelding power supply 122 of FIG. 1, can be programmed to generate a DC power waveform 136 having a desired shape and characteristics. Thepower waveform 1202 of the particular shape of FIG. 12A is a flat phase at a reference current (I) amperage level between times t₁ and t₂ that provides a reference amount of current to maintain thearc 107 andplasma cone 108. 1205. The formation of moltenelectrode metal droplets 121 begins during this flat basic phase, as shown in a first embodiment diagram 1281 ofweld zone 109. Then, at time_{t 2,} increase thephase 1207 begins. During the risingphase 1207, the amperage of the welding current increases, increasing the heat in the electrode and accelerating the formation of thedroplet 121. When the time t₃ reaches the desired number of peak amps, peak number amps until time t₃ when the amperage starts to decrease in the tail-out phase 1211, it is maintained at thepeak amperage phase 1209. Thedroplet 121 fully develops during thepeak amperage phase 1209 to the separation point from theelectrode 106 as shown in the second example diagram 1282 of theweld region 109. Then, in the tail-out phase 1211, thedroplet 121 is separated from theelectrode 106 as shown in the third embodiment diagram of theweld region 109. Thedroplet 121 then falls into theweld pool 111 where it fuses with the molten metal in themelting zone 113 of thebase material 110, 112. As thewelding nozzle 104 moves (as indicated by arrow 105 in FIG. 1), the molten metal cools and solidifies in theweld bead 103. Thus, by providing the camera 126 (FIG. 1) with an exposure start control signal and an exposure end control signal that produce an exposure period that coincides with a selected one of thosephases 1205, 1209, 1211, the welding vision and Those features that thecontrol system 100 can view in real time or can be stored for later viewing or analysis, such as a composite image of the development stage of thedroplet 121, as described in more detail below. It becomes possible to create.

ここで、主に図１２Ｂを参照すると、形状を成すＤＣ電力波形１２０２の４つのサイクルが、例として示されており、第１、第２、第３、及び第４の原画像１２０４’、１２１０’、１２１６’、１２２２’が、それらの４つのサイクルのそれぞれの間の次第に増加する第１、第２、第３、及び第４の露光期間１２０４、１２１０、１２１６、１２２２によりカメラ１２６（図１）によって生成される。無論、実際の使用では、電力波形１２０２のより多くのサイクルの間に得られるより多くの原画像が生成される。図１２Ｂの実施例において、第１、第２、第３、及び第４の原画像１２０４’、１２１０’、１２１６’、１２２２’が、電力波形１２０２の平坦な基準アンペア数位相１２０５の間に生じるそれぞれの第１、第２、第３、及び第４の露光期間１２０４、１２１０、１２１６、１２２２の間に生成される。従って、この図１２Ｂの実施例において、その現象が電力波形サイクルの基準アンペア数位相１２０５中に起こるため、溶滴１２１が、図１２Ａにおける溶接領域１０９の第１の実施例線図１２８１によって示されたように、溶接機電極１０６の先端でまさに形成し始める場合に、それらの第１、第２、第３、及び第４の露光期間１２０４、１２１０、１２１６、１２２２は、溶接領域１０９から生じるか、反射する光エネルギーに対してカメラ１２６の光センサアレイ１２８５内の光センサ又は検出器を露光する。また、この実施例において、第１、第２、第３、及び第４の露光期間１２０４、１２１０、１２１６、１２２２は、上で検討した図２の実施例と類似する次第に長くなる持続期間を有しており、そのため、それぞれ連続する原画像１２０４’、１２１０’、１２１６’、１２２２’は、溶接領域１０９からの連続して多くなる光エネルギーと共に生成される。しかし、露光期間１２０４、１２１０、１２１６、１２２２は、図４の技術例に対して上で説明したように、互いと同じ持続期間を有していてもよい。  Referring now primarily to FIG. 12B, four cycles of the shapedDC power waveform 1202 are shown by way of example, and the first, second, third, and fourthoriginal images 1204 ′, 1210. ', 1216', 1222 'is incremented by the first, second, third, andfourth exposure periods 1204, 1210, 1216, 1222 during each of these four cycles. ). Of course, in actual use, more original images obtained during more cycles of thepower waveform 1202 are generated. In the example of FIG. 12B, the first, second, third, and fourthoriginal images 1204 ′, 1210 ′, 1216 ′, 1222 ′ occur during the flatreference amperage phase 1205 of thepower waveform 1202. It is generated during the respective first, second, third, andfourth exposure periods 1204, 1210, 1216, 1222. Thus, in this embodiment of FIG. 12B, because the phenomenon occurs during thereference amperage phase 1205 of the power waveform cycle, thedroplet 121 is shown by the first embodiment diagram 1281 of theweld region 109 in FIG. 12A. As can be seen, these first, second, third, andfourth exposure periods 1204, 1210, 1216, 1222 arise from theweld region 109 when just beginning to form at the tip of thewelder electrode 106. The light sensor or detector in thelight sensor array 1285 of thecamera 126 is exposed to the reflected light energy. Also, in this embodiment, the first, second, third, andfourth exposure periods 1204, 1210, 1216, 1222 have progressively longer durations similar to the embodiment of FIG. 2 discussed above. Therefore, each of the continuousoriginal images 1204 ′, 1210 ′, 1216 ′, and 1222 ′ is generated along with continuously increasing light energy from thewelding region 109. However, theexposure periods 1204, 1210, 1216, 1222 may have the same duration as each other, as described above for the example technique of FIG.

図２、３、４、５、及び１０の前例に関して検討したように、電力波形における閾値の検出は、露光期間１２０４、１２１０、１２１６、１２２２を開始するために用いられてもよく、又は、代替として、溶接用電力供給部１２２が、電力波形におけるかかる閾値に対応する制御信号を提供してもよい。また、図２、３、４、５、１０の実施例においても説明したように、視覚システムコントローラ１２４（図１）又は、代替として、溶接用電力供給部１２２は、かかる閾値の検出又は発生直後、若しくは、かかる検出又は発生からの遅延後のどちらか一方に露光期間１２０４、１２１０、１２１６、１２２２をトリガできる。例えば、露光期間１２０４、１２１０、１２１６、１２２２に対する開始閾値は、開始閾電流ポイント１２１２、１２１３、１２１４、１２１５においてであってもよく、ここで、アンペア数が、電力波形１２０２の基準アンペア数位相１２０５の基準アンペア数レベルに到達するまで検出されるのに対して、それらそれぞれの露光期間１２０４、１２１０、１２１６、１２２２に対する実際の開始トリガーポイント１２１７、１２１８、１２１９、１２２０は、特定の目的又は効果のために、所望の位相及び露光期間を提供するよう判断される視覚システムコントローラ１２４によって（代替として、溶接用電力供給部１２２によって）所定期間、遅延される。終了トリガーポイント１２２５、１２２６、１２２７、１２２８も、また、特定の目的又は効果に対して望まれるように、各開始閾電流ポイント１２１２、１２１３、１２１４、１２１５からの各時間遅延において設定される。  As discussed with respect to the previous examples of FIGS. 2, 3, 4, 5, and 10, threshold detection in the power waveform may be used to initiate theexposure period 1204, 1210, 1216, 1222 or alternatively As an example, the weldingpower supply unit 122 may provide a control signal corresponding to the threshold value in the power waveform. In addition, as described in the embodiments of FIGS. 2, 3, 4, 5, and 10, the visual system controller 124 (FIG. 1) or alternatively, the weldingpower supply unit 122 immediately detects or generates such a threshold value. Alternatively, theexposure periods 1204, 1210, 1216, 1222 can be triggered either after such detection or after a delay from occurrence. For example, the start threshold forexposure periods 1204, 1210, 1216, 1222 may be at start thresholdcurrent points 1212, 1213, 1214, 1215, where the amperage is thereference amperage phase 1205 ofpower waveform 1202. The actualstarting trigger points 1217, 1218, 1219, and 1220 for theirrespective exposure periods 1204, 1210, 1216, and 1222 are detected for a specific purpose or effect, whereas To this end, it is delayed for a predetermined period of time (alternatively by the welding power supply 122) by the vision system controller 124, which is determined to provide the desired phase and exposure period.End trigger points 1225, 1226, 1227, 1228 are also set at each time delay from each start thresholdcurrent point 1212, 1213, 1214, 1215, as desired for a particular purpose or effect.

図１２Ｂに図示するように、最も短い露光期間１２０４は、溶接領域１０９から、例えば、アーク１０７及びプラズマ１０８から生じるか、反射する最も明るく、最も強い光エネルギーによる、光センサアレイ１２８５の中央部分１２８７における光センサ又は検出器に対する理想的な光エネルギー露光を提供する。従って、その露光期間１２０４から光センサアレイ１２８５によって生成される原画像１２０４’は、それらの最も明るい特徴、例えば、アーク１０７及びプラズマ１０８の良好な解像度を有している。同時に、その最も短い露光期間１２０４は、残りの外側部分１２８８における光センサ又は検出器に対する溶接領域１０９の暗部からの十分な光エネルギーが、溶接領域１０９のかかる暗部における特徴の何らかの原画像を生成することを可能にしない。従って、露光期間１２０４から生成された結果の原画像１２０４’は、最も明るい特徴、例えば、アーク１０７及びプラズマ１０８のみを示し、原画像１２０４’の残りの部分は暗部ピクセル１２９０を備えている。  As illustrated in FIG. 12B, theshortest exposure period 1204 is thecentral portion 1287 of thephotosensor array 1285 due to the brightest and strongest light energy that originates or reflects from theweld area 109, eg, from thearc 107 and the plasma. Provides ideal light energy exposure for photosensors or detectors. Thus, theoriginal image 1204 ′ generated by thephotosensor array 1285 from thatexposure period 1204 has good resolution of their brightest features, such as thearc 107 and theplasma 108. At the same time, thatshortest exposure period 1204, sufficient light energy from the dark area of theweld area 109 to the photosensor or detector in the remainingouter portion 1288 generates some original image of the feature in such dark area of theweld area 109. Does not make it possible. Thus, the resultingoriginal image 1204 ′ generated from theexposure period 1204 shows only the brightest features, eg, thearc 107 and theplasma 108, and the remaining portion of theoriginal image 1204 ′ includesdark pixels 1290.

最も明るい特徴、例えば、アーク１０７及びプラズマ１０８から生じるか、反射する高強度光エネルギーが、その僅かに長い露光期間１２１０内にその中央部分１２８６における光センサアレイ１２８５の光センサ又は検出器を飽和させるため、次の僅かに長い露光期間１２１０は、光センサアレイ１２８５の飽和した中央部分１２８６の原因となる。同時に、溶接領域１０９の中間部分における特徴、例えば、溶接たまり１１１、溶融帯１１３、及び発達する溶滴１２１から生じるか、反射する光エネルギーが、光エネルギーが集中する光センサアレイ１２８５の光センサ又は検出器を飽和させる程十分明るくはないため、その僅かに長い露光期間１２１０は、光センサアレイ１２８５の飽和した中央部分１２８６周囲の中間部分１２８７において、光センサ又は検出器に対して理想的な光エネルギー露光を提供する。溶接領域１０９の薄暗い外側部分は、何らかの画像を生成するよう、光センサアレイ１２８５の外側部分１２８８において、光センサ又は検出器に対して十分な光エネルギーを生じないか、反射しない。従って、その僅かに長い露光期間１２１０から光センサアレイ１２８５によって生成される原画像１２１０’は、それらの中間輝度の特徴、例えば、溶接たまり１１１、溶融帯１１３、及び形成する溶滴１２１の良好な解像度を有している。同時に、その僅かに長い露光期間１２１０は、光センサアレイ１２８５の残りの外側部分１２８８における光センサ又は検出器に対する溶接領域１０９の暗部からの十分な光エネルギーが、溶接領域１０９のかかる暗部における特徴の何らかの原画像を生成することを可能にしない。従って、僅かに長い露光期間１２１０から生成される結果の原画像１２１０’は、かなり明るいが、最も明るいものではない特徴、例えば、溶接たまり１１１、溶融帯１１３、及び形成する溶滴１２１のみを示す。原画像１２１０’の中央部分ピクセル１２９１は飽和しており、原画像１２１０’の残りの外側部分は、暗部ピクセル１２９０のみを備えている。  The brightest features such as high intensity light energy originating from or reflecting from thearc 107 and theplasma 108 saturate the photosensors or detectors of thephotosensor array 1285 in itscentral portion 1286 within its slightlylonger exposure period 1210. Thus, the next slightlylonger exposure period 1210 causes the saturatedcentral portion 1286 of thephotosensor array 1285. At the same time, features in the middle part of theweld region 109, such as the light sensor of thelight sensor array 1285, where the light energy arising or reflected from theweld pool 111, themolten zone 113, and the developingdroplet 121 is concentrated, Because it is not bright enough to saturate the detector, its slightlylonger exposure period 1210 provides an ideal light for the photosensor or detector in themiddle portion 1287 around the saturatedcentral portion 1286 of thephotosensor array 1285. Provide energy exposure. The dim outer portion of theweld area 109 does not produce or reflect sufficient light energy to the photosensor or detector at theouter portion 1288 of thephotosensor array 1285 to produce some image. Thus, theoriginal image 1210 ′ produced by thephotosensor array 1285 from its slightlylonger exposure period 1210 is a good representation of their intermediate luminance characteristics, eg, theweld pool 111, themolten zone 113, and thedroplet 121 that forms. Has resolution. At the same time, the slightlylonger exposure period 1210 causes sufficient light energy from the dark area of the weldedarea 109 to the photosensor or detector in the remainingouter portion 1288 of thephotosensor array 1285 to cause features in such dark areas of the weldedarea 109. It does not make it possible to generate any original image. Thus, the resultingoriginal image 1210 ′ generated from the slightlylonger exposure period 1210 shows only the brightest but not the brightest features, such as theweld pool 111, themelt zone 113, and thedroplet 121 that forms. . Thecentral portion pixel 1291 of theoriginal image 1210 ′ is saturated, and the remaining outer portion of theoriginal image 1210 ′ includes onlydark portion pixels 1290.

最も明るい特徴、例えば、アーク１０７及びプラズマ１０８からだけではなく、僅かに薄暗い特徴、例えば、溶接たまり１１１、溶融帯１１３、及び形成する溶滴１２１からも生じるか、反射する光エネルギーが、その更に大きい中央部分１２８６において光センサアレイ１２８５の光センサ又は検出器を飽和させるため、次の適度に長い露光期間１２１６は、光センサアレイ１２８５の更に大きい飽和した中央部分１２８６の原因となる。同時に、溶接領域１０９の中間部分における特徴、例えば、電極１０６及び母材１１０、１１２から生じるか、反射する光エネルギーが、それらの特徴の画像ピクセルを生成するよう、光エネルギーが集中する光センサアレイ１２８５の光センサ又は検出器に対する適切な範囲内にあるため、その適度に長い露光期間１２１６は、光センサアレイ１２８５の飽和した中央部分１２８６周囲の中間部分１２８７において、光センサ又は検出器に対して理想的な光エネルギー露光を提供する。溶接領域１０９の薄暗い外側部分は、何らかの画像を生成するよう、光センサアレイ１２８５の外側部分１２８８において、光センサ又は検出器に対して十分な光エネルギーを生じないか、反射しない。従って、その適度に長い露光期間１２１６から光センサアレイ１２８５によって生成される原画像１２１６’は、それらの中間輝度の特徴、例えば、電極１０６及び母材１１０、１１２の良好な解像度を有している。同時に、その適度に長い露光期間１２１６は、光センサアレイ１２８５の残りの外側部分１２８８における光センサ又は検出器に対する溶接領域１０９の暗部からの十分な光エネルギーが、溶接領域１０９のかかる暗部における特徴の何らかの原画像を生成することを可能にしない。従って、適度に長い露光期間１２１６から生成される結果の原画像１２１６’は、適度に明るい特徴、例えば、溶接たまり１１１、溶融帯１１３、及び形成する溶滴１２１のみを示す。原画像１２１６’の中央部分ピクセル１２９１は飽和しており、原画像１２１６’の残りの外側部分は、暗部ピクセル１２９０のみを備えている。  The light energy that arises or reflects not only from the brightest features, e.g. from thearc 107 and theplasma 108, but also from the slightly dim features, e.g., theweld pool 111, themolten zone 113, and thedroplet 121 that forms. The next reasonably long exposure period 1216 causes a larger saturatedcentral portion 1286 of thephotosensor array 1285 to saturate the photosensors or detectors of thephotosensor array 1285 at the largecentral portion 1286. At the same time, a photosensor array in which light energy is concentrated such that light energy arising from or reflecting from features in the middle portion of theweld area 109, eg,electrodes 106 andbase materials 110, 112, produces image pixels of those features. Since it is within the appropriate range for 1285 photosensors or detectors, its reasonably long exposure period 1216 is relative to the photosensors or detectors in themiddle portion 1287 around the saturatedcentral portion 1286 of thephotosensor array 1285. Provides ideal light energy exposure. The dim outer portion of theweld area 109 does not produce or reflect sufficient light energy to the photosensor or detector at theouter portion 1288 of thephotosensor array 1285 to produce some image. Thus, the original image 1216 ′ produced by thephotosensor array 1285 from its reasonably long exposure period 1216 has good characteristics of their intermediate luminance characteristics, eg, theelectrodes 106 and thebase materials 110, 112. . At the same time, the reasonably long exposure period 1216 is such that sufficient light energy from the dark portion of the weldedarea 109 to the photosensor or detector in the remainingouter portion 1288 of thephotosensor array 1285 causes the dark area of the weldedregion 109 to be characterized. It does not make it possible to generate any original image. Thus, the resulting original image 1216 'generated from a reasonably long exposure period 1216 shows only moderately bright features, such as theweld pool 111, themolten zone 113, and thedroplet 121 that forms. Thecentral portion pixel 1291 of the original image 1216 ′ is saturated, and the remaining outer portion of the original image 1216 ′ includes onlydark portion pixels 1290.

全部ではあるが、薄暗い特徴から、例えば、アーク１０７及びプラズマ１０８、溶接たまり１１１、溶融帯１１３、形成する溶滴１２１、電極１０６、及び母材１１０、１１２の内側部分から生じるか、反射する光エネルギーが、その更に大きい中央部分１２８６において光センサアレイ１２８５の光センサ又は検出器を飽和させるため、次の最も長い露光期間１２２２は、光センサアレイ１２８５の更に大きい飽和した中央部分１２８６の原因となる。同時に、溶接領域１０９のその外側部分１２８７における特徴、例えば、溶接ノズル１０４及び母材１１０、１１２の外側部分から生じるか、反射する光エネルギーが、それらの特徴の画像ピクセルを生成するよう、光エネルギーが集中する光センサアレイ１２８５の光センサ又は検出器に対する適切な範囲内にあるため、その最も長い露光期間１２２２は、光センサアレイ１２８５の飽和した中央部分１２８６周囲の外側部分１２８７において、光センサ又は検出器に対して理想的な光エネルギー露光を提供する。図１２Ｂにおいて図示していない冷却され、固化した溶接ビード１０３は、また、原画像１２２２’において、カメラが溶接ビード１０３を含めるよう適切な視点にあるかどうかも示す。従って、その最も長い露光期間１２２２から光センサアレイ１２８５によって生成される原画像１２２２’は、それらの中間輝度の特徴、例えば、溶接ノズル１０４、母材１１０、１１２の外側部分、及び溶接ビード１０３の良好な解像度を有している。従って、最も長い露光期間１２２２から生成される結果の原画像１２２２’は、薄暗い特徴、例えば、溶接ノズル１０４、母材１１０、１１２の外側部分、及び溶接ビード１０３のみを示す。原画像１２２２’の中央部分ピクセル１２９１は飽和している。  All, but dim features, for example, light that originates or reflects from the inner part of thearc 107 andplasma 108,weld pool 111,melt zone 113, formingdroplet 121,electrode 106, andbase materials 110, 112. The nextlongest exposure period 1222 causes the larger saturatedcentral portion 1286 of thephotosensor array 1285 because the energy saturates the photosensors or detectors of thephotosensor array 1285 at its largercentral portion 1286. . At the same time, the light energy such that features in itsouter portion 1287 of theweld area 109, such as light energy arising from or reflecting from the outer portions of thewelding nozzle 104 and thebase materials 110, 112, produce image pixels of those features. Is within the appropriate range for the light sensor or detector of the concentratinglight sensor array 1285, so that thelongest exposure period 1222 is in theouter portion 1287 around the saturatedcentral portion 1286 of thelight sensor array 1285. Provides an ideal light energy exposure for the detector. A cooled and solidified weld bead 103 (not shown in FIG. 12B) also shows in theoriginal image 1222 ′ whether the camera is in a proper viewpoint to include theweld bead 103. Thus, theoriginal image 1222 ′ generated by thephotosensor array 1285 from itslongest exposure period 1222 is characterized by their intermediate luminance characteristics, such as thewelding nozzle 104, the outer portion of thebase material 110, 112, and thewelding bead 103. Has good resolution. Thus, the resultingoriginal image 1222 ′ generated from thelongest exposure period 1222 shows only dim features, for example, thewelding nozzle 104, the outer portions of thepreforms 110, 112, and theweld bead 103. The centralpartial pixel 1291 of the original image 1222 'is saturated.

それぞれが溶接領域１０９内の幾つかではあるが全部ではない特徴に対する使用可能なピクセルを有する各露光期間１２０４、１２１０、１２１６、１２２２中にカメラ１２６によって生成される原画像１２０４’、１２１０’、１２１６’、１２２２’は、共に融合されて合成画像１２４０を作成する。図１２Ｂに示し、上で検討したように、合成画像１２４０は、その現象が、露光期間１２０４、１２１０、１２１６、１２２２が位置決めされる、図１２Ａに示し、上で検討したような電力波形１２０２の平坦な基準アンペア数位相１２０５の間に生じるため、電極１０６の先端において形成することを開始する溶滴１２１と共に、溶接領域１０９内の特徴の全てを示すピクセルを有している。合成画像を生成するための、上で検討したプロセスのいずれかは、原画像１２０４’、１２１０’、１２１６’、１２２２’から合成画像１２４０を生成するために用いられてもよい。  Original images 1204 ′, 1210 ′, 1216 generated bycamera 126 during eachexposure period 1204, 1210, 1216, 1222, each having usable pixels for some but not all features inweld area 109. ', 1222' are fused together to create acomposite image 1240. As shown in FIG. 12B and discussed above, thecomposite image 1240 is a phenomenon of thepower waveform 1202 as shown in FIG. 12A and discussed above, where the phenomenon is positioned during theexposure periods 1204, 1210, 1216, 1222. Because it occurs during the flatreference amperage phase 1205, it has pixels that show all of the features in theweld area 109, along with thedroplet 121 that begins to form at the tip of theelectrode 106. Any of the processes discussed above for generating a composite image may be used to generate acomposite image 1240 from the original images 1204 ', 1210', 1216 ', 1222'.

図１２Ｃの露光期間例１２２４、１２３０、１２３６、１２４２は、図１２Ｃの露光期間１２２４、１２３０、１２３６、１２４２が電力波形１２０２のピークアンペア数位相１２０９に移動されており、ここで、電極１０６の先端に形成する溶融金属の溶滴１２１が、図１２Ａに示し、上で説明したように、完全に発達して電極１０６から離れることを除いて、図１２Ｂの露光期間１２０４、１２１０、１２１６、１２２２と同じものとして示されている。この図１２Ｃの実施例において、露光期間１２２４、１２３０、１２３６、１２４２は、ピークアンペア数位相１２０９の閾電流レベルに達する増加電流レベルの検出又は他の指示によって開始されてもよい。従って、露光期間１２２４、１２３０、１２３６、１２４２に対する開始閾電流ポイント１２３１、１２３２、１２３３、１２３４は、ピークアンペア数位相１２０９の開始ポイントにあるが、実際の露光期間１２２４、１２３０、１２３６、１２４２は、開始閾電流ポイント１２３１、１２３２、１２３３、１２３４から各開始トリガーポイント１２４４、１２４５、１２４６、１２４７に時間遅延されている。終了トリガーポイント１２５１、１２５２、１２５３、１２５４も、また、特定の目的又は効果に対して望まれるように、各開始閾電流ポイント１２３１、１２３２、１２３３、１２３４からの各時間遅延において設定される。  In the exposure period examples 1224, 1230, 1236, and 1242 in FIG. 12C, theexposure periods 1224, 1230, 1236, and 1242 in FIG. 12C are moved to thepeak amperage phase 1209 of thepower waveform 1202, where the tip of theelectrode 106 As shown in FIG. 12A and described above, themolten metal droplet 121 formed in theexposure period 1204, 1210, 1216, 1222 of FIG. Shown as the same. In this FIG. 12C embodiment, theexposure periods 1224, 1230, 1236, 1242 may be initiated by detection of an increased current level or other indication that reaches the threshold current level of thepeak amperage phase 1209. Thus, the start thresholdcurrent points 1231, 1232, 1233, 1234 for theexposure periods 1224, 1230, 1236, 1242 are at the start point of thepeak amperage phase 1209, but theactual exposure periods 1224, 1230, 1236, 1242 are There is a time delay from the start thresholdcurrent points 1231, 1232, 1233, 1234 to each starttrigger point 1244, 1245, 1246, 1247.End trigger points 1251, 1252, 1253, 1254 are also set at each time delay from each start thresholdcurrent point 1231, 1232, 1233, 1234, as desired for a particular purpose or effect.

図１２Ｃに図示するように、最も短い露光期間１２２４は、溶接領域１０９から、例えば、アーク１０７、プラズマ１０８、及び溶滴１２１から生じるか、反射する最も明るく、最も強い光エネルギーによる、光センサアレイ１２８５の中央部分１２８７における光センサ又は検出器に対する理想的な光エネルギー露光を提供する。従って、その露光期間１２２４から光センサアレイ１２８５によって生成される原画像１２２４’は、それらの最も明るい特徴、例えば、アーク１０７、プラズマ１０８、及び溶滴１２１の良好な解像度を有している。同時に、その最も短い露光期間１２２４は、残りの外側部分１２８８における光センサ又は検出器に対する溶接領域１０９の暗部からの十分な光エネルギーが、溶接領域１０９のかかる暗部における特徴の何らかの原画像を生成することを可能にしない。従って、露光期間１２２４から生成された結果の原画像１２２４’は、最も明るい特徴、例えば、アーク１０７、プラズマ１０８、及び溶滴１２１のみを示し、原画像１２２４’の残りの部分は暗部ピクセル１２９０を備えている。  As illustrated in FIG. 12C, theshortest exposure period 1224 is the lightest sensor array with the brightest and strongest light energy that originates or reflects from theweld area 109, eg, from thearc 107,plasma 108, anddroplet 121. It provides an ideal light energy exposure for the light sensor or detector at thecentral portion 1287 of 1285. Thus, the original image 1224 'produced by thephotosensor array 1285 from thatexposure period 1224 has good resolution of their brightest features, such as thearc 107,plasma 108, anddroplet 121. At the same time, thatshortest exposure period 1224 causes sufficient light energy from the dark area of theweld area 109 to the optical sensor or detector in the remainingouter portion 1288 to produce some original image of such dark area features in theweld area 109. Does not make it possible. Thus, the resultingoriginal image 1224 ′ generated from theexposure period 1224 shows only the brightest features, eg,arc 107,plasma 108, anddroplet 121, and the remaining portion of theoriginal image 1224 ′ containsdark pixel 1290. I have.

最も明るい特徴、例えば、アーク１０７、プラズマ１０８、及び溶滴１２１から生じるか、反射する高強度光エネルギーが、その僅かに長い露光期間１２３０内にその中央部分１２８６における光センサアレイ１２８５の光センサ又は検出器を飽和させるため、次の僅かに長い露光期間１２３０は、光センサアレイ１２８５の飽和した中央部分１２８６の原因となる。同時に、溶接領域１０９の中間部分における特徴、例えば、溶接たまり１１１及び溶融帯１１３から生じるか、反射する光エネルギーが、光エネルギーが集中する光センサアレイ１２８５の光センサ又は検出器を飽和させる程十分明るくはないため、その僅かに長い露光期間１２３０は、光センサアレイ１２８５の飽和した中央部分１２８６周囲の中間部分１２８７において、光センサ又は検出器に対して理想的な光エネルギー露光を提供する。溶接領域１０９の薄暗い外側部分は、その僅かに長い露光期間１２３０内に何らかの画像を生成するよう、光センサアレイ１２８５の外側部分１２８８において、光センサ又は検出器に対して十分な光エネルギーを生じないか、反射しない。従って、その僅かに長い露光期間１２３０から光センサアレイ１２８５によって生成される原画像１２３０’は、それらの中間輝度の特徴、例えば、溶接たまり１１１及び溶融帯１１３の良好な解像度を有している。同時に、その僅かに長い露光期間１２３０は、光センサアレイ１２８５の残りの外側部分１２８８における光センサ又は検出器に対する溶接領域１０９の暗部からの十分な光エネルギーが、溶接領域１０９のかかる暗部における特徴の何らかの原画像を生成することを可能にしない。従って、僅かに長い露光期間１２３０から生成される結果の原画像１２３０’は、かなり明るいが、最も明るいものではない特徴、例えば、溶接たまり１１１及び溶融帯１１３のみを示す。原画像１２３０’の中央部分ピクセル１２９１は飽和しており、原画像１２３０’の残りの外側部分は、暗部ピクセル１２９０のみを備えている。  The brightest features such as high intensity light energy originating from or reflecting from thearc 107,plasma 108, anddroplet 121, or the photosensors of thephotosensor array 1285 in itscentral portion 1286 within its slightlylonger exposure period 1230 or The next slightlylonger exposure period 1230 causes the saturatedcentral portion 1286 of thephotosensor array 1285 to saturate the detector. At the same time, features in the middle portion of theweld area 109, such as light energy arising from or reflecting from theweld pool 111 and meltzone 113, are sufficient to saturate the light sensors or detectors of thelight sensor array 1285 where the light energy is concentrated. Because it is not bright, its slightlylonger exposure period 1230 provides an ideal light energy exposure for the photosensor or detector in themiddle portion 1287 around the saturatedcentral portion 1286 of thephotosensor array 1285. The dim outer portion of theweld area 109 does not produce enough light energy for the photosensor or detector in theouter portion 1288 of thephotosensor array 1285 to produce some image within its slightlylonger exposure period 1230. Or does not reflect. Thus, the original image 1230 'produced by thephotosensor array 1285 from its slightlylonger exposure period 1230 has good resolution of their intermediate luminance characteristics, such as theweld pool 111 and themolten zone 113. At the same time, the slightlylonger exposure period 1230 is such that sufficient light energy from the dark area of the weldedarea 109 to the photosensor or detector in the remainingouter portion 1288 of thephotosensor array 1285 causes the dark area of the weldedarea 109 to be characterized. It does not make it possible to generate any original image. Thus, the resultingoriginal image 1230 ′ generated from the slightlylonger exposure period 1230 shows only the brightest but not the brightest features, such as theweld pool 111 and themelt zone 113. Thecentral portion pixel 1291 of theoriginal image 1230 ′ is saturated, and the remaining outer portion of theoriginal image 1230 ′ includes only thedark portion pixel 1290.

最も明るい特徴、例えば、アーク１０７、プラズマ１０８、及び溶滴１２１からだけではなく、僅かに薄暗い特徴、例えば、溶接たまり１１１及び溶融帯１１３からも生じるか、反射する光エネルギーが、その更に大きい中央部分１２８６において光センサアレイ１２８５の光センサ又は検出器を飽和させるため、次の適度に長い露光期間１２３６は、光センサアレイ１２８５の更に大きい飽和した中央部分１２８６の原因となる。同時に、溶接領域１０９の中間部分における特徴、例えば、電極１０６及び母材１１０、１１２から生じるか、反射する光エネルギーが、それらの特徴の画像ピクセルを生成するよう、光エネルギーが集中する光センサアレイ１２８５の光センサ又は検出器に対する適切な範囲内にあるため、その適度に長い露光期間１２３６は、光センサアレイ１２８５の飽和した中央部分１２８６周囲の中間部分１２８７において、光センサ又は検出器に対して理想的な光エネルギー露光を提供する。溶接領域１０９の薄暗い外側部分は、何らかの画像を生成するよう、光センサアレイ１２８５の外側部分１２８８において、光センサ又は検出器に対して十分な光エネルギーを生じないか、反射しない。従って、その適度に長い露光期間１２３６から光センサアレイ１２８５によって生成される原画像１２３６’は、それらの中間輝度の特徴、例えば、電極１０６及び母材１１０、１１２の良好な解像度を有している。同時に、その適度に長い露光期間１２３６は、光センサアレイ１２８５の残りの外側部分１２８８における光センサ又は検出器に対する溶接領域１０９の暗部からの十分な光エネルギーが、溶接領域１０９のかかる暗部における特徴の何らかの原画像を生成することを可能にしない。従って、適度に長い露光期間１２３６から生成される結果の原画像１２３６’は、適度に明るい特徴、例えば、溶接たまり１１１及び溶融帯１１３のみを示す。原画像１２３６’の中央部分ピクセル１２９１は飽和しており、原画像１２３６’の残りの外側部分は、暗部ピクセル１２９０のみを備えている。  The brightest features, such asarc 107,plasma 108, anddroplet 121, as well as slightly darker features, such asweld puddle 111 and meltzone 113, or reflected light energy that is greater in the middle The next reasonablylong exposure period 1236 causes a larger saturatedcentral portion 1286 of thephotosensor array 1285 to saturate the photosensors or detectors of thephotosensor array 1285 in theportion 1286. At the same time, a photosensor array in which light energy is concentrated such that light energy arising from or reflecting from features in the middle portion of theweld area 109, eg,electrodes 106 andbase materials 110, 112, produces image pixels of those features. Because it is within the appropriate range for 1285 photosensors or detectors, its reasonablylong exposure period 1236 is relative to the photosensors or detectors in themiddle portion 1287 around the saturatedcentral portion 1286 of thephotosensor array 1285. Provides ideal light energy exposure. The dim outer portion of theweld area 109 does not produce or reflect sufficient light energy to the photosensor or detector at theouter portion 1288 of thephotosensor array 1285 to produce some image. Thus, theoriginal image 1236 ′ generated by thephotosensor array 1285 from its reasonablylong exposure period 1236 has good characteristics of their intermediate luminance characteristics, such as theelectrodes 106 and thebase materials 110, 112. . At the same time, the reasonablylong exposure period 1236 allows sufficient light energy from the dark area of the weldedarea 109 to the photosensors or detectors in the remainingouter portion 1288 of thephotosensor array 1285 to cause features in such dark areas of the weldedarea 109 to be characterized. It does not make it possible to generate any original image. Thus, the resultingoriginal image 1236 ′ generated from a reasonablylong exposure period 1236 shows only moderately bright features, such asweld pool 111 and meltzone 113. Thecentral portion pixel 1291 of theoriginal image 1236 ′ is saturated, and the remaining outer portion of theoriginal image 1236 ′ comprises onlydark portion pixels 1290.

全部ではあるが、薄暗い特徴から、例えば、アーク１０７、プラズマ１０８、溶滴１２１、溶接たまり１１１、溶融帯１１３、電極１０６、及び母材１１０、１１２の内側部分から生じるか、反射する光エネルギーが、その更に大きい中央部分１２８６において光センサアレイ１２８５の光センサ又は検出器を飽和させるため、次の最も長い露光期間１２４２は、光センサアレイ１２８５の更に大きい飽和した中央部分１２８６の原因となる。同時に、溶接領域１０９のその外側部分１２８７における特徴、例えば、溶接ノズル１０４及び母材１１０、１１２の外側部分から生じるか、反射する光エネルギーが、それらの特徴の画像ピクセルを生成するよう、光エネルギーが集中する光センサアレイ１２８５の光センサ又は検出器に対する適切な範囲内にあるため、その最も長い露光期間１２４２は、光センサアレイ１２８５の飽和した中央部分１２８６周囲の外側部分１２８７において、光センサ又は検出器に対して理想的な光エネルギー露光を提供する。図１２Ｃにおいて図示していない冷却され、固化した溶接ビード１０３は、また、原画像１２４２’において、カメラが溶接ビード１０３を含めるよう適切な視点にあるかどうかも示す。従って、その最も長い露光期間１２４２から光センサアレイ１２８５によって生成される原画像１２４２’は、それらの中間輝度の特徴、例えば、溶接ノズル１０４、母材１１０、１１２の外側部分、及び溶接ビード１０３の良好な解像度を有している。従って、最も長い露光期間１２４２から生成される結果の原画像１２４２’は、薄暗い特徴、例えば、溶接ノズル１０４、母材１１０、１１２の外側部分、及び溶接ビード１０３のみを示す。原画像１２４２’の中央部分ピクセル１２９１は飽和している。  In all but the dim characteristics, for example, thearc 107,plasma 108,droplet 121,weld pool 111,melting zone 113,electrode 106, and the light energy that is reflected or reflected from the inner portions of thebase materials 110, 112. The nextlongest exposure period 1242 causes the larger saturatedcentral portion 1286 of thephotosensor array 1285 to saturate the photosensors or detectors of thephotosensor array 1285 at its largercentral portion 1286. At the same time, the light energy such that features in itsouter portion 1287 of theweld area 109, such as light energy arising from or reflecting from the outer portions of thewelding nozzle 104 and thebase materials 110, 112, produce image pixels of those features. Is within the appropriate range for the light sensor or detector of the concentratinglight sensor array 1285, so that thelongest exposure period 1242 is at theouter portion 1287 around the saturatedcentral portion 1286 of thelight sensor array 1285. Provides an ideal light energy exposure for the detector. A cooled and solidifiedweld bead 103 not shown in FIG. 12C also shows in theoriginal image 1242 ′ whether the camera is in a proper perspective to include theweld bead 103. Thus, theoriginal image 1242 ′ generated by thephotosensor array 1285 from itslongest exposure period 1242 is characterized by their intermediate luminance characteristics, for example, thewelding nozzle 104, the outer portion of thebase material 110, 112, and thewelding bead 103. Has good resolution. Accordingly, the resultingoriginal image 1242 ′ generated from thelongest exposure period 1242 shows only dim features, such as thewelding nozzle 104, the outer portions of thebase materials 110, 112, and theweld bead 103. The centralpartial pixel 1291 of the original image 1242 'is saturated.

各露光期間１２２４、１２３０、１２３６、１２４２の間にカメラ１２６によって作成された原画像１２２４’、１２３０’、１２３６’、１２４２’は、合成画像１２４０を作成するよう共に融合される。合成画像１２６０は、その現象が、露光期間１２２４、１２３０、１２３６、１２４２が位置する場所である、図１２Ａに示し、上で検討したような電力波形１２０２のピークアンペア数位相１２０９の間に生じるため、電極１０６からの分離の寸前まで電極１０６の先端において完全に形成される溶融金属の溶滴１２１を示している。合成画像を生成するための、上で検討したプロセスのいずれかは、原画像１２２４’、１２３０’、１２３６’、１２４２’から合成画像１２６０を生成するために用いられてもよい。  Theoriginal images 1224 ′, 1230 ′, 1236 ′, 1242 ′ created by thecamera 126 during eachexposure period 1224, 1230, 1236, 1242 are fused together to create acomposite image 1240. Thecomposite image 1260 occurs because the phenomenon occurs during thepeak amperage phase 1209 of thepower waveform 1202 as shown in FIG. 12A and discussed above, where theexposure periods 1224, 1230, 1236, and 1242 are located. 1 shows amolten metal droplet 121 that is completely formed at the tip of theelectrode 106 just before separation from theelectrode 106. Any of the processes discussed above for generating a composite image may be used to generate acomposite image 1260 from the original images 1224 ', 1230', 1236 ', 1242'.

図１２Ｄの露光期間例１２４４、１２５０、１２５６、１２６２は、溶接機電極１０６からの溶融金属の溶滴１２１が電極１０６から離れ、上で説明したように、たまり１１１に落下している間の電力波形１２０２のテールアウト位相１２１１と一致するよう設定されるものとして示されている。図１２Ｄに図示するように、最も短い露光期間１２４４は、溶接領域１０９から、例えば、アーク１０７、プラズマ１０８、及び溶滴１２１から生じるか、反射する最も明るく、最も強い光エネルギーによる、光センサアレイ１２８５の中央部分１２８７における光センサ又は検出器に対する理想的な光エネルギー露光を提供する。従って、その露光期間１２４４から光センサアレイ１２８５によって生成される原画像１２４４’は、それらの最も明るい特徴、例えば、アーク１０７、プラズマ１０８、及び溶滴１２１の良好な解像度を有している。同時に、その最も短い露光期間１２４４は、残りの外側部分１２８８における光センサ又は検出器に対する溶接領域１０９の暗部からの十分な光エネルギーが、溶接領域１０９のかかる暗部における特徴の何らかの原画像を生成することを可能にしない。従って、露光期間１２４４から生成された結果の原画像１２４４’は、最も明るい特徴、例えば、アーク１０７、プラズマ１０８、及び溶滴１２１のみを示し、原画像１２４４’の残りの部分は暗部ピクセル１２９０を備えている。  The exposure period examples 1244, 1250, 1256, and 1262 in FIG. 12D show the power while themolten metal droplet 121 from thewelder electrode 106 is separated from theelectrode 106 and falls into thepool 111 as described above. It is shown as being set to match the tail-out phase 1211 of thewaveform 1202. As illustrated in FIG. 12D, theshortest exposure period 1244 is the lightest sensor array with the brightest and strongest light energy that originates or reflects from theweld area 109, eg, from thearc 107, theplasma 108, and thedroplet 121. It provides an ideal light energy exposure for the light sensor or detector at thecentral portion 1287 of 1285. Thus, theoriginal image 1244 ′ generated by thephotosensor array 1285 from thatexposure period 1244 has good resolution of their brightest features, such asarc 107,plasma 108, anddroplet 121. At the same time, thatshortest exposure period 1244 causes sufficient light energy from the dark area of theweld area 109 to the optical sensor or detector in the remainingouter portion 1288 to produce some original image of such dark area features in theweld area 109. Does not make it possible. Thus, the resultingoriginal image 1244 ′ generated from theexposure period 1244 shows only the brightest features, eg, thearc 107,plasma 108, anddroplet 121, and the remaining portion of theoriginal image 1244 ′ containsdark pixel 1290. I have.

最も明るい特徴、例えば、アーク１０７、プラズマ１０８、及び溶滴１２１から生じるか、反射する高強度光エネルギーが、その僅かに長い露光期間１２５０内にその中央部分１２８６における光センサアレイ１２８５の光センサ又は検出器を飽和させるため、次の僅かに長い露光期間１２５０は、光センサアレイ１２８５の飽和した中央部分１２８６の原因となる。同時に、溶接領域１０９の中間部分における特徴、例えば、溶接たまり１１１及び溶融帯１１３から生じるか、反射する光エネルギーが、光エネルギーが集中する光センサアレイ１２８５の光センサ又は検出器を飽和させる程十分明るくはないため、その僅かに長い露光期間１２５０は、光センサアレイ１２８５の飽和した中央部分１２８６周囲の中間部分１２８７において、光センサ又は検出器に対して理想的な光エネルギー露光を提供する。溶接領域１０９の薄暗い外側部分は、その僅かに長い露光期間１２５０内に何らかの画像を生成するよう、光センサアレイ１２８５の外側部分１２８８において、光センサ又は検出器に対して十分な光エネルギーを生じないか、反射しない。従って、その僅かに長い露光期間１２５０から光センサアレイ１２８５によって生成される原画像１２５０’は、それらの中間輝度の特徴、例えば、溶接たまり１１１及び溶融帯１１３の良好な解像度を有している。同時に、その僅かに長い露光期間１２５０は、光センサアレイ１２８５の残りの外側部分１２８８における光センサ又は検出器に対する溶接領域１０９の暗部からの十分な光エネルギーが、溶接領域１０９のかかる暗部における特徴の何らかの原画像を生成することを可能にしない。従って、僅かに長い露光期間１２５０から生成される結果の原画像１２５０’は、かなり明るいが、最も明るいものではない特徴、例えば、溶接たまり１１１及び溶融帯１１３のみを示す。原画像１２５０’の中央部分ピクセル１２９１は飽和しており、原画像１２５０’の残りの外側部分は、暗部ピクセル１２９０のみを備えている。  The brightest features such as high intensity light energy originating from or reflecting from thearc 107,plasma 108, anddroplet 121, or the photosensors of thephotosensor array 1285 in itscentral portion 1286 within its slightlylonger exposure period 1250 or The next slightlylonger exposure period 1250 causes the saturatedcentral portion 1286 of thephotosensor array 1285 to saturate the detector. At the same time, features in the middle portion of theweld area 109, such as light energy arising from or reflecting from theweld pool 111 and meltzone 113, are sufficient to saturate the light sensors or detectors of thelight sensor array 1285 where the light energy is concentrated. Because it is not bright, its slightlylonger exposure period 1250 provides an ideal light energy exposure for the photosensor or detector in themiddle portion 1287 around the saturatedcentral portion 1286 of thephotosensor array 1285. The dim outer portion of theweld area 109 does not produce enough light energy for the photosensor or detector in theouter portion 1288 of thephotosensor array 1285 to produce some image within its slightlylonger exposure period 1250. Or does not reflect. Thus, theoriginal image 1250 ′ generated by thephotosensor array 1285 from its slightlylonger exposure period 1250 has good resolution of their intermediate luminance characteristics, such as theweld pool 111 and themelt zone 113. At the same time, the slightlylonger exposure period 1250 allows sufficient light energy from the dark area of the weldedarea 109 to the photosensor or detector in the remainingouter portion 1288 of thephotosensor array 1285 to cause features in such dark areas of the weldedarea 109. It does not make it possible to generate any original image. Thus, the resultingoriginal image 1250 ′ generated from the slightlylonger exposure period 1250 shows only the brightest but not the brightest features, such asweld pool 111 and meltzone 113. Thecentral portion pixel 1291 of theoriginal image 1250 ′ is saturated, and the remaining outer portion of theoriginal image 1250 ′ comprises onlydark portion pixels 1290.

最も明るい特徴、例えば、アーク１０７、プラズマ１０８、及び溶滴１２１からだけではなく、僅かに薄暗い特徴、例えば、溶接たまり１１１及び溶融帯１１３からも生じるか、反射する光エネルギーが、その更に大きい中央部分１２８６において光センサアレイ１２８５の光センサ又は検出器を飽和させるため、次の適度に長い露光期間１２５６は、光センサアレイ１２８５の更に大きい飽和した中央部分１２８６の原因となる。同時に、溶接領域１０９の中間部分における特徴、例えば、電極１０６及び母材１１０、１１２から生じるか、反射する光エネルギーが、それらの特徴の画像ピクセルを生成するよう、光エネルギーが集中する光センサアレイ１２８５の光センサ又は検出器に対する適切な範囲内にあるため、その適度に長い露光期間１２５６は、光センサアレイ１２８５の飽和した中央部分１２８６周囲の中間部分１２８７において、光センサ又は検出器に対して理想的な光エネルギー露光を提供する。溶接領域１０９の薄暗い外側部分は、何らかの画像を生成するよう、光センサアレイ１２８５の外側部分１２８８において、光センサ又は検出器に対して十分な光エネルギーを生じないか、反射しない。従って、その適度に長い露光期間１２５６から光センサアレイ１２８５によって生成される原画像１２５６’は、それらの中間輝度の特徴、例えば、電極１０６及び母材１１０、１１２の良好な解像度を有している。同時に、その適度に長い露光期間１２５６は、光センサアレイ１２８５の残りの外側部分１２８８における光センサ又は検出器に対する溶接領域１０９の暗部からの十分な光エネルギーが、溶接領域１０９のかかる暗部における特徴の何らかの原画像を生成することを可能にしない。従って、適度に長い露光期間１２３６から生成される結果の原画像１２５６’は、適度に明るい特徴、例えば、溶接たまり１１１及び溶融帯１１３のみを示す。原画像１２３６’の中央部分ピクセル１２９１は飽和しており、原画像１２３６’の残りの外側部分は、暗部ピクセル１２９０のみを備えている。  The brightest features, such asarc 107,plasma 108, anddroplet 121, as well as slightly darker features, such asweld puddle 111 and meltzone 113, or reflected light energy that is greater in the middle The next reasonablylong exposure period 1256 causes a larger saturatedcentral portion 1286 of thephotosensor array 1285 to saturate the photosensors or detectors of thephotosensor array 1285 in theportion 1286. At the same time, a photosensor array in which light energy is concentrated such that light energy arising from or reflecting from features in the middle portion of theweld area 109, eg,electrodes 106 andbase materials 110, 112, produces image pixels of those features. Because it is within the appropriate range for 1285 photosensors or detectors, its reasonablylong exposure period 1256 is relative to the photosensors or detectors in themiddle portion 1287 around the saturatedcentral portion 1286 of thephotosensor array 1285. Provides ideal light energy exposure. The dim outer portion of theweld area 109 does not produce or reflect sufficient light energy to the photosensor or detector at theouter portion 1288 of thephotosensor array 1285 to produce some image. Thus, theoriginal image 1256 ′ generated by thephotosensor array 1285 from its reasonablylong exposure period 1256 has good characteristics of their intermediate luminance characteristics, eg, theelectrodes 106 and thebase materials 110, 112. . At the same time, the reasonablylong exposure period 1256 is such that sufficient light energy from the dark portion of the weldedarea 109 to the photosensor or detector in the remainingouter portion 1288 of thephotosensor array 1285 causes the dark area of the weldedregion 109 to be characterized. It does not make it possible to generate any original image. Accordingly, the resultingoriginal image 1256 ′ generated from a reasonablylong exposure period 1236 shows only moderately bright features, such asweld pool 111 and meltzone 113. Thecentral portion pixel 1291 of theoriginal image 1236 ′ is saturated, and the remaining outer portion of theoriginal image 1236 ′ comprises onlydark portion pixels 1290.

全部ではあるが、薄暗い特徴から、例えば、アーク１０７、プラズマ１０８、溶滴１２１、溶接たまり１１１、溶融帯１１３、電極１０６、及び母材１１０、１１２の内側部分から生じるか、反射する光エネルギーが、その更に大きい中央部分１２８６において光センサアレイ１２８５の光センサ又は検出器を飽和させるため、次の最も長い露光期間１２６２は、光センサアレイ１２８５の更に大きい飽和した中央部分１２８６の原因となる。同時に、溶接領域１０９のその外側部分１２８７における特徴、例えば、溶接ノズル１０４及び母材１１０、１１２の外側部分から生じるか、反射する光エネルギーが、それらの特徴の画像ピクセルを生成するよう、光エネルギーが集中する光センサアレイ１２８５の光センサ又は検出器に対する適切な範囲内にあるため、その最も長い露光期間１２６２は、光センサアレイ１２８５の飽和した中央部分１２８６周囲の外側部分１２８７において、光センサ又は検出器に対して理想的な光エネルギー露光を提供する。図１２Ｄにおいて図示していない冷却され、固化した溶接ビード１０３は、また、原画像１２６２’において、カメラが溶接ビード１０３を含めるよう適切な視点にあるかどうかも示す。従って、その最も長い露光期間１２６２から光センサアレイ１２８５によって生成される原画像１２６２’は、それらの中間輝度の特徴、例えば、溶接ノズル１０４、母材１１０、１１２の外側部分、及び溶接ビード１０３の良好な解像度を有している。従って、最も長い露光期間１２６２から生成される結果の原画像１２６２’は、薄暗い特徴、例えば、溶接ノズル１０４、母材１１０、１１２の外側部分、及び溶接ビード１０３のみを示す。原画像１２６２’の中央部分ピクセル１２９１は飽和している。  In all but the dim characteristics, for example, thearc 107,plasma 108,droplet 121,weld pool 111,melting zone 113,electrode 106, and the light energy that is reflected or reflected from the inner portions of thebase materials 110, 112. The nextlongest exposure period 1262 causes the larger saturatedcentral portion 1286 of thephotosensor array 1285 to saturate the photosensors or detectors of thephotosensor array 1285 at its largercentral portion 1286. At the same time, the light energy such that features in itsouter portion 1287 of theweld area 109, such as light energy arising from or reflecting from the outer portions of thewelding nozzle 104 and thebase materials 110, 112, produce image pixels of those features. Is within the appropriate range for the light sensor or detector of the concentratinglight sensor array 1285, so that thelongest exposure period 1262 is in theouter portion 1287 around the saturatedcentral portion 1286 of thelight sensor array 1285. Provides an ideal light energy exposure for the detector. A cooled and solidifiedweld bead 103 not shown in FIG. 12D also shows in theoriginal image 1262 ′ whether the camera is in the proper viewpoint to include theweld bead 103. Thus, theoriginal image 1262 ′ generated by thephotosensor array 1285 from itslongest exposure period 1262 can be characterized by their intermediate brightness features, such as thewelding nozzle 104, the outer portions of thepreforms 110, 112, and theweld bead 103. Has good resolution. Accordingly, the resultingoriginal image 1262 ′ generated from thelongest exposure period 1262 only shows dim features, for example, thewelding nozzle 104, the outer portions of thepreforms 110, 112, and theweld bead 103. The centralpartial pixel 1291 of the original image 1262 'is saturated.

電力波形１２０２のテールアウト位相１２１１における所定のアンペア数の検出は、開始トリガーポイント１２６７、１２６８、１２６９、１２７０に対する時間遅延を有する露光期間１２４４、１２５０、１２５６、１２６２のための開始閾電流ポイント１２６３、１２６４、１２６５、１２６６に対して用いられてもよい。例えば、開始閾電流ポイント１２６３、１２６４、１２６５、１２６６は、所望の露光開始トリガーポイント１２６７、１２６８、１２６９、１２７０に対する時間遅延を有するピークアンペア数位相１２０９からの検出可能なアンペア数降下が存在する箇所であってもよい。代替として、特定の開始電流閾値は、トリガーポイント１２６７、１２６８、１２６９、１２７０が開始閾電流ポイントである場合に、露光期間１２４４、１２５０、１２５６、１２６２が開始されるべきである電力波形１２０２のテールアウト位相１２１１上の特定の場所に設定されてもよい。終了トリガーポイント１２７１、１２７２、１２７３、１２７４も、また、特定の目的又は効果に対して望まれるように、各開始閾電流ポイント１２３１、１２３２、１２３３、１２３４からの各時間遅延において設定されるか、又は、それらは特定の検出可能な終了閾電流レベルに設定されてもよい。各露光期間１２４４、１２５０、１２５６、１２６２の間にカメラ１２６によって作成された原画像１２４４’、１２５０’、１２５６’、１２６２’は、合成画像１２８０を作成するよう共に融合される。合成画像１２８０は、その現象が、露光期間１２４４、１２５０、１２５６、１２６２が位置する場所である電力波形１２０２のテールアウト位相１２１１の間に生じるため、電極１０６の先端から離れ、溶接たまり１１１に向かって落下する溶融金属の溶滴１２１を示している。合成画像を生成するための、上で検討したプロセスのいずれかは、原画像１２４４’、１２５０’、１２５６’、１２６２’から合成画像１２８０を生成するために用いられてもよい。図１２Ｂ、１２Ｃ、及び１２Ｄの実施例によって示したように、溶接領域１０９内の異なる特徴は、露光期間を電力波形１２０２の異なる位相に位置決めすることによって取得され、表示されてもよい。合成画像１２４０（図１２Ｂ）において、溶滴１２１は、溶接機電極１０６の先端においてまさに形成し始めているものとして示されているのに対して、合成画像１２６０（図１２Ｃ）は、完全に形成され、電極１０６から離れる寸前の溶滴１２１を示し、合成画像１２８０は、電極１０６から離れ、溶接たまり１１１に向かって落下する途中の溶滴１２１を示している。溶接プロセスにおけるこれら及び多くの他の異なる現象が、電力波形の異なる位相と整列するよう露光期間を移動させることによって、カメラ１２６により取得されてもよい。溶接作業中の電力波形１２０２の特定の位相における露光期間から生成された一連の合成画像が、連続系列で、例えば、動画内の連続フレーム、例えば、１秒当たり２４から３０の合成画像として高速で連続して視聴される場合、その特定の位相において生じるそれらの現象は、リアルタイムでディスプレイ装置において見ることができる。言い換えれば、ディスプレイ装置１３８に表示される合成画像は、１つの画像として出現してもよいが、それは、実際には、人間の眼及び脳が１つの画像として見る、高速で連続した、例えば、１秒当たり２４から３０の合成画像で表示する合成画像の連続シーケンスである。露光期間を電力波形１２０２の異なる位相に移動させることにより、ユーザが溶接プロセスの他の特徴及び現象をリアルタイムで見ることを可能にしてもよい。露光期間のかかる位相偏位は徐々にであってもよく、又は、それらは電力波形位相にわたる連続掃引で行われてもよい。例えば、電力波形１２０２のサイクル全体における全ての位相にわたる、すなわち、平坦な基本相１２０５から上昇位相１２０７を通り、ピークアンペア数位相１２０９を横断し、そして、テールアウト位相１２１１を下がって、平坦な基準アンペア数位相１２０５に至る、図１２Ｄの露光期間１２４４、１２５０、１２５６、１２６２の遅い動的シフトは、電極１０６の先端において形成し始め、電極１０６から離れ、たまり１１１に落下する完全に形成された溶滴１２１まで発達し続ける溶滴１２１の動画を生成してもよい。一方で、露光期間１２４４、１２５０、１２５６、１２６２は、動画として合成画像を見ている間でさえも、結果として、まさに溶接たまり１１１に到達する際の溶滴１２１を示す合成画像を生じるテールアウト位相１２１１内の静止位置に、調整されてもよい。次いで、露光期間１２４４、１２５０、１２５６、１２６２に対するその位置を固定することにより、手溶接を行う人を審査するための溶接工が、動画がたまり１１１と合流する溶滴１２１を示すまさにその場所に、彼又は彼女が溶接機の火口及び電極を保持している際に、溶接のリアルタイム動画を見ることを可能にしてもよい。  Detection of a predetermined amperage in the tail-out phase 1211 of thepower waveform 1202 detects start thresholdcurrent points 1263 forexposure periods 1244, 1250, 1256, 1262 having time delays relative to thestart trigger points 1267, 1268, 1269, 1270, 1264, 1265, 1266 may be used. For example, the start thresholdcurrent points 1263, 1264, 1265, 1266 are where there is a detectable amperage drop from thepeak amperage phase 1209 having a time delay relative to the desired exposure starttrigger point 1267, 1268, 1269, 1270. It may be. Alternatively, the particular start current threshold is the tail of thepower waveform 1202 at which theexposure period 1244, 1250, 1256, 1262 should be started when thetrigger point 1267, 1268, 1269, 1270 is the start threshold current point. A specific location on theout phase 1211 may be set.End trigger points 1271, 1272, 1273, 1274 are also set at each time delay from each start thresholdcurrent point 1231, 1232, 1233, 1234, as desired for a particular purpose or effect, Or they may be set to a specific detectable end threshold current level. Theoriginal images 1244 ′, 1250 ′, 1256 ′, 1262 ′ created by thecamera 126 during eachexposure period 1244, 1250, 1256, 1262 are fused together to create acomposite image 1280. In thecomposite image 1280, the phenomenon occurs during thetailout phase 1211 of thepower waveform 1202, where theexposure periods 1244, 1250, 1256, 1262 are located, so that thecomposite image 1280 moves away from the tip of theelectrode 106 and toward theweld pool 111. Amolten metal droplet 121 falling is shown. Any of the processes discussed above for generating a composite image may be used to generate acomposite image 1280 from theoriginal images 1244 ′, 1250 ′, 1256 ′, 1262 ′. As illustrated by the examples of FIGS. 12B, 12C, and 12D, different features within theweld region 109 may be acquired and displayed by positioning the exposure period at different phases of thepower waveform 1202. In composite image 1240 (FIG. 12B),droplet 121 is shown as just beginning to form at the tip ofwelder electrode 106, while composite image 1260 (FIG. 12C) is fully formed. , Thedroplet 121 just before leaving theelectrode 106 is shown, and thecomposite image 1280 shows thedroplet 121 in the middle of falling from theelectrode 106 toward theweld pool 111. These and many other different phenomena in the welding process may be acquired by thecamera 126 by moving the exposure period to align with different phases of the power waveform. A series of composite images generated from an exposure period in a specific phase of thepower waveform 1202 during the welding operation is a continuous sequence, for example, as a continuous frame in a moving image, for example, 24 to 30 composite images per second at high speed. When viewed continuously, those phenomena that occur in that particular phase can be viewed in real time on the display device. In other words, the composite image displayed on the display device 138 may appear as a single image, but in practice it is a fast and continuous view that the human eye and brain see as a single image, for example, It is a continuous sequence of composite images displayed at 24 to 30 composite images per second. Moving the exposure period to a different phase of thepower waveform 1202 may allow the user to view other features and phenomena of the welding process in real time. Such phase excursions during the exposure period may be gradual or they may be performed in a continuous sweep over the power waveform phase. For example, the flat reference spans all phases in the entire cycle of thepower waveform 1202, ie, from the flatfundamental phase 1205 through the risingphase 1207, across thepeak amperage phase 1209, and down thetailout phase 1211. The slow dynamic shift of theexposure periods 1244, 1250, 1256, 1262 in FIG. 12D, leading to theamperage phase 1205, begins to form at the tip of theelectrode 106 and is fully formed falling off theelectrode 106 and falling into thepool 111. A moving image of thedroplet 121 that continues to develop up to thedroplet 121 may be generated. On the other hand, theexposure periods 1244, 1250, 1256, 1262 result in a tail-out that results in a composite image showing thedroplet 121 as it arrives at theweld pool 111, even while viewing the composite image as a movie. It may be adjusted to a stationary position within thephase 1211. Then, by fixing its position relative to theexposure periods 1244, 1250, 1256, 1262, the welder for reviewing the person performing the manual welding will be at the exact location where the video shows thedroplet 121 joining thepool 111. It may be possible to view a real-time animation of the weld as he or she holds the crater and electrodes of the welder.

本発明の実施形態は、従って、溶接プロセスを視聴し、高い視覚ダイナミックレンジを有する結合画像を生成するためのシステム及び方法を提供する。これらの技術は、図１に示す自動溶接用視覚及び制御システム１００等の自動溶接システムにおいて、及び、図１３に示し、以下で説明する手溶接用視覚システム１３００等の手動システムにおいて用いられてもよい。システムの高い視覚ダイナミックレンジは、背景と同様に、溶接の様々な部分が溶接プロセス中に視聴されることを可能にする。合成画像は、従って、高品質の溶接を達成するよう、パラメータの調整を可能にする、溶接品質に関する多量の情報を提供する。  Embodiments of the present invention thus provide a system and method for viewing a welding process and generating a combined image with a high visual dynamic range. These techniques may be used in an automatic welding system such as the automatic welding vision andcontrol system 100 shown in FIG. 1 and in a manual system such as the manualwelding vision system 1300 shown in FIG. 13 and described below. Good. The high visual dynamic range of the system, as well as the background, allows various parts of the weld to be viewed during the welding process. The composite image thus provides a great deal of information about the weld quality that allows the parameters to be adjusted to achieve a high quality weld.

上で述べたように、図１に示す任意選択の動的減光プレート１３０が、アーク１０７、プラズマ１０８、溶接溶滴１２１、溶接たまり１１１、及び、カメラ１２６の光検出素子に入射する溶接領域１０９内の他の特徴から生じる光度を更に制御するために用いられてもよい。任意選択の動的減光プレート１３０は、溶接領域１０９又は溶接領域１０９内の特徴から生じるか、反射する光エネルギーを減衰させるよう、視覚システムコントローラ１２４によって制御されてもよい。従って、任意選択の動的減光プレート１３０は、カメラ１２６の開口及びカメラ１２６の光検出素子のどちらも補助するよう、カメラ１２６の露光を更に制御するか、若しくは、カメラ１２６の光検出素子の開口サイズ又は感度を調整せずに、単体で用いられてもよい。更に、任意選択の動的減光プレート１３０は、それが電力パルスのピークにおいて発生するアーク１０７の初期閃光の間の短時間のみに対して、及び、ピーク後の短時間に対して作動するような方法で、操作されてもよい。溶接及び視覚制御システム例１００における動的減光プレート例１３０は、例えば、市販され、印加電圧の変動に対して極めて迅速に応答する可変光透過率を有する高分子分散型液晶（ＰＤＬＣ）フィルム材料からできていてもよい。減光プレート１３０の機能も提供できるカメラ用の液晶減光フィルタは、例えば、Ｂｏｒｌａｅｎｇｅ，ＳｗｅｄｅｎのＬＣ−Ｔｅｃｈ Ｄｉｓｐｌａｙｓ ＡＢから市販されている。このように、コントローラ１２４は、制御電圧信号の印加により動的減光プレート１３０を容易に制御できる。例えば、溶接用電力供給部１２２からの電力波形の負数として生成される減光プレート制御信号は、プレート１３０に印加されて入射光をカメラ１２６に対して調節して、均一な光度を生じる。減光プレート制御信号に関する他の変動が可能である。視覚システムコントローラ１２４は、カメラ１２６の原画像出力によりカメラ１２６に対する開始及び終了トリガー制御信号と減光プレート制御信号とを同期させるようプログラム化される。代替として、各原画像のための露光期間は、合成画像を作成するために用いられる原画像のうちの一部又は全てに対して一定に保持されてもよい一方で、減光プレート１３０の光透過率又はカメラ１２６内の光センサアレイの光感度のどちらか一方、若しくは、両方の組み合わせは、溶接領域１０９内の特徴の全てが原画像のうちの少なくとも１つ以上において効果的に取得される可能性を高めるために、連続する原画像に対して徐々に増減される。ユーザインターフェース１２８は、また、視覚システムコントローラ１２４にも接続され、そのため、ユーザインターフェース１２８が、動的減光プレート１３０の透過率、並びに、図１に示す溶接／視覚及び制御システム１００の他の作動パラメータを変化させるために用いられてもよい。任意選択のカメラ１２７も、また、動的減光プレート１３１を備え、カメラ１２６のために上で説明したものと同じ方法で用いられてもよい。  As described above, the optional dynamic dimming plate 130 shown in FIG. It may be used to further control the light intensity resulting from other features in 109. Optional dynamic dimming plate 130 may be controlled by vision system controller 124 to attenuate light energy resulting from or reflecting from weldedarea 109 or features within weldedarea 109. Accordingly, the optional dynamic dimming plate 130 may further control the exposure of thecamera 126 to assist both the aperture of thecamera 126 and the light detection element of thecamera 126, or the light detection element of thecamera 126. It may be used alone without adjusting the aperture size or sensitivity. In addition, the optional dynamic dimming plate 130 operates only for a short time during the initial flash of thearc 107 that occurs at the peak of the power pulse and for a short time after the peak. May be manipulated in any way. An example dynamic dimming plate 130 in the welding andvision control system 100 is, for example, a polymer dispersed liquid crystal (PDLC) film material that is commercially available and has a variable light transmission that responds very quickly to variations in applied voltage. It may be made of Liquid crystal neutral density filters for cameras that can also provide the function of the neutral density plate 130 are commercially available from, for example, LC-Tech Displays AB of Borlange, Sweden. Thus, the controller 124 can easily control the dynamic dimming plate 130 by applying the control voltage signal. For example, a dimming plate control signal generated as a negative number of the power waveform from thewelding power supply 122 is applied to the plate 130 to adjust the incident light to thecamera 126 to produce a uniform luminous intensity. Other variations on the dimming plate control signal are possible. The vision system controller 124 is programmed to synchronize the start and end trigger control signals and the dimming plate control signals for thecamera 126 with the original image output of thecamera 126. Alternatively, the exposure period for each original image may be kept constant for some or all of the original images used to create the composite image, while the light on the dimming plate 130 Either one of the transmittance or the photosensitivity of the photosensor array in thecamera 126, or a combination of both, can effectively acquire all of the features in theweld area 109 in at least one or more of the original images. In order to increase the possibility, it is gradually increased or decreased with respect to successive original images. Theuser interface 128 is also connected to the vision system controller 124 so that theuser interface 128 transmits the dynamic dimming plate 130 and other operations of the welding / vision andcontrol system 100 shown in FIG. It may be used to change a parameter. Theoptional camera 127 may also include a dynamic dimming plate 131 and be used in the same manner as described above for thecamera 126.

図１は、また、任意選択の光学検出器１３２も示している。任意選択の光学検出器１３２は、図２〜５に示すプロセスを開始するよう各溶接パルスの初期閃光を検出するために用いられてもよい。任意選択の光学検出器１３２は、溶接パルスがその瞬間に検出されたことの信号を視覚システムコントローラ１２４に送るよう、視覚システムコントローラ１２４に結合される。露光の正確なタイミングは、次いで、光学検出器１３２によって生成される信号から任意にトリガされてもよい。任意選択の光学検出器１３２は、また、画像処理コントローラ１２４におけるトリガーイベントも作成できる。  FIG. 1 also shows an optional optical detector 132. An optional optical detector 132 may be used to detect the initial flash of each welding pulse to initiate the process shown in FIGS. An optional optical detector 132 is coupled to the vision system controller 124 to send a signal to the vision system controller 124 that a welding pulse has been detected at that moment. The exact timing of the exposure may then optionally be triggered from the signal generated by the optical detector 132. The optional optical detector 132 can also create a trigger event in the image processing controller 124.

図１の特徴及び機能を含むが、これらに限定されない、上で説明した特徴及び機能の一部又は全部が装備されていてもよい手溶接用視覚システム例１３００を、図１３に図示する。人間の溶接工１３１８は、ヘルメット１３０２の内側にディスプレイ１３０４を有するヘルメット１３０２を着用しているように示されている。ディスプレイ１３０４は、図１のカメラ１２６、１２７及び視覚システムコントローラ１２４に関して上で説明したように、カメラ１３０６及び電子回路パッケージ１３０８に応答して作動する。人間の溶接工１３１８は、手動アーク溶接機１３１０を用いて母材１３１４、１３１６の交差部に溶接ビード１３１２を作成する。手動アーク溶接機１３１０は、ディスプレイ１３０４上でリアルタイムに溶接プロセスを監視する人間の溶接工１３１８によって制御される。図１の減光プレート１３０、１３１等の減光プレートを任意に装備してもよい２つのカメラ１３０６は、立体視のための２つの合成画像の作成用のカメラ１３０６の２つの異なる視点から溶接領域１２０９又は溶接領域１２０９内の特徴の同時原画像を生成するが、１つのカメラのみが、単一視のために用いられてもよい。２つのカメラ１３０６からの原画像は、上で説明したように、電子回路パッケージ１３０８によって処理されて、２つの視点からの２つのそれぞれの合成画像を作成し、三次元深さの錯覚を作成するか、向上させる、例えば、人間の眼の１つに表示するための１つの視点からの１つの合成画像及び人間の別の眼に表示するための第２の視点からの第２の合成画像の２つの合成画像が、ディスプレイ１３０４内に同時に表示される。無論、単一視表示が、１つのカメラからの１つの合成画像を両方の眼に呈示してもよい。立体視であろうと単一視であろうと、合成画像は、人間の溶接工１３１８が溶接高強度光エネルギー（例えば、アーク、プラズマ、等）を生じるか、反射する領域内の特徴、並びに、それ程明るくない特徴（例えば、溶融溶滴及びたまり）及び幾分か暗い特徴（例えば、溶接ビード、溶接によって接合される母材、等）を生じるか、反射する特徴を、溶接手順が行われる際にリアルタイムで見ることを可能にする。そのように、人間の溶接工１３１８は、環境及び背景を見ることができ、並びに、プラズマ、手動アーク溶接機１３１０からの溶滴、たまり、及び、発達する溶接１３１２の他の重要な部分又は特徴を、溶接プロセス中にリアルタイムで見ることができる。このように、ヘルメット１３０２は、人間の溶接工１３１８がヘルメット１３０２の内側のディスプレイ１３０４を単に見て、暗色グラスだけを通して見る通常の溶接工のヘルメットでは見ることができない、高い視覚ダイナミックレンジで全体のプロセスを見ることができるため、部分的透過型ガラス窓を必要としない。  An example manual weldingvisual system 1300 that may be equipped with some or all of the features and functions described above, including but not limited to the features and functions of FIG. 1, is illustrated in FIG. A human welder 1318 is shown wearing ahelmet 1302 having adisplay 1304 inside thehelmet 1302.Display 1304 operates in response to camera 1306 and electronics package 1308 as described above with respect tocameras 126, 127 and vision system controller 124 of FIG. The human welder 1318 creates aweld bead 1312 at the intersection of thebase materials 1314, 1316 using amanual arc welder 1310.Manual arc welder 1310 is controlled by a human welder 1318 that monitors the welding process in real time ondisplay 1304. Two cameras 1306, which may optionally be equipped with dimming plates such as the dimming plates 130, 131 of FIG. 1, are welded from two different viewpoints of the camera 1306 for creating two composite images for stereoscopic viewing. Although a simultaneous original image of features inregion 1209 or weldedregion 1209 is generated, only one camera may be used for a single view. The original images from the two cameras 1306 are processed by the electronic circuit package 1308 as described above to create two respective composite images from two viewpoints, creating a three-dimensional depth illusion. For example, one composite image from one viewpoint for display on one of the human eyes and a second composite image from a second viewpoint for display on another human eye. Two composite images are displayed in thedisplay 1304 simultaneously. Of course, a single view display may present a composite image from one camera to both eyes. Whether stereoscopic or single view, the composite image is a feature within the region where the human welder 1318 produces or reflects high intensity light energy (eg, arc, plasma, etc.) welded, and so on. Features that produce or reflect features that are not bright (eg, molten droplets and pools) and somewhat darker features (eg, weld beads, base material joined by welding, etc.) when the welding procedure is performed Allows viewing in real time. As such, the human welder 1318 can see the environment and background, as well as plasma, droplets, pools, and other important parts or features of theweld 1312 that develop from themanual arc welder 1310. Can be viewed in real time during the welding process. In this manner, thehelmet 1302 has a high visual dynamic range that cannot be seen with a normal welder's helmet where a human welder 1318 simply looks at thedisplay 1304 inside thehelmet 1302 and only looks through the dark glass. Since the process can be seen, a partially transmissive glass window is not required.

本発明の前記説明は、例証及び説明の目的のために呈示した。それは、網羅的であること、又は、開示した厳密な形態に発明を制限することを意図しておらず、他の変更例及び改良例が、上記技術に鑑みて可能であってもよい。実施形態は、それによって、当業者が、考察された特定の使用に適するように様々な実施形態及び様々な変更例において発明を最良に活用することを可能にするよう、発明の原理及びその実用的応用を最良に説明するために選択され、説明した。特徴を含んで本明細書に用いられる場合、用語「ｃｏｍｐｒｉｓｅ」、「ｃｏｍｐｒｉｓｅｓ」、「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｅ」、「ｉｎｃｌｕｄｉｎｇ」、及び「ｉｎｃｌｕｄｅｓ」は、記載された特徴、整数、構成部品、又はステップの存在を明記することを意図しているが、それらは、１つ以上の他の特徴、整数、構成部品、ステップ、又はそれらの群の存在又は追加を排除するものではない。添付特許請求の範囲が、先行技術によって制限される限りを除いて、発明の他の代替実施形態を含むと解釈されることを意図している。
The foregoing description of the present invention has been presented for purposes of illustration and description. It is not intended to be exhaustive or to limit the invention to the precise forms disclosed, and other modifications and improvements may be possible in light of the above technology. The embodiments thereby enable the person skilled in the art to make the best use of the invention in various embodiments and various modifications to suit the particular use discussed and its practical use. Selected and described to best explain the typical application. As used herein, including features, the terms “comprise”, “comprises”, “comprising”, “include”, “including”, and “includes” are the described features, integers, components, or Although intended to specify the presence of a step, they do not exclude the presence or addition of one or more other features, integers, components, steps, or groups thereof. It is intended that the appended claims be construed to include other alternative embodiments of the invention except insofar as limited by the prior art.

Claims (59)

Translated fromJapanese

アーク溶接システム（１０２）のための溶接用視覚及び制御システム（１００）であって、前記アーク溶接システムは、溶接領域（１０９）内の母材（１１０、１１２）上に溶接ビードを作成するよう、溶接用電力供給部（１２２）からの周期性電力波形（１３６、２０２、３０２、４０２、５０２、１００２、１２０２）によって電力が供給され、
前記溶接領域上又は前記溶接領域内の特徴（１０３、１０４、１０６、１０７、１０８、１１０、１１１、１１２１１３）上に集中する光センサアレイを有するカメラ（１２６）であって、露光開始制御信号に応答して前記溶接領域から、又は、前記溶接領域内の特徴から生じるか、反射する光エネルギーに対して前記光センサアレイを露光させて、前記溶接領域又は前記溶接領域内の前記特徴の一連の原画像（２０４’、３０４’、４０４’、５０４’、１００４’、１２２４’）を生成するカメラと、
周期性電力波形上の所定のトリガーポイントにおいて、前記露光開始制御信号を前記カメラに対して生成する視覚システムコントローラ（１２４）と、
を備える、溶接用視覚及び制御システム。A welding vision and control system (100) for an arc welding system (102), wherein the arc welding system is adapted to create a weld bead on a base material (110, 112) in a welding region (109). Power is supplied by the periodic power waveform (136, 202, 302, 402, 502, 1002, 1202) from the welding power supply unit (122),
A camera (126) having a photosensor array concentrated on the weld area or on the features (103, 104, 106, 107, 108, 110, 111, 112113) in the weld area, the exposure start control signal In response, the photosensor array is exposed to light energy that originates from or reflects from the weld area, or a feature in the weld area, and the series of features in the weld area or the weld area. A camera that generates original images (204 ′, 304 ′, 404 ′, 504 ′, 1004 ′, 1224 ′);
A vision system controller (124) that generates the exposure start control signal to the camera at a predetermined trigger point on a periodic power waveform;
A welding vision and control system comprising: 前記周期性電力波形における電気的特性（Ｖ、Ｉ）を感知する電気的特性センサ（１２３）を含み、前記視覚システムコントローラは、前記周期性電力波形内の露光開始閾値（２２８、２３８、４２８、５２８、１２３１）を感知し、応答して、前記露光開始制御信号を前記カメラに対して生成する、請求項１に記載の溶接用視覚及び制御システム。  An electrical characteristic sensor (123) that senses electrical characteristics (V, I) in the periodic power waveform, wherein the visual system controller is configured to include an exposure start threshold (228, 238, 428, The welding vision and control system of claim 1, sensing and responding to the camera and generating the exposure start control signal to the camera. 前記溶接用電力供給部は、前記周期性電力波形上の所定のトリガーポイントと同期して、前記露光開始制御信号を前記カメラに対して生成する、請求項１に記載の溶接及び制御システム。  The welding and control system according to claim 1, wherein the welding power supply unit generates the exposure start control signal for the camera in synchronization with a predetermined trigger point on the periodic power waveform. 前記カメラは、前記周期性電力波形の位相において露光期間（２０４、３０４、４０４、５０４、１２２４）の間、前記溶接領域から、又は、前記溶接領域内の特徴から生じるか、反射する前記光エネルギーに前記光センサアレイを露光する、請求項２に記載の溶接用視覚及び制御システム。  The light energy that arises or reflects from the weld area or from features within the weld area during an exposure period (204, 304, 404, 504, 1224) in the phase of the periodic power waveform. The welding vision and control system according to claim 2, wherein the optical sensor array is exposed to light. 前記視覚システムコントローラは、前記周期性電力波形における前記電気的特性（Ｖ、Ｉ）が前記露光開始閾値と一致する場合を感知した後、所定の時間遅延で前記露光開始制御信号を前記カメラに対して生成する、請求項４に記載の溶接用視覚及び制御システム。  The visual system controller senses when the electrical characteristics (V, I) in the periodic power waveform match the exposure start threshold, and then sends the exposure start control signal to the camera with a predetermined time delay. The welding vision and control system according to claim 4, wherein 前記カメラは、露光終了制御信号に応答して、前記光センサアレイが、前記溶接領域から、又は、前記溶接領域内の特徴から生じるか、反射する前記光エネルギーに露光される露光期間を終了させる、請求項２に記載の溶接用視覚及び制御システム。  In response to the exposure end control signal, the camera terminates an exposure period in which the photosensor array is exposed to the light energy that originates from or reflects from the weld area, or a feature within the weld area. A welding vision and control system according to claim 2. 前記視覚システムコントローラは、前記周期性電力波形における前記電気的特性が前記露光開始閾値と一致する場合を感知した後、所定の時間遅延で前記露光終了制御信号を前記カメラに対して生成する、請求項６に記載の溶接用視覚及び制御システム。  The visual system controller generates the exposure end control signal to the camera with a predetermined time delay after sensing a case where the electrical characteristic in the periodic power waveform matches the exposure start threshold. Item 7. The welding vision and control system according to item 6. 前記視覚システムコントローラは、前記周期性電力波形における前記電気的特性が露光終了閾値と一致する場合を感知し、応答して、前記露光終了制御信号を前記カメラに対して生成する、請求項６に記載の溶接用視覚及び制御システム。  7. The visual system controller senses when the electrical characteristic in the periodic power waveform matches an exposure end threshold, and in response generates the exposure end control signal to the camera. Vision and control system for welding as described. 前記光センサアレイは個々の光センサを備え、そのそれぞれは、露光期間（２０４、３０４、４０４、５０４、１００４、１２２４）の間に前記溶接領域から、又は、前記溶接領域内の特徴から生じるか、反射する前記光エネルギーの離散部分に露光され、前記カメラは、一連の前記露光期間において、前記溶接領域から、又は、前記溶接領域内の特徴から生じるか、反射する前記光エネルギーに前記光センサアレイを露光して、ピクセルアレイフォーマット内の各ピクセルが、前記露光期間のそれぞれの１つの間に、前記光センサアレイ内の前記光センサの１つによって吸収される前記光エネルギーを示すピクセル値を有する前記ピクセルアレイフォーマットの一連の原画像における各原画像のそれぞれを生成する、請求項２に記載の溶接用視覚及び制御システム。  The photosensor array comprises individual photosensors, each of which arises from the weld area during exposure periods (204, 304, 404, 504, 1004, 1224) or from features within the weld area The light sensor is exposed to a discrete portion of the light energy that reflects, and the camera detects the light energy that occurs from or reflects the features in the weld area during the series of the exposure periods. Exposing the array, each pixel in a pixel array format has a pixel value indicative of the light energy absorbed by one of the photosensors in the photosensor array during a respective one of the exposure periods. The weld according to claim 2, wherein each of the original images in the series of original images of the pixel array format comprises: Visual and control systems. 前記視覚システムコントローラは、非飽和ピクセル値（９４２、９４４、９４６）及び非暗部ピクセル値（９５２、９５４、９５６）を有する前記複数の原画像からピクセルを選択し、選択されたピクセルを前記第１の合成画像に融合させる論理演算を行うことによって、第１の複数の原画像を第１の合成画像（２５３、３９７、４７６、５７６、１０３１、１２４０）に融合させる、請求項９に記載の溶接用視覚及び制御システム。  The visual system controller selects a pixel from the plurality of original images having a non-saturated pixel value (942, 944, 946) and a non-dark pixel value (952, 954, 956), and the selected pixel is the first pixel. The welding according to claim 9, wherein the first plurality of original images are fused to the first synthesized image (253, 397, 476, 576, 1031, 1240) by performing a logical operation to be fused to the synthesized image. For visual and control system. 前記視覚システムコントローラは、非飽和ピクセル値及び非暗部ピクセル値を有する第２及び後続の複数の原画像からピクセルを選択し、選択されたピクセルを前記第２及び後続の合成画像に融合させる論理演算を行うことによって、第２及び後続の複数の原画像を第２及び後続の合成画像（２５５、３９８Ｎ、４７８、５７８、１０３２、１２６０）に融合させる、請求項１０に記載の溶接用視覚及び制御システム。  The visual system controller selects a pixel from a plurality of second and subsequent original images having non-saturated pixel values and non-dark pixel values and fuses the selected pixels into the second and subsequent composite images 11. The welding vision and control of claim 10, wherein the second and subsequent multiple original images are fused to the second and subsequent composite images (255, 398N, 478, 578, 1032, 1260) by performing system. 前記視覚システムコントローラは、前記ディスプレイ装置上での動画表示のためのディスプレイ装置（１３８）に、前記第１、第２、及び後続の合成画像を直列に流す、請求項１１に記載の溶接用視覚及び制御システム。  12. The welding vision of claim 11, wherein the vision system controller flows the first, second, and subsequent composite images in series on a display device (138) for displaying moving images on the display device. And control system. 視覚制御パラメータを前記視覚システムコントローラに入力するための前記視覚システムコントローラに接続されるユーザインターフェース（１２８）を含む、請求項１２に記載の溶接用視覚及び制御システム。  The welding vision and control system of claim 12, comprising a user interface (128) connected to the vision system controller for inputting vision control parameters to the vision system controller. 前記視覚システムコントローラは、前記露光期間が生じる前記周期性電力波形の前記位相を変更するために前記ユーザインターフェースからの入力を受信し、応答して、前記露光開始制御信号又は前記露光終了制御信号を前記カメラに対して生成するために、前記周期性電力波形内の前記露光開始閾値の検出後に前記露光開始閾値又は前記時間遅延を変更するようプログラム化される、請求項１３に記載の溶接用視覚及び制御システム。  The visual system controller receives input from the user interface to change the phase of the periodic power waveform in which the exposure period occurs, and in response, receives the exposure start control signal or the exposure end control signal. The welding vision of claim 13, programmed to change the exposure start threshold or the time delay after detection of the exposure start threshold in the periodic power waveform for generation to the camera. And control system. 前記視覚システムコントローラは、パターン認識又は解析を前記第２及び後続の合成画像に適用して、前記溶接領域内の前記特徴の１つ以上のプリセットパラメータからの偏差を特定する論理演算を行い、前記偏差の特定に応答して、１つ以上の信号を前記溶接用電力供給部に出力して、前記偏差を修正する方法で前記周期性電力波形のパラメータを修正する、請求項１１に記載の溶接用視覚及び制御システム。  The visual system controller applies pattern recognition or analysis to the second and subsequent composite images to perform a logical operation to identify a deviation from the one or more preset parameters of the feature in the weld region; 12. The welding of claim 11, wherein in response to identifying a deviation, one or more signals are output to the welding power supply to modify the periodic power waveform parameters in a manner that corrects the deviation. For visual and control system. 前記視覚システムコントローラは、パターン認識又は解析を前記第２及び後続の合成画像に適用して、前記溶接領域内の前記特徴の１つ以上のプリセットパラメータからの偏差を特定する論理演算を行い、前記偏差の特定に応答して、１つ以上の信号をロボットシステムコントローラに出力して、前記不良を修正する方法で前記アーク溶接機システム（１０２）の物理パラメータを修正する、請求項１１に記載の溶接用視覚及び制御システム。  The visual system controller applies pattern recognition or analysis to the second and subsequent composite images to perform a logical operation to identify a deviation from the one or more preset parameters of the feature in the weld region; 12. In response to identifying the deviation, one or more signals are output to a robot system controller to modify physical parameters of the arc welder system (102) in a manner that corrects the failure. Visual and control system for welding. 前記視覚システムコントローラは、パターン認識又は解析を前記第２及び後続の合成画像に適用して、前記溶接領域内の前記特徴の１つ以上のプリセットパラメータからの偏差を特定する論理演算を行い、前記偏差の特定に応答して、１つ以上の警告又は通知信号を前記偏差を特定する前記ディスプレイ装置若しくは警告又は通知システムに出力する、請求項１１に記載の溶接用視覚及び制御システム。  The visual system controller applies pattern recognition or analysis to the second and subsequent composite images to perform a logical operation to identify a deviation from the one or more preset parameters of the feature in the weld region; 12. The welding vision and control system of claim 11, wherein one or more warning or notification signals are output to the display device or warning or notification system that identifies the deviation in response to identifying the deviation. 前記カメラは、透過率制御信号に応答して光透過率を動的に調整可能な減光プレート（１３０）を含む、請求項２に記載の溶接用視覚及び制御システム。  The welding vision and control system of claim 2, wherein the camera includes a dimming plate (130) capable of dynamically adjusting light transmittance in response to a transmittance control signal. 前記視覚システムコントローラは、前記透過率制御信号を前記カメラ減光プレートに対して生成する、請求項１８に記載の溶接用視覚及び制御システム。  The welding vision and control system of claim 18, wherein the vision system controller generates the transmittance control signal for the camera dimming plate. 前記視覚システムコントローラは、前記透過率制御信号を前記周期性電力波形の負数として生成する、請求項１９に記載の溶接用視覚及び制御システム。  20. The welding vision and control system of claim 19, wherein the vision system controller generates the transmittance control signal as a negative number of the periodic power waveform. 前記光センサアレイは、前記視覚システムコントローラによって生成される感度制御信号によって制御可能な、光エネルギーに対して調整可能な感度を有する、請求項２に記載の溶接用視覚及び制御システム。  The welding vision and control system of claim 2, wherein the light sensor array has adjustable sensitivity to light energy that is controllable by a sensitivity control signal generated by the vision system controller. 前記カメラは、前記視覚システムコントローラによって生成される開口制御信号によって制御可能な調整可能開口を有する、請求項２に記載の溶接用視覚及び制御システム。  The welding vision and control system of claim 2, wherein the camera has an adjustable aperture that is controllable by an aperture control signal generated by the vision system controller. 電気的特性（Ｖ、Ｉ）が周期的に変化する周期性電力波形（１３６、２０２、３０２、４０２、５０２、１２０２）によって電力が供給される溶接プロセス中に、溶接領域（１０９）の、又は、前記溶接領域内の特徴（１０３、１０４、１０６、１０７、１０８、１１０、１１１、１１２、１１３）の一連の原画像（２０４’、３０４’、４０４’、５０４’、１００４、１２２４’）を作成する方法であって、
前記溶接領域上又は前記溶接領域内の前記特徴上にカメラ（１２６）の焦点を合わせることと、
一連の露光期間（２０４、３０４、４０４、５０４、１００４、１２２４）の間、前記溶接領域又は前記溶接領域内の前記特徴から生じるか、反射する光エネルギーに対して前記カメラ内の光センサアレイを露光させて、前記周期性電力波形の所定の位相において前記溶接領域又は前記溶接領域内の前記特徴の前記原画像を作成するよう、前記カメラをトリガすることと、
を含む、方法。During the welding process powered by a periodic power waveform (136, 202, 302, 402, 502, 1202) whose electrical characteristics (V, I) vary periodically, , A series of original images (204 ′, 304 ′, 404 ′, 504 ′, 1004, 1224 ′) of the features (103, 104, 106, 107, 108, 110, 111, 112, 113) in the weld region. A method of creating,
Focusing the camera (126) on the weld area or on the feature in the weld area;
During a series of exposure periods (204, 304, 404, 504, 1004, 1224), the light sensor array in the camera is subjected to light energy arising from or reflecting from the weld area or the features in the weld area. Triggering the camera to expose and create the original image of the weld region or the feature in the weld region at a predetermined phase of the periodic power waveform;
Including a method. 前記周期性電力波形における前記電気的特性の所定の露光開始閾値の検出に応答して、前記一連の露光期間の間、前記溶接領域又は前記溶接領域内の前記特徴から生じるか、反射する前記光エネルギーに対して前記カメラ内の前記光センサアレイを露光させて、前記周期性電力波形の前記所定の位相において前記溶接領域又は前記溶接領域内の前記特徴の前記原画像を作成するよう、前記カメラをトリガすることを含む、請求項２３に記載の方法。  The light originating from or reflecting from the weld region or the feature in the weld region during the series of exposure periods in response to detection of a predetermined exposure start threshold of the electrical characteristic in the periodic power waveform Exposing the photosensor array in the camera to energy to create the original image of the weld region or the feature in the weld region at the predetermined phase of the periodic power waveform. 24. The method of claim 23, comprising triggering. 前記周期性電力波形における前記電気的特性の露光開始閾値の検出後の所定の時間遅延で、前記溶接領域又は前記溶接領域内の前記特徴から生じるか、反射する前記光エネルギーに対して前記カメラ内の前記光センサアレイを露光させるよう、前記カメラをトリガすることを含む、請求項２３に記載の方法。  In the camera with respect to the light energy arising from or reflecting from the weld area or the feature in the weld area with a predetermined time delay after detection of an exposure start threshold of the electrical characteristic in the periodic power waveform 24. The method of claim 23, comprising triggering the camera to expose the photosensor array. 前記周期性溶接用電力波形の異なる位相において、前記溶接領域又は前記溶接領域内の前記特徴から生じるか、反射する前記光エネルギーに対して前記カメラ内の前記光センサアレイの前記露光を開始するよう、前記露光期間の幾つかのための異なる開始閾値を提供することを含む、請求項２３に記載の方法。  At different phases of the periodic welding power waveform, the exposure of the photosensor array in the camera is initiated for the light energy arising from or reflecting from the weld region or the feature in the weld region. 24. The method of claim 23, comprising providing different onset thresholds for some of the exposure periods. 前記周期性電力波形の異なる位相に対して、前記溶接領域又は前記溶接領域内の前記特徴から生じるか、反射する前記光エネルギーに対して前記光センサアレイを露光させるよう、前記露光期間のその他とは異なる持続期間を有する前記露光期間の幾つかを提供することを含む、請求項２３に記載の方法。  For the different phases of the periodic power waveform, the other of the exposure period so that the photosensor array is exposed to the light energy resulting from or reflecting from the weld region or the feature in the weld region. 24. The method of claim 23, comprising providing some of the exposure periods having different durations. 前記周期性電力波形における前記電気的特性の前記露光開始閾値の検出後の所定の時間遅延で、前記画像露光期間を終了させるよう、前記カメラをトリガすることを含む、請求項２３に記載の方法。  24. The method of claim 23, including triggering the camera to end the image exposure period with a predetermined time delay after detection of the exposure start threshold of the electrical characteristic in the periodic power waveform. . 前記各画像露光期間に対する前記周期性電力波形における前記電気的特性の所定の露光終了閾値の検出に応答して、前記画像露光期間を終了させるよう、前記カメラをトリガすることを含む、請求項２３に記載の方法。  24. Triggering the camera to end the image exposure period in response to detecting a predetermined exposure end threshold of the electrical characteristic in the periodic power waveform for each image exposure period. The method described in 1. 電気的特性（Ｖ、Ｉ）が周期的に変化する周期性電力波形（１３６、２０２、３０２、４０２、５０２、１２０２）によって電力が供給される溶接プロセス中に、溶接領域（１０９）の、又は、前記溶接領域内の特徴（１０３、１０４、１０６、１０７、１０８、１１０、１１１、１１２、１１３）の原画像（２０４’、３０４’、４０４’、５０４’、１２２４’）を作成する方法であって、
前記溶接領域上又は前記溶接領域内の前記特徴上にカメラ（１２６）の焦点を合わせることであって、前記カメラは、前記溶接領域又は前記溶接領域内の特徴の原画像を生成するよう、露光期間（２０４、３０４、４０４、５０４、１００４、１２２４）の間、前記溶接領域から、又は、前記溶接領域内の特徴から生じるか、反射する光エネルギーに対して、前記カメラ内の光センサアレイの露光を開始するための露光開始制御信号に応答することと、
前記周期性電力波形において前記電気的特性の露光開始閾値（２２８、２３８、４２８、５２８、１００４、１２３１）を検出することと、
前記周期性電力波形における前記電気的特性の前記露光開始閾値の前記検出に応答して、前記露光開始制御信号を生成することと、
を含む、方法。During the welding process powered by a periodic power waveform (136, 202, 302, 402, 502, 1202) whose electrical characteristics (V, I) vary periodically, , A method of creating original images (204 ′, 304 ′, 404 ′, 504 ′, 1224 ′) of features (103, 104, 106, 107, 108, 110, 111, 112, 113) in the weld region. There,
Focusing a camera (126) on the weld area or on the feature in the weld area, the camera exposing to produce an original image of the weld area or feature in the weld area The light sensor array in the camera against light energy that arises or reflects from the weld area or from features in the weld area during a period (204, 304, 404, 504, 1004, 1224). Responding to an exposure start control signal for starting exposure;
Detecting an exposure start threshold (228, 238, 428, 528, 1004, 1231) of the electrical characteristics in the periodic power waveform;
Generating the exposure start control signal in response to the detection of the exposure start threshold of the electrical characteristic in the periodic power waveform;
Including a method. 前記周期性電力波形における前記開始閾値の前記検出後の所定の時間遅延で前記露光開始制御信号を生成することを含む、請求項３０に記載の方法。  31. The method of claim 30, comprising generating the exposure start control signal with a predetermined time delay after the detection of the start threshold in the periodic power waveform. 前記カメラは、露光終了制御信号に応答して、前記溶接領域又は前記溶接領域内の前記特徴から生じるか、反射する光エネルギーに対する前記カメラ内の前記光センサアレイの前記露光を終了させる、請求項３０に記載の方法。  The camera terminates the exposure of the photosensor array in the camera to light energy arising from or reflecting from the weld region or the feature in the weld region in response to an exposure end control signal. 30. The method according to 30. 前記溶接電力波形における前記電気的特性の露光終了閾値を検出することと、前記周期性電力波形における前記露光終了閾値の前記検出に応答して、前記溶接領域又は前記溶接領域内の前記特徴から生じるか、反射する光エネルギーに対する前記カメラ内の前記光センサアレイの前記露光を終了させる前記露光終了信号をカメラに対して生成することとを含む、請求項３２に記載の方法。  In response to detecting an exposure end threshold of the electrical characteristic in the welding power waveform and the detection of the exposure end threshold in the periodic power waveform, resulting from the feature in the welding region or the welding region 33. The method of claim 32, comprising: generating for the camera an end-of-exposure signal that terminates the exposure of the photosensor array in the camera for reflected light energy. 前記周期性電力波形における前記電気的特性の前記露光開始閾値の前記検出後の所定の時間遅延で前記露光終了制御信号を生成することを含む、請求項３２に記載の方法。  The method of claim 32, comprising generating the exposure end control signal at a predetermined time delay after the detection of the exposure start threshold of the electrical characteristic in the periodic power waveform. 電気的特性（Ｖ、Ｉ）が周期的に変化する周期性電力波形（１３６、２０２、３０２、４０２、５０２、１２０２）によって電力が供給される溶接プロセス中に、溶接領域（１０９）内の特定の特徴（１０３、１０４、１０６、１０７、１０８、１１０、１１１、１１２１１３）を見る方法であって、
前記溶接領域上にカメラ（１２６）の焦点を合わせることであって、前記カメラは、一連の露光期間（２０４、３０４、４０４、１００４、１２２４）の間、前記溶接領域内の前記特徴から生じるか、反射する光エネルギーに対して、前記カメラ内の光センサアレイの露光を開始するための露光開始制御信号に応答することと、
前記一連の露光期間から一連の合成画像（２５５、３９８、４７８、５７８、１０３２、１２６０）を生成するよう、前記周期性電力波形の第１の位相において、前記期間中に前記溶接領域から生じるか、反射する光エネルギーに対して前記光センサアレイを露光させるための前記露光開始制御信号を生成することと、
前記特徴が前記周期性電力波形の前記第１の位相の間に存在する際に前記溶接領域内の前記特徴の動画表示のために、前記特徴の前記一連の合成画像（２５５、３９８、４７８、５７８、１０３２、１２６０）をディスプレイ装置に流すことと、
前記露光期間が、前記特定の特徴が前記動画表示（１４０）において前記一連の合成画像（２５５、３９８、４７８、５７８、１０３２、１２６０）内で示されるように、前記特定の特徴が存在する位相において生じるまで、前記周期性電力波形の異なる位相において生じるよう、前記露光期間を変更することと、
を含む、方法。Identification within the weld area (109) during the welding process powered by a periodic power waveform (136, 202, 302, 402, 502, 1202) whose electrical characteristics (V, I) vary periodically The method (103, 104, 106, 107, 108, 110, 111, 112113) of
Focusing the camera (126) on the weld area, the camera resulting from the features in the weld area during a series of exposure periods (204, 304, 404, 1004, 1224) Responsive to reflected light energy to an exposure start control signal for initiating exposure of the photosensor array in the camera;
What happens from the weld region during the period in the first phase of the periodic power waveform to produce a series of composite images (255, 398, 478, 578, 1032, 1260) from the series of exposure periods? Generating the exposure start control signal for exposing the photosensor array to reflected light energy;
For the animated display of the feature in the weld region when the feature is present during the first phase of the periodic power waveform, the series of composite images (255, 398, 478, 578, 1032, 1260) to the display device;
The phase at which the particular feature is present such that the exposure period is indicated in the series of composite images (255, 398, 478, 578, 1032, 1260) in the animation display (140). Changing the exposure period to occur at different phases of the periodic power waveform until it occurs at
Including a method. カメラ（１２６）によって作成される一連の合成画像（２５５、３９８、４７８、５７８、１０３２、１２６０）から溶接プロセスの動画を生成する方法であって、
ビデオカメラ（１２６）の第１の作動モードのための複数の作動パラメータを適用して、前記溶接プロセスの単一画像（２０４’、３０４’、４０４’、５０４’、１２２４’）の複数のセットを生成することと、
前記溶接プロセスを実行するアーク溶接機によって作成される波形を用いて、前記単一画像の複数のセットを前記溶接プロセスと同期させることと、
前記単一画像のセットのいずれかの所定のセットにおける前記単一画像のそれぞれが、前記波形上の略同じ位置においてトリガされる前記単一画像の他のセットにおける対応画像を有するように、前記カメラのシャッターを開けるために用いられる前記作動パラメータに応答して、前記波形上の第１の位置セット（２２８、３５２、４２８、５２８、１２１７）において第１のトリガーパルスを提供することと、
前記単一画像のセットのいずれかの所定のセットにおける前記単一画像のそれぞれが、略同じ露光期間を有する前記単一画像の他のセットにおける対応画像を有するように、前記カメラ上の前記シャッターを閉じるために用いられる前記作動パラメータに応答して、前記波形上の第２の位置セット（２３０、３５４、４３０、５３０、１２１７）において第２のトリガーパルスを生成することと、
前記単一画像のセットにおける前記単一画像を結合して前記結合画像を生成することによって、前記単一画像の複数のセットから前記一連の結合画像を作成することと、
前記一連の結合画像から前記溶接プロセスの前記動画を生成することと、
前記溶接プロセスの前記動画を解析して前記溶接プロセスの解析を提供することと、
前記解析に応じて前記溶接プロセスを修正することと、
を含む、方法。A method of generating a welding process animation from a series of composite images (255, 398, 478, 578, 1032, 1260) created by a camera (126), comprising:
Applying a plurality of operating parameters for a first operating mode of the video camera (126), a plurality of sets of single images (204 ′, 304 ′, 404 ′, 504 ′, 1224 ′) of the welding process Generating
Using a waveform created by an arc welder performing the welding process to synchronize multiple sets of the single images with the welding process;
Said each of said single images in any given set of said single images has a corresponding image in said other set of said single images triggered at substantially the same location on said waveform. Providing a first trigger pulse in a first position set (228, 352, 428, 528, 1217) on the waveform in response to the operating parameter used to open the shutter of the camera;
The shutter on the camera such that each of the single images in any given set of the single images has a corresponding image in another set of the single images having substantially the same exposure period. Generating a second trigger pulse in a second position set (230, 354, 430, 530, 1217) on the waveform in response to the operating parameter used to close the
Creating the series of combined images from multiple sets of the single images by combining the single images in the set of single images to generate the combined image;
Generating the animation of the welding process from the series of combined images;
Analyzing the animation of the welding process to provide an analysis of the welding process;
Modifying the welding process in response to the analysis;
Including a method. 第１のトリガーパルスを生成する前記プロセスは、前記単一画像の全てに対して前記波形上の略同じ位置に生じる第１のトリガーパルスを生成することを含む、請求項３６に記載の方法。  38. The method of claim 36, wherein the process of generating a first trigger pulse includes generating a first trigger pulse that occurs at substantially the same location on the waveform for all of the single image. 第１のトリガーパルスを生成する前記プロセスは、前記単一画像のセットのそれぞれの内部で、前記波形上の異なる位置に生じる第１のトリガーパルスを生成することを含む、請求項３６に記載の方法。  38. The process of claim 36, wherein the process of generating a first trigger pulse includes generating a first trigger pulse that occurs at a different location on the waveform within each of the set of single images. Method. 第２のトリガーパルスを生成する前記プロセスは、前記単一画像の全てに対して前記波形上の略同じ位置に生じる第２のトリガーパルスを生成することを含む、請求項３７に記載の方法。  38. The method of claim 37, wherein the process of generating a second trigger pulse includes generating a second trigger pulse that occurs at substantially the same location on the waveform for all of the single image. 第２のトリガーパルスを生成する前記プロセスは、前記単一画像の全てに対して前記波形上の略同じ位置に生じる第２のトリガーパルスを生成することを含む、請求項３８に記載の方法。  40. The method of claim 38, wherein the process of generating a second trigger pulse includes generating a second trigger pulse that occurs at substantially the same location on the waveform for all of the single image. 第２のトリガーパルスを生成する前記プロセスは、前記単一画像のセットのそれぞれの内部で、前記波形上の異なる位置に生じる第２のトリガーパルスを生成することを含む、請求項３７に記載の方法。  38. The process of claim 37, wherein the process of generating a second trigger pulse includes generating a second trigger pulse that occurs at a different location on the waveform within each of the set of single images. Method. 第２のトリガーパルスを生成する前記プロセスは、前記単一画像のセットのそれぞれの内部で、前記波形上の異なる位置に生じる第２のトリガーパルスを生成することを含む、請求項３８に記載の方法。  39. The process of claim 38, wherein the process of generating a second trigger pulse includes generating a second trigger pulse that occurs at a different location on the waveform within each of the set of single images. Method. 更に、前記動画を表示することを含む、請求項３６に記載の方法。  38. The method of claim 36, further comprising displaying the animation. 更に、前記背景領域が前記動画に出現するように、照明により前記溶接プロセスを取り囲む背景領域を照明することを含む、請求項３６に記載の方法。  37. The method of claim 36, further comprising illuminating a background region surrounding the welding process with illumination such that the background region appears in the animation. 第１のトリガーパルスを生成する前記プロセスは、閾値を設定し、前記波形が前記閾値に達する場合を検出することを含む、請求項３６に記載の方法。  38. The method of claim 36, wherein the process of generating a first trigger pulse includes setting a threshold and detecting when the waveform reaches the threshold. 第２のトリガーパルスを生成する前記プロセスは、閾値を設定し、前記波形が前記閾値に達する場合を検出することを含む、請求項４５に記載の方法。  46. The method of claim 45, wherein the process of generating a second trigger pulse includes setting a threshold and detecting when the waveform reaches the threshold. 第２のトリガーパルスを生成する前記プロセスは、前記第１のトリガーパルスから及ぶ遅延期間を用いることを含む、請求項４５に記載の方法。  46. The method of claim 45, wherein the process of generating a second trigger pulse includes using a delay period that extends from the first trigger pulse. 更に、前記ビデオカメラの第２の作動モードのための複数の作動パラメータを適用することを含む、請求項３６に記載の方法。  37. The method of claim 36, further comprising applying a plurality of operating parameters for a second operating mode of the video camera. 溶接プロセスの動画を生成するためのシステムであって、
金属溶接部品（１１０、１１２）を溶接して溶接（１０３）を生成するワイヤ供給溶接機（１０２）と、
前記溶接機に印加される電力供給波形（１３６）を生成する溶接用電力供給部（１３２）と、
応答して、前記溶接プロセスの単一画像の複数のセットを生成するよう整列される、シャッターを有するカメラ（１２６）と、
前記電力供給波形を感知し、前記単一画像の複数のセットのいずれかの所定のセットにおける前記単一画像のそれぞれが、前記波形上の略同じ位置でトリガされる前記単一画像の複数のセットにおける対応画像を有するように、前記カメラ上の前記シャッターを開けるために用いられる前記波形上の第１の位置セット（２２８、３５２、４２８、５２８、１２１７）において第１のトリガーパルスを生成し、そして、前記単一画像の複数のセットのいずれかの所定のセットにおける前記単一画像のそれぞれが、前記波形上の前記略同じ位置で開始する略等しい露光期間（２０４）を有する前記単一画像の複数のセットにおける対応画像を有するように、前記カメラ上の前記シャッターを閉じるために用いられる前記波形上の第２の位置セット（２３０、３５４、４３０、５３０、１２１７）において第２のトリガーパルスを生成するコントローラ（１２４）であって、単一画像の各セットにおける単一画像を結合して表示及び解析に適した結合画像を生成するよう、論理演算を実行するコントローラと、
を備える、システム。A system for generating a video of a welding process,
A wire feed welder (102) that welds metal weld parts (110, 112) to produce a weld (103);
A welding power supply unit (132) for generating a power supply waveform (136) applied to the welding machine;
In response, a camera (126) having a shutter aligned to produce a plurality of sets of single images of the welding process;
Sensing the power supply waveform, each of the single images in a given set of any of the plurality of sets of single images being triggered at substantially the same location on the waveform. Generating a first trigger pulse in a first set of positions (228, 352, 428, 528, 1217) on the waveform used to open the shutter on the camera to have a corresponding image in the set And each of the single images in a given set of any of the plurality of sets of single images has a substantially equal exposure period (204) starting at the approximately the same location on the waveform. A second set of positions on the waveform used to close the shutter on the camera to have corresponding images in multiple sets of images 230, 354, 430, 530, 1217) a controller (124) that generates a second trigger pulse, combining the single images in each set of single images to produce a combined image suitable for display and analysis. A controller that performs logical operations to generate,
A system comprising: 前記コントローラは、単一画像の各セットにおける前記波形上の前記第１の位置セットが略同じであるように、前記第１のトリガーパルスを生成する、請求項４９に記載のシステム。  50. The system of claim 49, wherein the controller generates the first trigger pulse such that the first set of positions on the waveform in each set of single images is substantially the same. 前記コントローラは、単一画像の各セットにおける前記波形上の前記第１の位置セットのうちの少なくとも幾つかが異なっているように、前記第１のトリガーパルスを生成する、請求項４９に記載のシステム。  50. The controller of claim 49, wherein the controller generates the first trigger pulse such that at least some of the first set of positions on the waveform in each set of single images are different. system. 前記コントローラは、単一画像の各セットにおける前記波形上の前記第２の位置セットが略同じであるように、前記第２のトリガーパルスを生成する、請求項５０に記載のシステム。  51. The system of claim 50, wherein the controller generates the second trigger pulse such that the second set of positions on the waveform in each set of single images is substantially the same. 前記コントローラは、単一画像の各セットにおける前記波形上の前記第２の位置セットのうちの少なくとも幾つかが異なっているように、前記第２のトリガーパルスを生成する、請求項５０に記載のシステム。  51. The controller of claim 50, wherein the controller generates the second trigger pulse such that at least some of the second set of positions on the waveform in each set of single images are different. system. 前記コントローラは、単一画像の各セットにおける前記波形上の前記第２の位置セットのうちの少なくとも幾つかが異なっているように、前記第２のトリガーパルスを生成する、請求項５１に記載のシステム。  52. The controller of claim 51, wherein the controller generates the second trigger pulse such that at least some of the second set of positions on the waveform in each set of single images are different. system. 更に、前記結合画像を表示するためのディスプレイを備える、請求項４９に記載のシステム。  50. The system of claim 49, further comprising a display for displaying the combined image. 更に、溶接部品が前記結合画像において視認可能であるように、前記溶接部品を照明する照明を備える、請求項４９に記載のシステム。  50. The system of claim 49, further comprising illumination that illuminates the welded part such that the welded part is visible in the combined image. 前記コントローラは、前記電力供給波形を感知し、閾値を前記電力供給波形と比較することによって、前記第１のトリガーパルスを生成する、請求項４９に記載のシステム。  50. The system of claim 49, wherein the controller generates the first trigger pulse by sensing the power supply waveform and comparing a threshold with the power supply waveform. 更に、前記単一画像の複数のセットの各セットにおける各画像のための複数のピクセルストリームからのピクセルを時間的に整列させる複数のシフトレジスタを備える、請求項４９に記載のシステム。  50. The system of claim 49, further comprising a plurality of shift registers that temporally align pixels from a plurality of pixel streams for each image in each set of the plurality of sets of single images. 前記コントローラは、前記ピクセルの照明値に基づいて、前記結合画像のためのピクセルを選択する複数のコンパレータを備える、請求項４９に記載のシステム。
50. The system of claim 49, wherein the controller comprises a plurality of comparators that select pixels for the combined image based on illumination values of the pixels.

Images