本発明は、対象物におけるレーザ溶接されたレーザ照射部位での溶接状態を判定するうえで好適なレーザ溶接状態判定装置に関する。 The present invention relates to a laser welding state determination device that is suitable for determining a welding state at a laser-irradiated portion of a target object.
従来、レーザ溶接された対象物の溶接状態を判定するレーザ溶接状態判定装置が知られている（例えば、特許文献１及び２）。特許文献１記載のレーザ溶接状態判定装置は、対象物におけるレーザビームが照射されたレーザ照射部位を撮像するカメラと、そのカメラの撮像画像に基づいて溶接状態を判定する判定部と、を備えている。この装置において、判定部は、カメラの撮像画像からレーザ照射部位に形成されたキーホールの外周である円状かつ高輝度の発光輪を抽出して、その発光輪の中心部と周辺部との輝度分布を検出する。そして、それらの輝度分布の比較結果に基づいてレーザ照射部位での貫通の程度を判定する。 2. Description of the Related Art Conventionally, a laser welding state determination device that determines a welding state of an object subjected to laser welding is known (for example, Patent Documents 1 and 2). The laser welding state determination device described in Patent Literature 1 includes a camera that captures an image of a laser irradiation portion of a target object irradiated with a laser beam, and a determination unit that determines a welding state based on an image captured by the camera. I have. In this device, the determination unit extracts a circular and high-luminance light-emitting wheel, which is the outer periphery of the keyhole formed at the laser irradiation site, from the image captured by the camera, and determines the center of the light-emitting wheel and the peripheral portion. Detect the luminance distribution. Then, the degree of penetration at the laser irradiation site is determined based on the comparison result of the luminance distributions.
また、特許文献２記載のレーザ溶接状態判定装置は、対象物におけるレーザビームが照射されたレーザ照射部位を撮像するカメラと、そのカメラの撮像画像に基づいて溶接状態を判定する判定部と、を備えている。この装置において、判定部は、カメラの撮像画像からキーホールを抽出して、キーホール内の黒色の有無を検出すると共に、その黒色の形状を検出する。そして、キーホール内の黒色面積が所定範囲外である場合や溶融部位の長さが所定長さよりも大きい場合に、レーザ照射部位での溶接が不良であると判定する。 Further, the laser welding state determination device described in Patent Literature 2 includes a camera that captures an image of a laser-irradiated portion of a target object irradiated with a laser beam, and a determination unit that determines a welding state based on an image captured by the camera. Have. In this device, the determination unit extracts the keyhole from the image captured by the camera, detects the presence or absence of black in the keyhole, and detects the shape of the black. Then, when the black area inside the keyhole is out of the predetermined range or when the length of the fusion site is larger than the predetermined length, it is determined that the welding at the laser irradiation site is defective.
しかしながら、上記の如くカメラ撮像画像における発光輪の中心部と周辺部との輝度分布の比較だけでは、レーザ照射部位での貫通の程度を正確に判定することは困難である。また、上記の如くカメラ撮像画像におけるキーホール内の黒色の形状だけでは、レーザ照射部位での溶接良否を正確に判定することは困難である。 However, as described above, it is difficult to accurately determine the degree of penetration at the laser irradiation site only by comparing the luminance distribution between the central portion and the peripheral portion of the light emitting wheel in the image captured by the camera. Further, as described above, it is difficult to accurately determine the quality of welding at a laser irradiation site only by the black shape in the keyhole in the image captured by the camera.
本発明は、このような点に鑑みてなされたものであり、レーザ照射部位での溶接状態を精度良く判定することが可能なレーザ溶接状態判定装置を提供することを目的とする。 The present invention has been made in view of such a point, and an object of the present invention is to provide a laser welding state determination device that can accurately determine a welding state at a laser irradiation site.
本発明は、レーザ溶接される対象物におけるレーザビームが照射されたレーザ照射部位を撮像する撮像部と、前記撮像部での撮像により取得した画像を所定手法で処理する画像処理部と、前記撮像部での撮像により取得した画像を、機械学習により得られる前記レーザ照射部位が撮像された画像データと所定の溶接状態との関係を示す学習データに照らし合わせることにより前記所定の溶接状態との一致度を判定する第一の判定部と、前記画像処理部での処理により取得した処理後画像を前記学習データに照らし合わせることにより前記所定の溶接状態との一致度を判定する第二の判定部と、前記画像処理部での処理により取得した数値パラメータに基づいて前記所定の溶接状態との一致度を判定する第三の判定部と、前記第一の判定部、前記第二の判定部、及び前記第三の判定部による各判定結果に基づいて、前記レーザ照射部位での溶接状態を判定する状態判定部と、を備える、レーザ溶接状態判定装置である。 The present invention is directed to an imaging unit that images a laser irradiation portion of a target to be laser-welded with a laser beam, an image processing unit that processes an image obtained by imaging with the imaging unit by a predetermined technique, The image obtained by the imaging in the section is compared with the predetermined welding state by comparing the image obtained by machine learning with the image data obtained by imaging the laser irradiation part and the learning data indicating the relationship between the predetermined welding state. A first determination unit for determining the degree, and a second determination unit for determining the degree of coincidence with the predetermined welding state by comparing the processed image obtained by the processing in the image processing unit with the learning data. And a third determination unit that determines a degree of coincidence with the predetermined welding state based on a numerical parameter acquired by the processing in the image processing unit; and a first determination unit. Second judging unit, and on the basis of each judgment result of the third judging unit, and a state determination unit that determines welding conditions at the laser irradiation site, a laser welding determination device.
以下、本発明に係るレーザ溶接状態判定装置の具体的な実施の形態について図面を用いて説明する。 Hereinafter, specific embodiments of the laser welding state determination device according to the present invention will be described with reference to the drawings.
一実施形態のレーザ溶接状態判定装置２０は、レーザ溶接システム１に組み込まれる装置である。レーザ溶接システム１は、例えば金属製の板材２同士を突き合わせ或いは重ね合わせた部位を、レーザビームの照射により溶接するシステムである。この溶接は、図１（Ａ）に示す如く二つの板材２の側面同士が突き合わされた状態でその突き合わされた面に沿って平行にその板材２を貫通してなされる溶接（すなわち、突き合わせ貫通溶接）、図１（Ｂ）に示す如くその板材２を非貫通でなされる溶接（すなわち、突き合わせ非貫通溶接）、図１（Ｃ）に示す如く二つの板材２が積層方向に重ね合わされた状態でその重ね合わされた面に垂直にその板材２を貫通してなされる溶接（すなわち、重ね合わせ貫通溶接）、及び図１（Ｄ）に示す如くその板材２を非貫通でなされる溶接（すなわち、重ね合わせ非貫通溶接）の何れか一以上を含む。 The laser welding state determination device 20 of one embodiment is a device incorporated in the laser welding system 1. The laser welding system 1 is a system for welding, for example, a portion where metal plates 2 are butted or overlapped with each other by laser beam irradiation. As shown in FIG. 1 (A), this welding is performed in a state where the side surfaces of the two plate members 2 are abutted, and the two plate members 2 are pierced through the plate members 2 in parallel along the abutted surfaces (that is, butt penetration). Welding), welding in which the sheet material 2 is not penetrated as shown in FIG. 1B (that is, butt non-penetration welding), and a state in which two sheet materials 2 are superimposed in the laminating direction as shown in FIG. 1C. The welding is performed by penetrating the plate material 2 perpendicularly to the superposed surface (i.e., overlap penetrating welding), and the welding is performed by not penetrating the plate material 2 as shown in FIG. Non-penetration welding).
レーザ溶接システム１は、図２に示す如く、レーザ溶接装置１０を備えている。レーザ溶接装置１０は、レーザビームであるレーザ光を熱源として発生しつつ集光した状態で溶接対象の板材２に照射し、板材２を局部的に溶融及び凝固させることにより、板材２同士を接合する装置である。レーザ溶接装置１０は、図２及び３に示す如く、レーザ発振器１１と、伝送路１２と、集光光学部１３と、駆動部１４と、シールドガス供給部１５と、コントローラ１６と、を有している。 The laser welding system 1 includes a laser welding device 10 as shown in FIG. The laser welding apparatus 10 joins the plate members 2 by irradiating the plate member 2 to be welded in a state where the laser beam as a laser beam is generated as a heat source and condensed, and locally melts and solidifies the plate member 2. It is a device to do. As shown in FIGS. 2 and 3, the laser welding apparatus 10 includes a laser oscillator 11, a transmission path 12, a condensing optical unit 13, a driving unit 14, a shielding gas supply unit 15, and a controller 16. ing.
レーザ発振器１１は、レーザ光（例えば１０７０ｎｍの第１波長を有するレーザ光）を発振する装置である。レーザ発振器１１は、例えば、高出力化が可能なＣＯ２レーザやＹＡＧレーザなどを用いて構成されている。レーザ発振器１１で発生したレーザ光は、伝送路１２を通じて集光光学部１３へ導かれる。ＣＯ２レーザでは、伝送路１２での伝送は、ミラーによる折返しで行われる。また、ＹＡＧレーザでは、伝送路１２での伝送は、ミラーによる折返し以外に、自在に湾曲可能な光ファイバによる伝送で行われることもある。 The laser oscillator 11 is a device that oscillates laser light (for example, laser light having a first wavelength of 1070 nm). The laser oscillator 11 is configured using, for example, a CO2 laser or a YAG laser capable of increasing the output. The laser light generated by the laser oscillator 11 is guided to the condensing optical unit 13 through the transmission path 12. In the CO2 laser, transmission on the transmission path 12 is performed by turning back using a mirror. In the case of a YAG laser, the transmission on the transmission path 12 may be performed by an optical fiber that can be freely bent, instead of being folded by a mirror.
集光光学部１３は、図４に示す如く、レーザヘッド１３ａと、コリメーションレンズ１３ｂと、ダイクロイックミラー１３ｃと、集光レンズ１３ｄと、を有している。レーザヘッド１３ａは、円筒状の筐体からなる。コリメーションレンズ１３ｂ、ダイクロイックミラー１３ｃ、及び集光レンズ１３ｄは、レーザヘッド１３ａ内における光路上にその順に配置されている。 As shown in FIG. 4, the condenser optical unit 13 includes a laser head 13a, a collimation lens 13b, a dichroic mirror 13c, and a condenser lens 13d. The laser head 13a has a cylindrical housing. The collimation lens 13b, the dichroic mirror 13c, and the condenser lens 13d are arranged in that order on the optical path in the laser head 13a.
レーザ発振器１１から出力されたレーザ光は、放射状に広がりながら進行する。コリメーションレンズ１３ｂは、放射状に広がりながら進行するレーザ光を、平行に進行するレーザ光に変換するレンズである。ダイクロイックミラー１３ｃは、レーザ発振器１１から照射される上記第１波長のレーザ光を透過する一方、可視光及び後述するカメラ用の投光部から照射される第２波長のレーザ光を反射するミラーである。集光レンズ１３ｄは、ダイクロイックミラー１３ｃを透過したレーザ光を板材２の溶接加工点に集光するレンズである。このように、レーザ溶接装置１０は、レーザ発振器１１の生成した第１波長のレーザ光を適切なサイズに集光して板材２へ照射することにより二つの板材２を溶接する。 The laser light output from the laser oscillator 11 travels while spreading radially. The collimation lens 13b is a lens that converts a laser beam traveling while spreading radially into a laser beam traveling in parallel. The dichroic mirror 13c is a mirror that transmits the laser light of the first wavelength emitted from the laser oscillator 11 and reflects visible light and laser light of the second wavelength emitted from a camera light projecting unit described later. is there. The condensing lens 13d is a lens that condenses the laser beam transmitted through the dichroic mirror 13c to a welding point of the plate 2. As described above, the laser welding device 10 welds the two plate members 2 by converging the laser light of the first wavelength generated by the laser oscillator 11 to an appropriate size and irradiating the laser beam to the plate member 2.
集光光学部１３の下方には、台座１７が設けられている。溶接対象の板材２は、台座１７に載置され、治具を用いて台座１７に固定される。集光光学部１３は、台座ひいては板材２に対して移動可能である。駆動部１４は、集光光学部１３を台座１７に対して水平方向及び上下方向に移動させるモータである。集光光学部１３による板材２への溶接は、駆動部１４が集光光学部１３を台座１７に対して水平方向に移動させることによりその板材２の表面に沿って進行する。尚、駆動部１４は、集光光学部１３の移動に代えて或いはその集光光学部１３の移動と共に、台座１７を移動させるものであってもよい。 A pedestal 17 is provided below the light collecting optical unit 13. The plate 2 to be welded is placed on the pedestal 17 and fixed to the pedestal 17 using a jig. The condensing optical unit 13 is movable with respect to the pedestal and thus the plate 2. The drive unit 14 is a motor that moves the condensing optical unit 13 horizontally and vertically with respect to the pedestal 17. The welding to the plate 2 by the condensing optical unit 13 proceeds along the surface of the plate 2 by the drive unit 14 moving the condensing optical unit 13 in the horizontal direction with respect to the pedestal 17. Note that the drive unit 14 may move the pedestal 17 instead of or together with the movement of the light collecting optical unit 13.
シールドガス供給部１５は、板材２の溶接加工点へシールドガスを吹き付ける部位である。このシールドガスの吹き付けは、レーザ光の照射に伴う板材２の溶接加工点の酸化などを防ぐために行われる。シールドガス供給部１５により吹き付けられるシールドガスは、アルゴンやヘリウム，窒素などである。 The shield gas supply unit 15 is a part that blows a shield gas to a welding point of the plate material 2. The blowing of the shielding gas is performed in order to prevent oxidation of the welding point of the plate material 2 due to the irradiation of the laser beam. The shielding gas blown by the shielding gas supply unit 15 is argon, helium, nitrogen, or the like.
コントローラ１６は、集光光学部１３及ぶ駆動部１４に電気的に接続されている。コントローラ１６は、集光光学部１３によるレーザ光の出力制御を行うと共に、駆動部１４による集光光学部１３の移動制御を行う制御部（ＰＬＣ）である。 The controller 16 is electrically connected to the condensing optical unit 13 and the driving unit 14. The controller 16 is a control unit (PLC) that controls the output of the laser beam by the focusing optical unit 13 and controls the movement of the focusing optical unit 13 by the driving unit 14.
レーザ溶接システム１は、図３に示す如く、レーザ溶接状態判定装置２０を備えている。レーザ溶接状態判定装置２０は、レーザ溶接装置１０によりレーザ溶接された板材２の溶接状態を判定する装置である。レーザ溶接は、溶接部で激しい蒸発が起こり、レーザ光からの熱と激しい蒸発の蒸発反力とによって加工点に溶融金属が溜まる溶融池が形成されると共にその溶融池の中心付近に深い穴であるキーホールが形成された状態で進行する溶接であって、深溶込み溶接が可能である。このキーホールは、レーザ光の出力増加に伴って深くなり、進行方向への溶接速度の増加に伴って浅くなる傾向にある。 The laser welding system 1 includes a laser welding state determination device 20, as shown in FIG. The laser welding state determination device 20 is a device that determines the welding state of the plate 2 laser-welded by the laser welding device 10. In laser welding, intense evaporation occurs at the welded part, and the heat from the laser beam and the evaporation reaction force of the intense evaporation form a molten pool in which the molten metal accumulates at the processing point and a deep hole near the center of the molten pool. This is welding that proceeds with a certain keyhole formed, and deep penetration welding is possible. The keyhole tends to be deeper as the output of the laser beam increases, and shallower as the welding speed in the traveling direction increases.
レーザ溶接状態判定装置２０により判定される溶接状態は、キーホールや溶融池の状態であって、例えば、キーホールの貫通有無や、キーホールの一部が溶着金属で満たされずに母材の表面と溶着金属の表面との間に溝が形成されるアンダーカットの有無、溶接表面が窪むアンダーフィルの有無，未溶着，レーザ未出力などであり、それらのうち少なくとも２つから選択的に判定される。レーザ溶接状態判定装置２０は、カメラ２１と、計算機（ＰＣ）２２と、データサーバ２３と、を有している。 The welding state determined by the laser welding state determination device 20 is a state of a keyhole or a molten pool. For example, the presence or absence of penetration of the keyhole, and the surface of the base material without a part of the keyhole being filled with the weld metal. Whether there is an undercut where a groove is formed between the metal and the surface of the weld metal, whether there is an underfill in the weld surface, whether there is no welding, no laser output, etc., and selectively determine from at least two of them. Is done. The laser welding state determination device 20 has a camera 21, a computer (PC) 22, and a data server 23.
カメラ２１は、レーザ溶接された板材２の溶接状態を撮像する撮像装置である。カメラ２１は、図４に示す如く、集光光学部１３により照射されるレーザ光と同軸で撮像を行う。カメラ２１には、板材２の溶接部からの光が集光や反射，拡大などが施されて入射される。カメラ２１は、入射した光を光電変換することで画像を生成する（図５参照）。尚、カメラ２１は、可視光と共に可視光以外の近赤外光の波長成分を光電変換して画像生成するのが好適である。カメラ２１で生成される画像は、二次元平面画像を縦横で所定ピクセル数ずつに分割した領域ごとの輝度を所定数（例えば２５６）の階調で表現したものである。 The camera 21 is an imaging device that captures an image of the welding state of the plate material 2 that has been laser-welded. As shown in FIG. 4, the camera 21 captures an image coaxially with the laser light emitted by the condensing optical unit 13. Light from the welded portion of the plate material 2 is incident on the camera 21 after being condensed, reflected, and enlarged. The camera 21 generates an image by photoelectrically converting incident light (see FIG. 5). It is preferable that the camera 21 generates an image by photoelectrically converting not only visible light but also wavelength components of near-infrared light other than visible light. The image generated by the camera 21 is obtained by expressing the luminance of each area obtained by dividing the two-dimensional plane image into a predetermined number of pixels vertically and horizontally by a predetermined number (for example, 256) of gradations.
図３に示す如く、カメラ２１には、計算機２２が接続されている。カメラ２１の撮像した画像は、計算機２２に供給される。計算機２２は、ＣＰＵ、ストレージ、画像処理ボード、及びＩ／Ｏボードなどを有するディープラーニング向けコンピュータである。ストレージは、画像データを保存する。画像処理ボードは、カメラ２１の撮像画像を処理する。Ｉ／Ｏボードは、計算機２２の入出力を処理する。計算機２２は、ソフトウェアシステムとしてドライバ層を有している。このドライバ層としては、ストレージドライバ、カメラドライバ、及びＩ／Ｏボードが挙げられる。 As shown in FIG. 3, a computer 22 is connected to the camera 21. The image captured by the camera 21 is supplied to the computer 22. The computer 22 is a computer for deep learning including a CPU, a storage, an image processing board, an I / O board, and the like. The storage stores the image data. The image processing board processes an image captured by the camera 21. The I / O board processes input and output of the computer 22. The computer 22 has a driver layer as a software system. The driver layer includes a storage driver, a camera driver, and an I / O board.
計算機２２は、ソフトウェアシステムとしてアプリケーション層を有している。このアプリケーション層としては、メイン処理部３０が挙げられる。メイン処理部３０は、パラメータ設定部３１と、画像処理部３２と、画像処理リアルタイム判定部３３と、ＡＩ処理部３４と、総合判定部３５と、を有している。 The computer 22 has an application layer as a software system. The application layer includes the main processing unit 30. The main processing unit 30 includes a parameter setting unit 31, an image processing unit 32, an image processing real-time determination unit 33, an AI processing unit 34, and an overall determination unit 35.
パラメータ設定部３１は、画像処理部３２での画像処理に用いるパラメータを設定する部位である。画像処理部３２は、カメラドライバに読み込まれたカメラ２１の撮像画像を後述する所定の手法で処理する部位である。画像処理リアルタイム判定部３３は、画像処理部３２で画像処理された結果に基づいて板材２の溶接状態をリアルタイムに判定する部位である。 The parameter setting section 31 is a section for setting parameters used for image processing in the image processing section 32. The image processing unit 32 is a part that processes a captured image of the camera 21 read by the camera driver by a predetermined method described later. The image processing real-time determination unit 33 is a unit that determines the welding state of the plate 2 in real time based on the result of the image processing performed by the image processing unit 32.
ＡＩ処理部３４は、板材２の溶接状態を判定する部位である。ＡＩ処理部３４は、ＡＩパラメータ設定部３４ａと、ＡＩ学習部３４ｂと、ＡＩリアルタイム判定部３４ｃと、を有している。ＡＩパラメータ設定部３４ａは、溶接状態を判定するための機械学習に用いられるパラメータを設定する部位である。このＡＩパラメータは、畳み込み処理の画像サイズ及び枚数、畳み込み処理フィルタの選択、活性化処理のフィルタ選択、間引き処理のフィルタ選択、間引き処理のサイズ及び枚数、パーセプトロン結合処理の中間層のサイズ及び層数、ドロップアウト割合、オプチマイザの種類選択、オプチマイザにおける畳み込み処理・活性化処理・間引き処理・パーセプトロン結合処理への係数・オフセット初期値・学習率の初期値、学習におけるエポック数の設定などである。ＡＩ学習部３４ｂは、データサーバ２３に格納されている学習用画像データに基づいて画像と溶接状態との関係を学習する部位である。ＡＩリアルタイム判定部３４ｃは、ＡＩ学習部３４ｂで学習された結果とカメラドライバに読み込まれたカメラ２１の撮像画像と画像処理部３２で画像処理された結果とに基づいて溶接状態をリアルタイムに判定する部位である。 The AI processing unit 34 is a part that determines the welding state of the plate 2. The AI processing unit 34 includes an AI parameter setting unit 34a, an AI learning unit 34b, and an AI real-time determination unit 34c. The AI parameter setting unit 34a is a part that sets parameters used for machine learning for determining a welding state. The AI parameters include the image size and number of convolution processing, selection of convolution processing filter, selection of filter for activation processing, selection of filter for decimation processing, size and number of decimation processing, size and number of intermediate layers in perceptron combination processing , The dropout ratio, the type of optimizer, the convolution processing, the activation processing, the thinning processing, the coefficients for the perceptron combination processing in the optimizer, the initial value of the offset, the initial value of the learning rate, and the setting of the number of epochs in learning. The AI learning unit 34b is a part that learns the relationship between the image and the welding state based on the learning image data stored in the data server 23. The AI real-time determination unit 34c determines the welding state in real time based on the result learned by the AI learning unit 34b, the captured image of the camera 21 read by the camera driver, and the result of the image processing performed by the image processing unit 32. Part.
総合判定部３５は、画像処理リアルタイム判定部３３による判定結果及びＡＩリアルタイム判定部３４ｃによる判定結果に基づいて、総合的に板材２の溶接状態を判定する部位である。総合判定部３５は、また、計算機２２の有するモニタへのカメラ２１の画像表示、溶接状態を含む各種状態の表示、溶接状態を判定するための機械学習の状態表示を制御することが可能であると共に、コントローラ１６に対して集光光学部１３によるレーザ光の出力及び駆動部１４によるレーザヘッド１３ａの位置の指令を行うことが可能である。 The comprehensive determination unit 35 is a part that comprehensively determines the welding state of the plate 2 based on the determination result by the image processing real-time determination unit 33 and the determination result by the AI real-time determination unit 34c. The comprehensive determination unit 35 can also control image display of the camera 21 on a monitor of the computer 22, display of various states including the welding state, and state display of machine learning for determining the welding state. At the same time, it is possible to instruct the controller 16 to output the laser beam by the condensing optical unit 13 and to instruct the position of the laser head 13a by the driving unit 14.
データサーバ２３には、カメラ２１の撮像画像を示す画像データと溶接状態とが互いに関連されて学習データとして格納されている。このデータサーバ２３に格納される学習データは、カメラ２１の撮像画像自体（元画像）、その元画像に対する画像処理により取得した画像（処理後画像）、及びその元画像に対する画像処理により取得した数値パラメータを含む。すなわち、カメラ２１の元画像のデータ、処理後画像のデータ、及び数値パラメータが溶接状態に関連されてデータサーバ２３に格納される。 In the data server 23, image data indicating the captured image of the camera 21 and the welding state are stored as learning data in association with each other. The learning data stored in the data server 23 includes a captured image of the camera 21 (original image), an image obtained by image processing on the original image (processed image), and a numerical value obtained by image processing on the original image. Including parameters. That is, the data of the original image, the data of the processed image, and the numerical parameters of the camera 21 are stored in the data server 23 in association with the welding state.
カメラ２１の撮像画像に対して行われる画像処理は、図７及び図８に示す如く、二値化処理、ブロブ解析処理、露出カラー化処理、三次元化処理、回転処理などである。二値化処理は、カメラ２１の撮像画像（元画像）が例えば２５６階調の濃淡で表現されている場合に、設定した閾値を境にして白と黒との二階調に変換する処理である。二値化処理は、複数の閾値に対応して複数種類、実行される。ブロブ解析処理は、二値化処理された画像を分析する手法であって、その画像に含まれるブロブ（具体的には、キーホールや溶融池）の面積や周囲長，重心位置，真円度，扁平率，角度、更には、キーホールや溶融池に外接若しくは内接する四角形の位置や縦横それぞれの一辺の長さなどを算出する処理である。尚、画像処理上、例えば、閾値１２８以上の二値化部分がキーホールに設定され、閾値６４以上の二値化部分が溶融池に設定される。 The image processing performed on the image captured by the camera 21 includes binarization processing, blob analysis processing, exposure colorization processing, three-dimensional processing, rotation processing, and the like, as shown in FIGS. The binarization process is a process in which, when a captured image (original image) of the camera 21 is represented by, for example, 256 shades of gray, the image is converted into two shades of white and black at a set threshold. . A plurality of types of binarization processes are executed corresponding to a plurality of threshold values. The blob analysis process is a method of analyzing a binarized image, and the area and perimeter of a blob (specifically, a keyhole or a molten pool) included in the image, the position of the center of gravity, the roundness, and the like. , Oblateness, angle, and the position of a rectangle circumscribing or inscribing the keyhole or the molten pool, and the length of one side of each of the vertical and horizontal directions. In image processing, for example, a binarized portion having a threshold value of 128 or more is set in a keyhole, and a binarized portion having a threshold value of 64 or more is set in a molten pool.
露出カラー化処理は、カメラ２１の撮像画像中の各ピクセルの輝度値（例えば２５６段階）を所定段階（具体的には、輝度値の総階調数よりも少ない段階数、例えば１６段階などの任意の値）のうちの何れに含まれるかを判定し、その段階に色を割り当ててその輝度を色で表示する処理である。三次元化処理は、カメラ２１の撮像画像の輝度分布及び輝度勾配分布などに基づいてその画像を立体化する処理である。 In the exposure colorization process, the brightness value (for example, 256 levels) of each pixel in the image captured by the camera 21 is set to a predetermined level (specifically, 16 levels, for example, smaller than the total number of gradations of the brightness value). (Arbitrary value), a color is assigned to that stage, and the luminance is displayed in color. The three-dimensional processing is processing for three-dimensionalizing an image captured by the camera 21 based on the luminance distribution and the luminance gradient distribution of the image.
上記の画像処理が実行されると、キーホール及び溶融池の面積、周囲長、重心位置、真円度、扁平率、及び角度、キーホールに外接若しくは内接する四角形及び溶融池に外接若しくは内接する四角形の位置及び縦横それぞれの一辺の長さ、キーホール周辺及び溶融池周辺の輝度勾配分布、露出カラー化された各色の面積比、並びにキーホール重心及び溶融池重心の輝度分布及びその輝度分布の時間変化などが、数値パラメータとして算出される。 When the above image processing is executed, the area, perimeter, center of gravity, roundness, oblateness, and angle of the keyhole and the molten pool, the square circumscribed or inscribed in the keyhole and the circumscribed or inscribed in the molten pool The position of the rectangle and the length of each side in the vertical and horizontal directions, the luminance gradient distribution around the keyhole and around the molten pool, the area ratio of each color exposed, and the luminance distribution of the keyhole center and the molten pool center and their luminance distribution Time changes and the like are calculated as numerical parameters.
ＡＩ処理部３４のＡＩ学習部３４ｂは、データサーバ２３に格納されている画像データ（元画像のデータ及び処理後画像のデータを含む。）を読み込み、機械学習を行う。ＡＩ学習部３４ｂは、初期は、ＡＩパラメータ設定部３４ａに設定されている初期パラメータに基づいて機械学習を行い、以後は、学習により算出したパラメータに基づいて機械学習を行う。この機械学習は、画像の各ピクセルの輝度値に対して重み付けを行う係数、閾値、オフセット値などを変化させることにより、最終的に溶接状態を当てる確率が最も高くなる重み付け係数などを決定するものである。機械学習は、重み付けを行う層が多階層であるディープラーニング（ＤＬ）を含む。ＤＬは、出力値から入力値が正しいか否かを検算する機能（オプチマイザやバックプロパゲーション）を有しており、勾配降下法等で各階層での重み付け係数などのパラメータを自動最適化することが可能である。尚、ＤＬの階層は、局所的（例えば１ピクセルのみ）に重み付けを行う層を含んでもよいし、また、大局的（例えばすべてのピクセル）に重み付けを行う層を含んでもよい。 The AI learning unit 34b of the AI processing unit 34 reads image data (including original image data and processed image data) stored in the data server 23, and performs machine learning. The AI learning unit 34b initially performs machine learning based on initial parameters set in the AI parameter setting unit 34a, and thereafter performs machine learning based on parameters calculated by learning. This machine learning is to determine the weighting coefficient that maximizes the probability that the welding state is finally applied by changing the coefficient that weights the brightness value of each pixel of the image, the threshold value, the offset value, etc. It is. Machine learning includes deep learning (DL) in which layers for performing weighting are multi-layered. DL has a function (optimizer or backpropagation) for checking whether input values are correct from output values, and automatically optimizes parameters such as weighting coefficients in each layer by gradient descent method or the like. Is possible. Note that the DL hierarchy may include a layer that weights locally (for example, only one pixel), or may include a layer that weights globally (for example, all pixels).
ＡＩ学習部３４ｂは、機能ブロックとして、畳み込み層と、活性化層と、プーリング層と、ファイナライザと、オプチマイザと、を有している。畳み込み層は、フィルタ機能である画像の畳み込み処理を行う層である。活性化層は、畳み込み層から出力されるデータを処理に適した形に変換するルックアップテーブル（ＬＵＴ）である。プーリング層は、活性化層から出力されたデータを間引き処理する層である。フィイナライザは、間引き層から出力されるデータを結合する結合層である。オプチマイザは、出力値から入力値が正しいか否かを検算する層である。 The AI learning unit 34b has, as functional blocks, a convolution layer, an activation layer, a pooling layer, a finalizer, and an optimizer. The convolution layer is a layer that performs an image convolution process as a filter function. The activation layer is a look-up table (LUT) that converts data output from the convolutional layer into a form suitable for processing. The pooling layer is a layer that thins out data output from the activation layer. The finalizer is a connection layer that connects data output from the thinning layer. The optimizer is a layer that checks whether an input value is correct from an output value.
ＡＩ学習部３４ｂは、データサーバ２３に格納されている各種溶接状態のデータセットであるカメラ２１の元画像と溶接状態との関係に基づいて、上記の各層での処理を実行することにより、学習結果として最適な第１パラメータを設定する。また、ＡＩ学習部３４ｂは、データサーバ２３に格納されている各種溶接状態のデータセットであるカメラ２１の処理後画像（具体的には、露出カラー化処理後の画像）と溶接状態との関係に基づいて、上記の各層での処理を実行することにより、学習結果として最適な第２パラメータを設定する。また、ＡＩ学習部３４ｂは、データサーバ２３に格納されている各種溶接状態のデータセットであるカメラ２１の処理後画像（具体的には、三次元化処理後の画像）と溶接状態との関係に基づいて、上記の各層での処理を実行することにより、学習結果として最適な第３パラメータを設定する。 The AI learning unit 34b executes the above-described processing in each layer based on the relationship between the original image of the camera 21 which is a data set of various welding states stored in the data server 23 and the welding state. As a result, an optimal first parameter is set. Further, the AI learning unit 34b determines the relationship between the image after processing of the camera 21 (specifically, the image after the exposure colorization processing), which is a data set of various welding states stored in the data server 23, and the welding state. Based on the above, by executing the processing in each of the above-described layers, an optimal second parameter is set as a learning result. Further, the AI learning unit 34b determines the relationship between the processed image (specifically, the image after the three-dimensional processing) of the camera 21 which is a data set of various welding states stored in the data server 23 and the welding state. By executing the processing in each layer based on the above, the third parameter optimum as the learning result is set.
ＡＩ学習部３４ｂの各学習結果は、ＡＩリアルタイム判定部３４ｃに供給される。ＡＩリアルタイム判定部３４ｃは、ＡＩ学習部３１ｂの学習結果ごとに、カメラ２１から送られてきた撮像画像又は画像処理部３２からの処理後画像を照らし合わせることにより、各種溶接状態との一致度を判定し、そして、カメラ２１の撮像画像に基づいて板材２の溶接状態をリアルタイムに判定する。 Each learning result of the AI learning unit 34b is supplied to the AI real-time determination unit 34c. The AI real-time determination unit 34c collates the captured image sent from the camera 21 or the processed image from the image processing unit 32 for each learning result of the AI learning unit 31b, and determines the degree of coincidence with various welding states. The welding state of the plate 2 is determined in real time based on the image captured by the camera 21.
具体的には、まず、図８に示す如く、ＡＩリアルタイム判定部３４ｃは、入力されたカメラ２１の元画像をＡＩ学習部３４ｂからの第１パラメータと比較することにより各種溶接状態との一致度を判定する。また、入力されたカメラ２１の元画像に基づく露出カラー化処理後の処理後画像をＡＩ学習部３１ｂからの第２パラメータと比較することにより各種溶接状態との一致度を判定する。更に、入力されたカメラ２１の元画像に基づく三次元化処理後の処理後画像をＡＩ学習部３１ｂからの第３パラメータと比較することにより各種溶接状態との一致度を判定する。 Specifically, first, as shown in FIG. 8, the AI real-time determination unit 34c compares the input original image of the camera 21 with the first parameter from the AI learning unit 34b to determine the degree of matching with various welding states. Is determined. Further, by comparing the processed image after the exposure colorization processing based on the input original image of the camera 21 with the second parameter from the AI learning unit 31b, the degree of coincidence with various welding states is determined. Further, the degree of coincidence with various welding states is determined by comparing the processed image after the three-dimensional processing based on the input original image of the camera 21 with the third parameter from the AI learning unit 31b.
また、画像処理リアルタイム判定部３３は、入力されたカメラ２１の元画像を画像処理して得られたブロブ解析の処理結果を含む数値パラメータに基づいて、各種溶接状態との一致度を判定し、そして、カメラ２１の撮像画像に基づいて板材２の溶接状態をリアルタイムに判定する。尚、この画像処理リアルタイム判定部３３において用いるパラメータは、計算機２２への作業者の入力操作により設定変更可能であってよい。 Further, the image processing real-time determination unit 33 determines the degree of coincidence with various welding states based on numerical parameters including a processing result of the blob analysis obtained by performing image processing on the input original image of the camera 21, Then, the welding state of the plate 2 is determined in real time based on the image captured by the camera 21. Note that the parameters used in the image processing real-time determination unit 33 may be changeable by an operator's input operation to the computer 22.
ＡＩ学習部３４ｂの学習結果（ＡＩ状態）、ＡＩリアルタイム判定部３４ｃの判定結果、及び画像処理リアルタイム判定部３３の判定結果は、総合判定部３５に供給される。そして、総合判定部３５は、ＡＩリアルタイム判定部３４ｃにおける一致度判定結果及び画像処理リアルタイム判定部３３における一致度判定結果に基づいて、総合的にリアルタイムに板材２の溶接状態を判定する。具体的には、それぞれの一致度判定結果を重み付けし或いは閾値評価することにより最終的な各種溶接状態との一致度を判定し、最も一致度の高い溶接状態を判定する。 The learning result (AI state) of the AI learning unit 34b, the determination result of the AI real-time determination unit 34c, and the determination result of the image processing real-time determination unit 33 are supplied to the comprehensive determination unit 35. The comprehensive determination unit 35 comprehensively determines the welding state of the plate 2 in real time based on the matching degree determination result of the AI real-time determination unit 34c and the matching degree determination result of the image processing real-time determination unit 33. More specifically, the degree of coincidence with the final various welding states is determined by weighting or threshold evaluation of the respective coincidence degree determination results, and the welding state with the highest degree of coincidence is determined.
この総合判定部３５において一致度判定結果の重み付けに用いる係数及び閾値評価に用いる数値は、計算機２２への作業者の入力操作により変更設定可能である。すなわち、総合判定部３５は、計算機２２への作業者の入力操作に従って、それぞれの一致度判定結果の重み付けに用いる重み付け係数及び閾値評価に用いる閾値数値を設定することが可能である。総合判定部３５は、メイン処理部３０において設定された上記の重み付け係数又は閾値数値に従って各種溶接状態との一致度を判定し、最も一致度の高い溶接状態を判定する。 The coefficient used for weighting the matching degree determination result and the numerical value used for the threshold evaluation in the overall determination unit 35 can be changed and set by an operator's input operation to the computer 22. That is, the comprehensive determination unit 35 can set a weighting coefficient used for weighting each matching degree determination result and a threshold value used for threshold evaluation according to an input operation of the operator to the computer 22. The comprehensive determination unit 35 determines the degree of coincidence with various welding states according to the above-mentioned weighting coefficient or threshold value set in the main processing unit 30, and determines the welding state with the highest degree of coincidence.
ＡＩリアルタイム判定部３４ｃにおける一致度判定結果の重み付け係数は、０〜１００％の範囲で適宜変更されることが可能である。また、画像処理リアルタイム判定部３３における一致度判定結果の重み付け係数は、０〜１００％の範囲で適宜変更されることが可能である。例えば、総合判定部３５は、ＡＩリアルタイム判定部３４ｃにおける一致度判定結果の重み付け係数を１００％と設定し、画像処理リアルタイム判定部３３における一致度判定結果の重み付け係数を０％と設定して、溶接状態を判定することとしてもよい。また逆に、ＡＩリアルタイム判定部３４ｃにおける一致度判定結果の重み付け係数を０％と設定し、画像処理リアルタイム判定部３３における一致度判定結果を１００％と設定して、溶接状態を判定することとしてもよい。また、総合判定部３５は、ＡＩ学習部３４ｂでの習熟度（学習データ数）に応じて自動的に上記の重み付け係数などを変化させることとしてもよい。更に、総合判定部３５は、作業者の入力操作に従って設定された重み付け係数などにエラーが生じると判別される場合に、その人による基準よりもＡＩ処理部３４側が設定した基準を優先して用いることとしてもよい。例えば、カメラ２１の画像を時系列で見比べれば、明らかにアンダーカットやアンダーフィルが生じている画像が存在するが、この画像を溶接ＮＧとして状態判定するため、ＡＩ処理部３４側が設定した基準を優先して用いて溶接状態を判定することとしてもよい。 The weighting coefficient of the matching degree determination result in the AI real-time determination unit 34c can be appropriately changed within a range of 0 to 100%. In addition, the weighting coefficient of the matching degree determination result in the image processing real-time determination unit 33 can be appropriately changed in a range of 0 to 100%. For example, the overall determination unit 35 sets the weighting coefficient of the matching degree determination result in the AI real-time determination unit 34c to 100%, and sets the weighting coefficient of the matching degree determination result in the image processing real-time determination unit 33 to 0%. The welding state may be determined. Conversely, the weighting coefficient of the matching degree determination result in the AI real-time determination unit 34c is set to 0%, and the matching degree determination result in the image processing real-time determination unit 33 is set to 100% to determine the welding state. Is also good. In addition, the comprehensive determination unit 35 may automatically change the weighting coefficient and the like according to the proficiency (number of learning data) in the AI learning unit 34b. Further, when it is determined that an error occurs in the weighting coefficient or the like set according to the input operation of the operator, the overall determination unit 35 uses the criterion set by the AI processing unit 34 in preference to the criterion by the person. It may be that. For example, when the images of the camera 21 are compared in chronological order, there is an image in which an undercut or an underfill is apparently present. However, in order to determine the state of the image as welding NG, a reference set by the AI processing unit 34 is set. May be used with priority to determine the welding state.
また、総合判定部３５は、計算機２２のモニタに、カメラ２１の元画像にＡＩ状態を反映させた各種の機械学習による演算途中の状態を表示することが可能であると共に、ＡＩリアルタイム判定部３４ｃの判定結果及び画像処理リアルタイム判定部３３の判定結果をカメラ２１の元画像などと一緒に表示することが可能である。更に、ＡＩ状態での具体的な上記の第１〜第３パラメータ値や各種パラメータ数値を表示することとしてもよい。 In addition, the comprehensive determination unit 35 can display, on the monitor of the computer 22, a state in the middle of calculation by various kinds of machine learning in which the AI state is reflected on the original image of the camera 21, and the AI real-time determination unit 34c And the determination result of the image processing real-time determination unit 33 can be displayed together with the original image of the camera 21 and the like. Further, the specific first to third parameter values and various parameter values in the AI state may be displayed.
次に、レーザ溶接システム１の動作を説明する。
レーザ溶接システム１において、システム電源がオンすると（図９に示すステップＳ１００）、まず、データサーバ２３に格納されている画像データが取得され、計算機２２のメイン処理部３０がシステムティーチング処理を行う（ステップＳ１０１）。具体的には、システムパラメータの設定処理及びデータサーバ２３に格納されている画像データに対する上記の機械学習が実行される。そして、システムパラメータの設定処理が完了しかつ機械学習が完了したか否かが判別される（ステップＳ１０２）。この判別は、肯定判定がなされるまで継続して行われる。機械学習が完了すると、ＡＩ学習部３４ｂでの学習結果がＡＩリアルタイム判定部３４ｃに供給される。Next, the operation of the laser welding system 1 will be described.
In the laser welding system 1, when the system power is turned on (step S100 shown in FIG. 9), first, the image data stored in the data server 23 is obtained, and the main processing unit 30 of the computer 22 performs a system teaching process ( Step S101). Specifically, the system parameter setting process and the above-described machine learning on the image data stored in the data server 23 are executed. Then, it is determined whether the system parameter setting process is completed and the machine learning is completed (step S102). This determination is continued until an affirmative determination is made. When the machine learning is completed, the learning result of the AI learning unit 34b is supplied to the AI real-time determination unit 34c.
上記のシステムティーチング処理が完了した後にメイン処理部３０での各種のモニタリングが開始され（ステップＳ１０３）かつレーザ溶接装置１０での溶接が開始されると（ステップＳ１０４）、まず、メイン処理部３０のＡＩリアルタイム判定部３４ｃ及び画像処理リアルタイム判定部３３がそれぞれ、カメラ２１の撮像画像に基づいて板材２の溶接状態をリアルタイムに判定し、そして、総合判定部３５が総合的にその板材２の溶接状態をリアルタイムに判定する（ステップＳ１０５）。そして、総合判定部３５が、その判定した板材２の溶接状態が良好であるか否かを判別する。（ステップＳ１０６）。 After the completion of the system teaching process, various types of monitoring in the main processing unit 30 are started (step S103), and when welding by the laser welding device 10 is started (step S104), first, the main processing unit 30 The AI real-time determination unit 34c and the image processing real-time determination unit 33 each determine the welding state of the plate 2 in real time based on the image captured by the camera 21, and the comprehensive determination unit 35 comprehensively determines the welding state of the plate 2 Is determined in real time (step S105). Then, the comprehensive determination unit 35 determines whether or not the determined welding state of the plate 2 is good. (Step S106).
例えば、図１（Ａ）に示す突き合わせ貫通溶接が要求されているときに、判定された溶接状態が貫通溶接である場合は、その溶接状態が良好であると判別される一方、判定された溶接状態が非貫通溶接である場合は、その溶接状態が良好でないと判別される。また、図１（Ｄ）に示す重ね合わせ非貫通溶接が要求されているときに、判定された溶接状態が貫通溶接である場合は、その溶接状態が良好でないと判別される一方、判定された溶接状態が非貫通溶接である場合は、その溶接状態が良好であると判別される。 For example, when the butt penetration welding shown in FIG. 1 (A) is requested and the determined welding state is the penetration welding, it is determined that the welding state is good, while the determined welding state is good. If the state is non-penetrating welding, it is determined that the welding state is not good. In addition, when the overlapped non-penetration welding shown in FIG. 1 (D) is requested and the determined welding state is the penetration welding, it is determined that the welding state is not good while the determined welding state is not good. If the welding state is non-penetrating welding, it is determined that the welding state is good.
総合判定部３５は、溶接状態が良好でないと判別した場合は、レーザ溶接装置１０のコントローラ１６に対して、集光光学部１３によるレーザ光のパワー出力及び駆動部１４によるレーザヘッド１３ａの位置（すなわち、板材２に対するレーザ光の照射位置）の少なくとも何れかを良好な溶接状態が得られるように変更させる指令を行う（ステップＳ１０７）。かかる指令がなされると、コントローラ１６は、良好な溶接状態が得られるように集光光学部１３によるレーザ光の出力及び駆動部１４による台座１７に対するレーザヘッド１３ａの位置を変更させる。 When the overall determination unit 35 determines that the welding state is not good, it outputs a power output of the laser light by the condensing optical unit 13 and a position of the laser head 13 a by the drive unit 14 to the controller 16 of the laser welding device 10 ( That is, a command is issued to change at least one of the laser beam irradiation positions on the plate material 2 so as to obtain a good welding state (step S107). When such a command is issued, the controller 16 changes the output of the laser beam by the condensing optical unit 13 and the position of the laser head 13a with respect to the pedestal 17 by the driving unit 14 so that a good welding state is obtained.
一方、総合判定部３５が溶接状態が良好であると判別した場合は、板材２のすべての溶接が終了したか否かを判別する（ステップＳ１０８）。そして、すべての溶接が終了していないと判別された場合は、板材２の溶接に対する溶接状態の判定が継続される。一方、すべての溶接が終了したと判別された場合は、メイン処理部３０での各種のモニタリングが終了され（ステップＳ１０９）、そして、システム電源がオフされる（ステップＳ１１０）。 On the other hand, when the comprehensive determination unit 35 determines that the welding state is good, it determines whether or not all the welding of the plate 2 has been completed (step S108). When it is determined that all the weldings have not been completed, the determination of the welding state for the welding of the plate material 2 is continued. On the other hand, if it is determined that all the weldings have been completed, various types of monitoring in the main processing unit 30 are terminated (step S109), and the system power is turned off (step S110).
このように、レーザ溶接システム１においては、カメラ２１の撮像画像から板材２の溶接状態を判定することができる。具体的には、データサーバ２３内の学習データに基づく機械学習により得られる第１〜第３パラメータを用いて各種溶接状態との一致度を判定すると共に、二値化処理により得られたブロブ解析に基づいて各種溶接状態との一致度を判定し、それらの判定結果を総合して、板材２の溶接状態をリアルタイムに判定することができる。そして、その溶接状態が良好でない場合に、レーザ光の出力又は照射位置を溶接状態が良好となるようにフィードバック制御することができる。 As described above, in the laser welding system 1, the welding state of the plate 2 can be determined from the image captured by the camera 21. Specifically, the degree of coincidence with various welding states is determined using first to third parameters obtained by machine learning based on learning data in the data server 23, and the blob analysis obtained by binarization processing is performed. , The degree of coincidence with the various welding states is determined, and the results of these determinations are integrated to determine the welding state of the plate 2 in real time. When the welding state is not good, the output or irradiation position of the laser beam can be feedback-controlled so that the welding state becomes good.
また、板材２の溶接状態のリアルタイム判定を行ううえで、カメラ２１の元画像と第１パラメータとの比較による各種溶接状態との一致度判定と、露出カラー化処理後の処理後画像と第２パラメータとの比較による各種溶接状態との一致度判定と、三次元化処理後の処理後画像と第３パラメータとの比較による各種溶接状態との一致度判定と、二値化処理によるブロブ解析に基づく各種溶接状態との一致度判定と、を重み付けし或いは閾値評価することにより最終的な各種溶接状態との一致度を判定する。そして、最も一致度の高い溶接状態を溶接状態と判定する。 Further, in performing the real-time determination of the welding state of the plate 2, the degree of coincidence between various welding states by comparing the original image of the camera 21 with the first parameter, and the processed image after the exposure colorization processing and the second image are compared. Determination of the degree of coincidence with various welding states by comparison with parameters, determination of degree of coincidence with various welding states by comparison of the processed image after three-dimensional processing and the third parameter, and blob analysis by binarization processing Based on the determination of the degree of coincidence with the various welding states based on the weighting or threshold evaluation, the degree of coincidence with the final various welding states is determined. Then, the welding state having the highest matching degree is determined as the welding state.
それぞれの一致度判定結果の重み付けに用いる係数及び閾値評価に用いる数値は、計算機２２への作業者の入力操作により変更設定可能であると共に、ＡＩ学習部３４ｂでの習熟度（学習データ数）などに応じて変更可能である。このため、それらの重み付け係数や数値などの変更により、板材２の溶接部の溶接状態を精度良く判定することができる。そして、判定した溶接状態が所望の状態でない場合に、以後の溶接状態が所望の状態になるようにレーザ光の出力や照射位置が補正される。このため、溶接品質を向上させることができる。 The coefficients used for weighting the respective matching degree determination results and the numerical values used for the threshold evaluation can be changed and set by an operator's input operation to the computer 22, and the proficiency (number of learning data) in the AI learning unit 34b and the like can be changed. It can be changed according to. For this reason, the welding state of the welded portion of the plate material 2 can be accurately determined by changing the weighting coefficient, the numerical value, and the like. If the determined welding state is not the desired state, the output and irradiation position of the laser beam are corrected so that the subsequent welding state becomes the desired state. For this reason, welding quality can be improved.
更に、板材２の溶接に際し、計算機２２のモニタに、カメラ２１の元画像にＡＩ状態を反映させた各種の機械学習による演算途中の状態、ＡＩリアルタイム判定部３４ｃの判定結果及び画像処理リアルタイム判定部３３の判定結果、ＡＩ状態での具体的な上記の第１〜第３パラメータ値や各種パラメータ数値などが表示可能である。このため、作業者がモニタを見ながら上記の重み付け係数などの変更設定操作などを行うことができるので、溶接品質を向上させるための作業者による操作容易性を確保することができる。 Further, at the time of welding the plate material 2, on the monitor of the computer 22, the state in the middle of the calculation by various machine learning reflecting the AI state in the original image of the camera 21, the determination result of the AI real-time determination unit 34 c, and the image processing real-time determination unit As a result of the determination at step 33, the specific first to third parameter values and various parameter values in the AI state can be displayed. For this reason, the operator can perform the change setting operation of the above-mentioned weighting coefficient and the like while watching the monitor, so that the operability by the operator for improving the welding quality can be secured.
ところで、上記の実施形態においては、ＡＩ処理部３４及び総合判定部３５が扱うカメラ２１の撮像画像やパラメータ，溶接状態の判定結果を、一回の撮像や演算で得られたものとしている。しかし、本発明はこれに限定されるものではない。ＡＩ処理部３４及び総合判定部３５が扱うカメラ２１の撮像画像やパラメータ，溶接状態の判定結果として、単位時間当たりに取得したものの平均値を用いることとしてもよい。例えば、ＡＩ処理部３４は、過去に得た時系列の所定数ｎのデータを平均した値を用いて各種溶接状態との一致度判定を行うこととしてもよい。また、総合判定部３５は、一回ごとの各種溶接状態との一致度判定結果を時系列順に記憶させておき、所定数ｎの一致度判定結果を平均して溶接状態の判定を行うこととしてもよい。 By the way, in the above embodiment, it is assumed that the captured image of the camera 21, the parameters, and the determination result of the welding state, which are handled by the AI processing unit 34 and the comprehensive determination unit 35, are obtained by one imaging or calculation. However, the present invention is not limited to this. The average value of the images acquired per unit time may be used as the captured image of the camera 21, the parameters, and the welding state determination results handled by the AI processing unit 34 and the overall determination unit 35. For example, the AI processing unit 34 may determine the degree of coincidence with various welding states using an average value of a predetermined number n of time-series data obtained in the past. In addition, the comprehensive determination unit 35 stores the degree of coincidence determination results with the various welding states each time in chronological order, and determines the welding state by averaging the predetermined number n of coincidence degree determination results. Is also good.
また、上記の実施形態においては、学習データを格納するデータサーバ２３が、溶接状態の判定を行うレーザ溶接状態判定装置に設けられている。しかし、本発明はこれに限定されるものではない。学習データを格納するデータベースを、レーザ溶接状態判定装置２０とネットワークで接続される外部装置とし、その学習データをネットワーク経由でレーザ溶接状態判定装置２０に取得させるものとしてもよい。 In the above embodiment, the data server 23 storing the learning data is provided in the laser welding state determination device that determines the welding state. However, the present invention is not limited to this. The database storing the learning data may be an external device connected to the laser welding state determination device 20 via a network, and the learning data may be acquired by the laser welding state determination device 20 via the network.
尚、本発明は、上述した実施形態や変形形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更を施すことが可能である。 It should be noted that the present invention is not limited to the above-described embodiments and modifications, and various changes can be made without departing from the spirit of the present invention.
１：レーザ溶接システム、１０：レーザ溶接装置、２０：レーザ溶接状態判定装置、２１：カメラ、２２：計算機、２３：データサーバ、３０：メイン処理部、３４：ＡＩ処理部、３４ｂ：ＡＩ学習部、３４ｃ：ＡＩリアルタイム判定部、３２：画像処理部、３３：画像処理リアルタイム判定部、３５：総合判定部。 1: laser welding system, 10: laser welding device, 20: laser welding state determination device, 21: camera, 22: computer, 23: data server, 30: main processing unit, 34: AI processing unit, 34b: AI learning unit , 34c: AI real-time determination unit, 32: image processing unit, 33: image processing real-time determination unit, 35: comprehensive determination unit.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018174274AJP6792880B2 (en) | 2018-09-18 | 2018-09-18 | Laser welding condition judgment device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018174274AJP6792880B2 (en) | 2018-09-18 | 2018-09-18 | Laser welding condition judgment device |
| Publication Number | Publication Date |
|---|---|
| JP2020044546Atrue JP2020044546A (en) | 2020-03-26 |
| JP6792880B2 JP6792880B2 (en) | 2020-12-02 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018174274AActiveJP6792880B2 (en) | 2018-09-18 | 2018-09-18 | Laser welding condition judgment device |
| Country | Link |
|---|---|
| JP (1) | JP6792880B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021181104A (en)* | 2020-05-18 | 2021-11-25 | 東芝三菱電機産業システム株式会社 | Weld quality determination assisting system |
| US20220184730A1 (en)* | 2020-12-11 | 2022-06-16 | Kabushiki Kaisha Toshiba | Welding device and method for detecting weld state |
| WO2023068055A1 (en)* | 2021-10-20 | 2023-04-27 | 株式会社神戸製鋼所 | Method and device for monitoring welding, and method and device for laminate molding |
| KR20230087221A (en)* | 2021-12-09 | 2023-06-16 | 계명대학교 산학협력단 | Quality monitoring device and method for laser welding |
| JP2023104096A (en)* | 2022-01-17 | 2023-07-28 | 株式会社Ihi | Welding condition determination device and welding condition determination method |
| WO2024257452A1 (en)* | 2023-06-15 | 2024-12-19 | パナソニックＩｐマネジメント株式会社 | Determination program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005111538A (en)* | 2003-10-09 | 2005-04-28 | Toyota Motor Corp | Laser welding quality inspection method and apparatus |
| JP2018039028A (en)* | 2016-09-07 | 2018-03-15 | 村田機械株式会社 | Laser processing machine and laser processing method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005111538A (en)* | 2003-10-09 | 2005-04-28 | Toyota Motor Corp | Laser welding quality inspection method and apparatus |
| JP2018039028A (en)* | 2016-09-07 | 2018-03-15 | 村田機械株式会社 | Laser processing machine and laser processing method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021181104A (en)* | 2020-05-18 | 2021-11-25 | 東芝三菱電機産業システム株式会社 | Weld quality determination assisting system |
| JP7310704B2 (en) | 2020-05-18 | 2023-07-19 | 東芝三菱電機産業システム株式会社 | Welding quality judgment support system |
| US20220184730A1 (en)* | 2020-12-11 | 2022-06-16 | Kabushiki Kaisha Toshiba | Welding device and method for detecting weld state |
| WO2023068055A1 (en)* | 2021-10-20 | 2023-04-27 | 株式会社神戸製鋼所 | Method and device for monitoring welding, and method and device for laminate molding |
| KR20230087221A (en)* | 2021-12-09 | 2023-06-16 | 계명대학교 산학협력단 | Quality monitoring device and method for laser welding |
| KR102644641B1 (en)* | 2021-12-09 | 2024-03-06 | 계명대학교 산학협력단 | Quality monitoring device and method for laser welding |
| JP2023104096A (en)* | 2022-01-17 | 2023-07-28 | 株式会社Ihi | Welding condition determination device and welding condition determination method |
| WO2024257452A1 (en)* | 2023-06-15 | 2024-12-19 | パナソニックＩｐマネジメント株式会社 | Determination program |
| Publication number | Publication date |
|---|---|
| JP6792880B2 (en) | 2020-12-02 |
| Publication | Publication Date | Title |
|---|---|---|
| JP6792880B2 (en) | Laser welding condition judgment device | |
| US9355441B2 (en) | Method for closed-loop controlling a laser processing operation and laser material processing head using the same | |
| JP5354335B2 (en) | Laser processing quality determination method and apparatus | |
| JP7093848B2 (en) | Laser welder and welding condition monitoring method | |
| US20080044178A1 (en) | Laser safety system | |
| US20100219171A1 (en) | Laser Processing System and laser Processing Method | |
| CN108340088A (en) | Laser precision machining visual on-line monitoring method and system | |
| JP7006915B2 (en) | Welding appearance defect detection device, laser welding device, and welding appearance defect detection method | |
| JPH06252485A (en) | Laser processing machine | |
| JPH10249566A (en) | Laser beam machining method and its device | |
| JP4240220B2 (en) | Laser welding quality inspection method and apparatus | |
| JP2012234255A (en) | Image processing device and image processing method | |
| JP6810973B2 (en) | Laser welding control device | |
| JP3579788B2 (en) | Uranami welding control method and apparatus | |
| CN108463716A (en) | Hole detection method of laser welding part and laser welding device | |
| JPH11129083A (en) | Cutting equipment | |
| JP2017131931A (en) | Laser marking device | |
| JP2010260095A (en) | Laser welding quality evaluation method and apparatus | |
| KR20250112907A (en) | Compensation welding method and joint treatment device for compensation welding | |
| JP2004042118A (en) | Welding position automatic scanning control device and automatic scanning welding method | |
| KR102236411B1 (en) | Steel welding apparatus | |
| JP3203507B2 (en) | Laser processing equipment | |
| Yu et al. | Monitoring of backside weld bead width from high dynamic range images using CNN network | |
| CN218847985U (en) | Ultrasonic wave welding seam optical detection device | |
| JP3949076B2 (en) | Laser welding quality evaluation apparatus and method |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20190926 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20200925 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20201027 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20201030 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6792880 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 |