KR20210115994A - Method for inspecting appearance of assembly - Google Patents

Abstract

Translated fromKorean

본 발명은, 휴대용 단말기로부터 조립체의 적어도 일부를 촬영하여 촬영데이터를 획득하는 단계, 휴대용 단말기가 서버로 촬영테이터를 전송하는 단계, 서버가 촬영데이터로부터 촬영된 조립체의 촬영영역을 판단하는 단계, 서버가 판단된 촬영영역을 휴대용 단말기로 전송하는 단계 및 휴대용 단말기에서 촬영영역에 대하여 검사 완료 항목을 시현하는 단계를 포함하는 조립체의 외관 검사 방법에 관한 것이다.
본 발명에 따른 조립체의 외관 검사 방법은 사용자가 정해진 순서에 따라 외관 검사를 수행할 필요 없이 임의의 순서로 검사영역을 촬영하더라도 촬영된 부분이 어떠한 검사 영역인지를 판단하고 이를 시현할 수 있으므로 사용자의 검사 편의성이 향상될 수 있다. 또한 현재 검사 진행 상태를 사용자가 직관적으로 파악할 수 있으므로 휴먼에러를 최소화 하여 검사 정확도를 향상시킬 수 있는 효과가 있다.The present invention includes the steps of obtaining photographing data by photographing at least a portion of an assembly from a portable terminal, transmitting photographing data from the portable terminal to a server, the server determining a photographing area of an assembly photographed from the photographing data, a server It relates to a method for inspecting the appearance of an assembly, comprising the steps of transmitting the determined photographing area to a portable terminal and displaying an inspection completion item for the photographing area in the portable terminal.
In the method for inspecting the appearance of an assembly according to the present invention, even if the inspection area is photographed in an arbitrary order without the need for the user to perform the appearance inspection in a predetermined order, it is possible to determine which inspection area the photographed part is and to display it, so that the user's Inspection convenience may be improved. In addition, since the user can intuitively grasp the current inspection progress, it has the effect of improving inspection accuracy by minimizing human errors.

Description

Translated fromKorean

조립체의 외관 검사 방법{METHOD FOR INSPECTING APPEARANCE OF ASSEMBLY}Method for inspecting the appearance of an assembly

본 발명은 조립체의 외관 검사 방법에 관한 것이며, 보다 상세하게는 외관 검사를 사람이 수행할 때 필수 검사항목에 대한 누락을 방지할 수 있는 조립체의 외관 검사 방법에 관한 것이다.The present invention relates to a method for inspecting the appearance of an assembly, and more particularly, to a method for inspecting the appearance of an assembly capable of preventing omission of essential inspection items when a person performs an appearance inspection.

다수의 부품을 하나로 조립하는 과정을 통하여 조립체를 제조하는 경우에는 여러 지점에서 연결이 이루어진다. 조립체를 조립한 이후에는 적절하게 조립이 되었는지 여부를 확인하는 검사가 수행된다. 소형 조립체의 경우 조립라인 상에서 조립이 이루어지고 검사 위치에서 자동화된 공정을 통하여 외관을 검사하게 되나, 나도 규격이 큰 조립체 또는 조립 라인을 이용하여 조립되지 않는 경우에는 검사자가 직접 조립체에 접근하여 검사를 수행하게 된다. 이와 같이 검사자가 외관을 검사하는 경우 정해진 검사 순서에 따라 외관을 검사하게 되는 것이 일반적이다.In the case of manufacturing an assembly through the process of assembling a plurality of parts into one, the connection is made at several points. After assembling the assembly, an inspection is performed to confirm whether it is properly assembled. In the case of a small assembly, assembly is performed on the assembly line and the appearance is inspected through an automated process at the inspection location. will perform As such, when the inspector inspects the exterior, it is common to inspect the exterior according to a predetermined inspection order.

이러한 종래의 검사 방법과 관련하여 대한민국 등록특허 제0623634호가 개시되어 있다. 그러나 이러한 종래의 검사 방법은 작업자의 검사 항목 누락이 발생할 수 있으며, 작업자가 검사 위치 및 검사 항목에 대하여 직관적으로 인식하기 어려운 문제점이 있었다.In relation to such a conventional inspection method, Korean Patent Registration No. 0623634 is disclosed. However, such a conventional inspection method may cause an operator to omit an inspection item, and has a problem in that it is difficult for the operator to intuitively recognize the inspection location and the inspection item.

대한민국 등록특허 제0623634호Republic of Korea Patent No. 0623634

본 발명은 전술한 조립체 검사 방법의 문제점을 해결할 수 있는 조립체의 외관 검사 방법을 제공하는 것에 그 목적이 있다.An object of the present invention is to provide a method for inspecting the appearance of an assembly capable of solving the problems of the above-described assembly inspection method.

상기 과제의 해결 수단으로서, 휴대용 단말기로부터 조립체의 적어도 일부를 촬영하여 촬영데이터를 획득하는 단계, 휴대용 단말기가 서버로 촬영테이터를 전송하는 단계, 서버가 촬영데이터로부터 촬영된 조립체의 촬영영역을 판단하는 단계, 서버가 판단된 촬영영역을 휴대용 단말기로 전송하는 단계 및 휴대용 단말기에서 촬영영역에 대하여 검사 완료 항목을 시현하는 단계를 포함하는 조립체의 외관 검사 방법이 제공될 수 있다.As a means of solving the above problems, the steps of obtaining photographing data by photographing at least a part of the assembly from the portable terminal, transmitting the photographing data from the portable terminal to the server, the server determining the photographing area of the assembly photographed from the photographing data There may be provided a method for inspecting the appearance of an assembly comprising the steps of: the server transmitting the determined photographing area to the portable terminal; and displaying the inspection completion item for the photographing area in the portable terminal.

여기서, 휴대용 단말기는, TOF(Time of Flight) 카메라를 포함하여 구성되며, 이미지 및 거리정보를 포함한 촬영데이터를 획득하도록 구성될 수 있다.Here, the portable terminal is configured to include a time of flight (TOF) camera, and may be configured to acquire photographing data including an image and distance information.

한편, 서버는, 조립체의 복수의 검사영역에 대한 정보를 포함하며, 휴대용 단말기로부터 전송된 촬영데이터 중 거리정보를 근거로 촬영영역이 조립체 중 어떤 부분인지를 판단하며, 검사영역 중 촬영영역과 매칭되는 검사영역을 판단하며, 매칭 검사영역에 따라 이미지를 저장할 수 있다.On the other hand, the server includes information on a plurality of inspection areas of the assembly, determines which part of the assembly is a photographing area based on distance information among photographing data transmitted from the portable terminal, and matches the photographing area in the inspection area It is possible to determine the inspection area to be used, and to store the image according to the matching inspection area.

또한, 조립체의 복수의 검사영역에 대한 정보는, 조립체의 3D 모델링 데이터로부터 기 설정된 적어도 하나의 영역일 수 있다.Also, the information on the plurality of inspection regions of the assembly may be at least one region preset from 3D modeling data of the assembly.

한편, 서버는, 휴대용 단말기에서 사용자의 입력에 따라 어느 하나의 검사영역에 따른 이미지 전송 요청을 수신하는 경우 어느 하나의 검사영역에 매칭되는 저장된 이미지를 휴대용 단말기로 전송할 수 있다.Meanwhile, when receiving an image transmission request according to any one examination area according to a user's input from the portable terminal, the server may transmit a stored image matching any one examination area to the portable terminal.

한편, 휴대용 단말기는 스마트 폰 또는 태블릿 PC 일 수 있다.Meanwhile, the portable terminal may be a smart phone or a tablet PC.

본 발명에 따른 조립체 외관 검사 방법은 사용자에게 직관적으로 검사 항목 및 검사 여부를 확인할 수 있게 하며, 검사 누락을 즉각적으로 확인할 수 있고, 조립체의 외관 검사에 대한 데이터를 용이하게 관리할 수 있는 효과가 이싸.The assembly appearance inspection method according to the present invention allows the user to intuitively check the inspection items and whether inspection is performed, and the inspection omission can be immediately confirmed, and data on the appearance inspection of the assembly can be easily managed. .

도 1은 본 발명에 따른 조립체의 외관 검사 방법의 개념도이다.
도 2는 본 발명에 따른 일 실시예인 조립체의 외관 검사 방법의 순서도이다.
도 3은 조립체 및 검사영역의 일 예를 도시한 도면이다.
도 4는 휴대용 단말기로부터 획득되는 촬영데이터를 도시한 도면이다.
도 5는 검사영역을 판단하는 개념을 도시한 도면이다.
도 6은 서버에서 관리하는 데이터가 나타난 데이터 테이블의 일 예이다.
도 7은 휴대용 단말기에서 시현되는 영상의 일 예이다.
도 8 및 도 9는 본 발명에 따른 조립체의 외관 검사 방법의 다른 사용 상태도이다.1 is a conceptual diagram of a method for inspecting the appearance of an assembly according to the present invention.
2 is a flowchart of a method for inspecting the appearance of an assembly according to an embodiment of the present invention.
3 is a view showing an example of an assembly and an inspection area.
4 is a diagram illustrating photographing data obtained from a portable terminal.
5 is a diagram illustrating a concept of determining an inspection area.
6 is an example of a data table showing data managed by a server.
7 is an example of an image displayed in a portable terminal.
8 and 9 are diagrams of another use of the method for inspecting the appearance of an assembly according to the present invention.

이하, 본 발명의 실시 예에 따른 조립체의 외관 검사 방법에 대하여, 첨부된 도면을 참조하여 상세히 설명한다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있다. 그러나 이들의 기능적 유사성 및 동일성이 있다면 변형된 실시예를 채용하더라도 균등한 구성으로 볼 수 있다. 또한 각각의 구성요소에 부가된 부호는 설명의 편의를 위하여 기재된다. 그러나 이들 부호가 기재된 도면상의 도시 내용이 각각의 구성요소를 도면내의 범위로 한정하지 않는다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성 및 동일성이 있다면 균등한 구성으로 볼 수 있다. 또한 당해 기술 분야의 일반적인 기술자 수준에 비추어 보아, 당연히 포함되어야 할 구성요소로 인정되는 경우, 이에 대하여는 설명을 생략한다.Hereinafter, a method for inspecting the appearance of an assembly according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. And in the description of the embodiments below, the name of each component may be called another name in the art. However, if they have functional similarity and identity, even if a modified embodiment is employed, it can be regarded as an equivalent configuration. In addition, the code added to each component is described for convenience of description. However, the contents shown in the drawings in which these symbols are indicated do not limit each component to the scope within the drawings. Similarly, even if an embodiment in which the configuration in the drawings is partially modified is employed, if there is functional similarity and sameness, it can be regarded as an equivalent configuration. In addition, in view of the level of a general engineer in the art, if it is recognized as a component to be included of course, a description thereof will be omitted.

도 1은 본 발명에 따른 조립체(1)의 외관 검사 방법의 개념도이다.1 is a conceptual diagram of a method for inspecting the appearance of anassembly 1 according to the present invention.

도시된 바와 같이 본 발명에 따른 조립체(1)의 외관 검사 방법은 조립 중 또는 조립이 완료된 조립체(1)를 작업자가 촬영하며, 촬영된 영상을 이용하고 분석하여 사용자가 검사 진행 현황을 직관적으로 인식할 수 있도록 구성된다.As shown, in the method for inspecting the appearance of theassembly 1 according to the present invention, the operator photographs theassembly 1 during assembly or the assembly is completed, and the user intuitively recognizes the inspection progress by using and analyzing the photographed image. configured to do so.

본 발명에 따른 조립체(1)의 외관 검사 방법은 사용자가 검사 현장에서 사용하는 휴대용 단말기(10)와 서버(20)를 포함하여 구성될 수 있다.The method for inspecting the appearance of theassembly 1 according to the present invention may include theportable terminal 10 and theserver 20 used by the user at the inspection site.

휴대용 단말기(10)는 서버(20)와 통신하면서 촬영으로 획득된 영상을 전송하며, 현재 검사 진행 현황을 시현하고, 검사 항목에 따른 검사 여부를 시현할 수 있도록 구성된다. 휴대용 단말기(10)는 널리 보급되어 사용되고 있는 스마트 폰 또는 태블릿 PC일 수 있다. 휴대용 단말기(10)는 서버(20)와 무선통신 가능하도록 구성되며, 촬영이 가능한 장치가 될 수 있다.Theportable terminal 10 is configured to transmit an image obtained by photographing while communicating with theserver 20 , to display the current state of the examination progress, and to display whether the examination is performed according to the examination item. Theportable terminal 10 may be a widely used smart phone or tablet PC. Theportable terminal 10 is configured to be capable of wireless communication with theserver 20 and may be a device capable of photographing.

휴대용 단말기(10)는 카메라와 TOF(Time Of Flight) 카메라를 포함하여 구성될 수 있다. 또는 TOF 기능을 포함하는 카메라를 포함하여 구성될 수 있다. 카메라는 사용자가 촬영을 하는 위치에서 피사체의 이미지(100)를 획득할 수 있도록 구성되며, TOF 카메라는 사용자가 촬영을 하는 위치에서 피사체까지의 거리에 대한 정보를 획득할 수 있도록 구성된다. 따라서 사용자가 TOF 카메라를 이용하여 촬영하면 촬영위치에서 피사체의 3D 데이터를 획득할 수 있게 된다.Theportable terminal 10 may include a camera and a Time Of Flight (TOF) camera. Alternatively, it may be configured to include a camera including a TOF function. The camera is configured to obtain theimage 100 of the subject at the location where the user takes a picture, and the TOF camera is configured to obtain information about the distance from the location where the user takes the picture to the subject. Therefore, when the user shoots using the TOF camera, it is possible to acquire 3D data of the subject at the shooting position.

서버(20)는 휴대용 단말기(10)와 무선통신하여 데이터를 전송 및 수신할 수 있도록 구성되며, 수신된 데이터를 처리할 수 있도록 구성된다. 서버(20)는 조립체(1)에 대한 3D 모델링 데이터가 미리 저장될 수 있다. 서버(20)는 3D 모델링 데이터와 필수적인 외관 검사 위치에 대한 정보가 미리 저장될 수 있다. 서버(20)는 휴대용 단말기(10)로부터 조립체(1)에 대한 촬영 데이터가 수신되는 경우 카메라의 이미지(100) 센서로부터 획득된 이미지(100)와 TOF 카메라로부터 획득된 거리정보(200)를 근거로 현재 작업자가 촬영하는 위치를 계산하여 결정할 수 있게 된다.Theserver 20 is configured to transmit and receive data through wireless communication with theportable terminal 10, and is configured to process the received data. Theserver 20 may store 3D modeling data for theassembly 1 in advance. Theserver 20 may store 3D modeling data and information on an essential appearance inspection location in advance. When the photographing data for theassembly 1 is received from theportable terminal 10, theserver 20 is based on theimage 100 of thecamera 100 obtained from the sensor and thedistance information 200 obtained from the TOF camera. Thus, it is possible to determine the position where the current operator is photographing by calculating.

서버(20)는 사용자가 촬영하는 위치 및 조립체(1) 상에서 촬영된 부분을 근거로 현재 사용자가 조립체(1)의 어떠한 부분을 촬영했는지를 판단할 수 있게 된다. 서버(20)는 조립체(1) 중 촬영된 부분과 기 설정돈 검사영역(2)을 대비하여 매칭되는 검사영역(2)에 대하여 검사가 완료된 것으로 판단하며, 획득된 이미지(100)를 함께 저장할 수 있다. 이후 사용자의 단말기에서 이미지(100) 전송 요청을 하는 경우 해당 검사영역(2)에 대한 저장되어 있는 이미지(100)를 휴대용 단말기(10)에 전송할 수 있게 된다.Theserver 20 may determine which part of theassembly 1 the current user has photographed on the basis of the location where the user shoots and the part photographed on theassembly 1 . Theserver 20 determines that the inspection has been completed for theinspection region 2 matching the photographed part of theassembly 1 and thepreset inspection region 2, and stores the acquiredimage 100 together. can Thereafter, when the user's terminal requests to transmit theimage 100 , thestored image 100 for thecorresponding examination area 2 can be transmitted to theportable terminal 10 .

이하에서는 도 2 내지 도 6을 참조하여 본 발명에 따른 조립체(1)의 외관 검사 방법의 각 단계에 대하여 상세히 설명하도록 한다.Hereinafter, each step of the method for inspecting the appearance of theassembly 1 according to the present invention will be described in detail with reference to FIGS. 2 to 6 .

도 2는 본 발명에 따른 일 실시예인 조립체(1)의 외관 검사 방법의 순서도이다. 도 3은 조립체(1) 및 검사영역(2)의 일 예를 도시한 도면이며, 도 4는 휴대용 단말기(10)로부터 획득되는 촬영데이터를 도시한 도면이다. 한편, 도 5는 검사영역(2)을 판단하는 개념을 도시한 도면이며, 도 6은 서버(20)에서 관리하는 데이터가 나타난 데이터 테이블의 일 예이고, 도 7은 휴대용 단말기(10)에서 시현되는 영상의 일 예이다.2 is a flowchart of a method for inspecting the appearance of theassembly 1 according to an embodiment of the present invention. FIG. 3 is a view showing an example of theassembly 1 and theinspection area 2 , and FIG. 4 is a view showing photographing data obtained from theportable terminal 10 . Meanwhile, FIG. 5 is a diagram illustrating the concept of determining theinspection area 2 , FIG. 6 is an example of a data table showing data managed by theserver 20 , and FIG. 7 is a display in theportable terminal 10 . This is an example of an image that becomes

도시된 바와 같이 본 발명에 따른 조립체(1)의 외관 검사 방법은 휴대용 단말기(10)로부터 조립체(1)의 영상을 획득하는 단계(S100), 휴대용 단말기(10)가 서버(20)로 촬영데이터를 전송하는 단계(S200), 서버(20)가 촬영영역(3)을 판단하는 단계(S300), 서버(20)가 촬영영역(3)이 해당하는 검사영역(2)을 판단하는 단계(S400), 검사영역(2)에 대한 이미지(100)를 저장하는 단계(S500), 서버(20)가 검사영역(2)의 검사 완료 여부를 휴대용 단말기(10)에 전송하는 단계(S600) 및 휴대용 단말기(10)에서 촬영영역(3)에 대하여 검사 완료 항목을 시현하는 단계(S700)를 포함하여 구성될 수 있다.As shown, the method of inspecting the appearance of theassembly 1 according to the present invention includes the steps of obtaining an image of theassembly 1 from the portable terminal 10 (S100), and theportable terminal 10 sends the captured data to the server 20 (S200), theserver 20 determining the photographing area 3 (S300), theserver 20 determining theexamination area 2 corresponding to the photographing area 3 (S400) ), the step of storing theimage 100 for the examination area 2 (S500), theserver 20 transmitting whether the examination of theexamination area 2 is completed to the portable terminal 10 (S600) and theportable terminal 10 Theterminal 10 may be configured to include a step (S700) of displaying the inspection completion item with respect to the photographingarea 3 .

휴대용 단말기(10)로부터 조립체(1)의 영상을 획득하는 단계(S100)는 사용자가 조립체(1)의 외관 검사를 위하여 소지하고 있는 휴대용 단말기(10)로 조립체(1)의 영상을 획득하는 단계에 해당한다. 도 3을 참조하면, 사용자는 육안으로 조립체(1)의 필수 검사 부분을 먼저 확인하고 휴대용 단말기(10)로 조립체(1)의 영상을 획득할 수 있다. 조립체(1)의 영상은 조립체(1) 전체를 촬영하거나, 조립체(1)의 일부를 촬영하여 이루어 질 수 있다. 조립체(1)에는 여러 지점의 검사영역(2)이 지정되며, 검사자는 검사영역(2)이 순서에 따라 촬영할 필요 없이 검사영역(2)을 하나씩 촬영하여 영상을 획득하게 된다.The step of obtaining an image of theassembly 1 from the portable terminal 10 (S100) is a step of obtaining an image of theassembly 1 with theportable terminal 10 possessed by the user for the external inspection of theassembly 1 corresponds to Referring to FIG. 3 , a user may first check an essential inspection part of theassembly 1 with the naked eye and acquire an image of theassembly 1 with theportable terminal 10 . The image of the assembly (1) may be made by photographing the entire assembly (1) or by photographing a part of the assembly (1). In theassembly 1,inspection areas 2 of several points are designated, and the inspector acquires an image by photographing theinspection areas 2 one by one without the need to photograph theinspection areas 2 in order.

한편, 본 단계에서는 전술한 바와 같이 조립체(1)의 이미지(100)와 거리정보(200)를 포함한 촬영데이터를 획득할 수 있다. 거리정보(200)는 TOF 카메라의 기능을 이용하여 카메라로부터 각 지점에 대한 거리를 포함할 수 있다. 따라서 2D 이미지(100)에 대한 정보와 3D 정보를 동시에 획득할 수 있게 된다.Meanwhile, in this step, as described above, it is possible to acquire photographing data including theimage 100 anddistance information 200 of theassembly 1 . Thedistance information 200 may include a distance from the camera to each point using a function of the TOF camera. Accordingly, information about the2D image 100 and 3D information can be simultaneously acquired.

휴대용 단말기(10)가 서버(20)로 촬영데이터를 전송하는 단계(S200)는 사용자가 조립체(1)의 적어도 일부에 대한 영상을 촬영하면 휴대용 단말기(10)가 촬영 데이터를 서버(20)로 전송하는 단계에 해당한다. 본 단계는 휴대용 단말기(10)가 서버(20)와 무선통신으로 촬영 데이터를 전송할 수 있으며, WIFI, Bluetooth 등의 널리 사용되는 원거리 또는 근거리 무선 통신방법이 적용될 수 있다.In the step (S200) of theportable terminal 10 transmitting the photographing data to theserver 20, theportable terminal 10 transmits the photographing data to theserver 20 when the user captures an image of at least a part of theassembly 1 It corresponds to the transmission stage. In this step, theportable terminal 10 may transmit the photographed data through wireless communication with theserver 20, and widely used long-distance or short-range wireless communication methods such as WIFI and Bluetooth may be applied.

서버(20)가 촬영영역(3)을 판단하는 단계(S300)는 서버(20)로 전송된 촬영이미지(100)를 분석하여 사용자가 촬영한 부분이 조립체(1)의 어떠한 부분인지를 판단하는 단계에 해당한다.The step (S300) of theserver 20 determining the photographingarea 3 is to analyze the photographedimage 100 transmitted to theserver 20 to determine which part of theassembly 1 the user has photographed. corresponds to the stage.

서버(20)는 조립체(1)의 외관 검사에 대한 방법을 수행하기 전 사용자로부터 조립체(1)에 대한 3D 모델링 데이터가 입력될 수 있다. 조립체(1)의 3D 모델링 데이터가 입력된 경우 외관에 대한 3D 좌표가 포함될 수 있다.Theserver 20 may input 3D modeling data for theassembly 1 from a user before performing the method for inspecting the appearance of theassembly 1 . When 3D modeling data of theassembly 1 is input, 3D coordinates for the appearance may be included.

서버(20)는 촬영 데이터에 포함된 거리정보(200)를 이용하여 3D 모델링 상에서 매칭되는 검사영역(2)을 판단하도록 구성된다. 도 4를 참조하면, 사용자가 촬영한 조립체(1)의 일 부분, 즉 촬영영역(3)에 대한 이미지(100)(도 4(a))와 거리정보(200)(도 4(b))를 근거로 어떠한 검사영역(2)에 해당하는지를 판단하게 된다. 서버(20)는 도 4(b)에 나타난 거리정보(200)를 근거로 조립체(1) 부분의 3D모델의 일부를 재구성할 수 있으며, 또한 조립체(1)와 카메라의 상대적인 위치를 판단할 수 있게 된다.Theserver 20 is configured to determine the matchinginspection area 2 on the 3D modeling by using thedistance information 200 included in the photographing data. 4, the image 100 (Fig. 4(a)) and distance information 200 (Fig. 4(b)) for a portion of theassembly 1 photographed by the user, that is, the photographingarea 3 It is determined on the basis of which inspection area (2) it corresponds to. Theserver 20 may reconstruct a part of the 3D model of the part of theassembly 1 based on thedistance information 200 shown in FIG. 4(b), and also determine the relative position of theassembly 1 and the camera. there will be

이후 서버(20)가 촬영영역(3)이 해당하는 검사영역(2)을 판단하는 단계(S400)가 수행될 수 있다. 도 5를 참조하면, 서버(20)는 조립체(1)의 3D 모델링과 촬영데이터로부터 획득된 부분 3D 모델의 일부를 매칭시켜 어떠한 검사영역(2)인지를 판단하게 된다. 한편, 촬영영역(3)이 조립체(1)의 검사영역(2) 중 어느 하나의 검사영역(2)에 해당하는지가 판단된 이후 추가로 서버(20)는 어떠한 위치에서 촬영했는지 여부를 판단할 수 있다. 즉 거리정보(200)에 의해 3D 모델의 일부가 매칭이 되더라도 촬영하는 각도에 따라 조립체(1) 중 촬영 데이터에 포함되지 않는 사각지역이 발생할 수 있다. 따라서 서버(20)는 적절하지 않는 각도로 조립체(1)를 촬영했는지 여부를 판단하게 된다.Thereafter, theserver 20 determines theinspection area 2 to which theimaging area 3 corresponds ( S400 ) may be performed. Referring to FIG. 5 , theserver 20 determines whichinspection area 2 is by matching a part of the 3D modeling of theassembly 1 and the partial 3D model obtained from the photographing data. On the other hand, after it is determined whether the photographingarea 3 corresponds to any one of theexamination areas 2 of theassembly 1, theserver 20 additionally determines whether the photographing was taken at any position. can That is, even if a part of the 3D model is matched by thedistance information 200 , a blind area in theassembly 1 that is not included in the photographing data may occur depending on the photographing angle. Accordingly, theserver 20 determines whether theassembly 1 is photographed at an inappropriate angle.

검사영역(2)에 대한 이미지(100)를 저장하는 단계(S500)는 각 검사영역(2)에 매칭되는 이미지(100)를 저장하는 단계에 해당한다. 도 6을 참조하면, 서버(20)는 수신된 촬영데이터를 근거로 각각의 검사 위치에 대하여 검사 완료되었는지 여부를 저장하며, 각각의 판단된 검사 위치에 촬영영역(3)의 이미지(100)를 저장하게 된다. 이때, 사용자는 검사영역(2)별로 순차적으로 검사를 수행하지 않을 수 있기 때문에 일 예로서 검사영역 3 및 검사영역 5에 대한 검사가 완료된 예가 도시되어 있다. 즉 사용자가 임의적으로 어떠한 검사영역을 촬영하는 경우 서버(20)에서 이를 판단하여 각각이 검사영역에 대한 검사여부를 판단하고 저장할 수 있다.The step of storing theimage 100 for the examination area 2 ( S500 ) corresponds to the step of storing theimage 100 matching eachexamination area 2 . Referring to FIG. 6 , theserver 20 stores whether the inspection is completed for each inspection location based on the received imaging data, and displays theimage 100 of theimaging area 3 at each determined inspection position. will be saved At this time, since the user may not sequentially perform the examination for eachexamination area 2 , an example in which the examination of theexamination area 3 and theexamination area 5 is completed is shown as an example. That is, when the user arbitrarily shoots a certain inspection area, theserver 20 may determine whether the inspection area is inspected or not, and store it.

서버(20)가 검사영역(2)의 검사 완료 여부를 휴대용 단말기(10)에 전송하는 단계(S600)는 촬영영역(3)을 근거로 촬영된 부분이 어떠한 검사영역(2)인지를 판단한 결과를 휴대용 단말기(10)로 전송하는 단계에 해당한다. 본 단계는 전술한 휴대용 단말기(10)가 서버(20)로 촬영 데이터를 전송하는 단계와 마찬가지로 무선통신을 이용하여 수행될 수 있다.The step (S600) of theserver 20 transmitting whether the inspection of theinspection area 2 is completed to theportable terminal 10 is a result of determining whichinspection area 2 the photographed part is based on the photographingarea 3 corresponds to the step of transmitting to the portable terminal (10). This step may be performed using wireless communication as in the step of transmitting the photographed data to theserver 20 by the above-described portable terminal 10 .

휴대용 단말기(10)에서 촬영영역(3)에 대하여 검사 완료 항목을 시현하는 단계(S700)는 사용자가 현재의 검사 현황을 파악할 수 있도록 수행된다. 휴대용 단말기(10)에서는 조립체(1)의 3D 모델링을 간략화하여 도시하며, 각각의 검사영역(2)에 대한 검사 여부를 확인할 수 있도록 구성된다. 도 7을 참조하면, 휴대용 단말기(10) 상에서 조립체(1)를 사용자가 인지할 수 있도록 간소화된 조립체(310)가 도시될 수 있다. 또한 각각의 검사영역(2)을 사용자가 인지할 수 있도록 검사영역(2)을 표시하는 심볼(320)이 시현되며, 각각의 검사영역(2)이 검사 여부가 확인될 수 있도록 촬영영역(3)에 대한 이미지(100)가 함께 시현될 수 있다.The step (S700) of displaying the inspection completion item for the photographingarea 3 in theportable terminal 10 is performed so that the user can grasp the current inspection status. Theportable terminal 10 shows a simplified 3D modeling of theassembly 1 and is configured to check whether eachinspection area 2 is inspected. Referring to FIG. 7 , asimplified assembly 310 may be shown so that a user can recognize theassembly 1 on theportable terminal 10 . In addition, asymbol 320 indicating theexamination area 2 is displayed so that the user can recognize eachexamination area 2 , and theimaging area 3 so that eachexamination area 2 can be checked. Theimage 100 for ) may be displayed together.

도 8 및 도 9는 본 발명에 따른 조립체의 외관 검사 방법의 다른 사용 상태도이다.8 and 9 are diagrams of another use of the method for inspecting the appearance of an assembly according to the present invention.

도 8을 참조하면, 검사의 대상이 되는 조립체는 다양한 형상을 가질수 있다. 일 예로 항공기의 조립체(1)로서 프레임상에 부품이 연결될 수 있다. 본 실시예에서도 사용자는 미리 서버에 조립체의 3D 모델링 데이터를 입력하며, 휴대용 디바이스(10)를 통하여 외관 검사를 수행할 수 있다.Referring to FIG. 8 , an assembly to be inspected may have various shapes. For example, as anassembly 1 of an aircraft, parts may be connected on a frame. Also in this embodiment, the user may input 3D modeling data of the assembly to the server in advance, and may perform an appearance inspection through theportable device 10 .

도 9를 참조하면 휴대용 디바이스(10)로 촬영하여 촬영영역(3)에 대한 이미지 및 거리 정보를 획득할 수 있다.Referring to FIG. 9 , an image and distance information for the photographingarea 3 may be obtained by photographing with theportable device 10 .

도 9(a)는 휴대용 디바이스(10)를 이용하여 획득한 촬영영역(3)에 대한 이미지이며 도 9(b)는 촬영영역(3)의 거리정보를 도시한 도면이다. 서버는 휴대용 디바이스(10)가 획득한 촬영데이터를 수신하며, 거리정보를 근거로 촬영영역과 매칭되는 검사영역을 판단하게 된다. 서버가 촬영된 검사영역을 판단하면 해당 검사 영역에 대하여 이미지를 저장하고 휴대용 디바이스로 전송하게 된다. 이후 휴대용 디바이스에서는 촬영된 검사 영역에 대하여 사용자가 직관적으로 검사여부를 인식할 수 있도록 촬영데이터에 포함된 이미지를 시현할 수 있다.FIG. 9(a) is an image of the photographingarea 3 acquired using theportable device 10, and FIG. 9(b) is a diagram illustrating distance information of the photographingarea 3 . The server receives the photographing data obtained by theportable device 10, and determines an inspection area matching the photographing area based on the distance information. When the server determines the photographed examination area, the image is stored for the examination area and transmitted to the portable device. Thereafter, the portable device may display an image included in the photographed data so that the user can intuitively recognize whether to inspect the photographed examination area.

이상에서 설명한 바와 같이 본 발명에 따른 조립체의 외관 검사 방법은 사용자가 정해진 순서에 따라 외관 검사를 수행할 필요 없이 임의의 순서로 검사영역을 촬영하더라도 촬영된 부분이 어떠한 검사 영역인지를 판단하고 이를 시현할 수 있으므로 사용자의 검사 편의성이 향상될 수 있다. 또한 현재 검사 진행 상태를 사용자가 직관적으로 파악할 수 있으므로 휴먼에러를 최소화 하여 검사 정확도를 향상시킬 수 있는 효과가 있다.As described above, in the method for inspecting the appearance of an assembly according to the present invention, even if the inspection region is photographed in an arbitrary order without the user having to perform an appearance inspection in a predetermined order, it is determined which inspection region the photographed part is and displays it. Therefore, the user's inspection convenience can be improved. In addition, since the user can intuitively grasp the current inspection progress, there is an effect of improving inspection accuracy by minimizing human errors.

1: 조립체
2: 검사영역
3: 촬영영역
10: 휴대용 단말기
20: 서버
100: 이미지
200: 거리정보
310: 간소화된 조립체
320: 심볼
S100: 휴대용 단말기로부터 조립체의 영상을 획득하는 단계
S200: 휴대용 단말기가 서버로 촬영데이터를 전송하는 단계
S300: 서버가 촬영영역을 판단하는 단계
S400: 서버가 촬영영역이 해당하는 검사영역을 판단하는 단계
S500: 검사영역에 대한 이미지를 저장하는 단계
S600: 서버가 검사영역의 검사 완료 여부를 휴대용 단말기에 전송하는 단계
S700: 휴대용 단말기에서 촬영영역에 대하여 검사 완료 항목을 시현하는 단계1: assembly
2: Inspection area
3: shooting area
10: portable terminal
20: server
100: image
200: distance information
310: simplified assembly
320: symbol
S100: acquiring an image of the assembly from the portable terminal
S200: Step of transmitting the shooting data to the server by the portable terminal
S300: Step of determining the shooting area by the server
S400: step of the server determining the inspection area corresponding to the photographing area
S500: Step of saving the image for the inspection area
S600: the step of the server transmitting whether the inspection of the inspection area is completed to the portable terminal
S700: Step of displaying the inspection completion item for the photographing area in the portable terminal

Claims (6)

Translated fromKorean

휴대용 단말기로부터 조립체의 적어도 일부를 촬영하여 촬영데이터를 획득하는 단계;
상기 휴대용 단말기가 서버로 상기 촬영테이터를 전송하는 단계;
상기 서버가 상기 촬영데이터로부터 촬영된 상기 조립체의 촬영영역을 판단하는 단계;
상기 서버가 판단된 상기 촬영영역을 상기 휴대용 단말기로 전송하는 단계; 및
상기 휴대용 단말기에서 상기 촬영영역에 대하여 검사 완료 항목을 시현하는 단계를 포함하는 조립체의 외관 검사 방법.acquiring photographing data by photographing at least a portion of the assembly from the portable terminal;
transmitting, by the portable terminal, the photographing data to a server;
determining, by the server, a photographing area of the assembly photographed from the photographing data;
transmitting, by the server, the determined photographing area to the portable terminal; and
Appearance inspection method of the assembly comprising the step of displaying the inspection completion item with respect to the photographing area in the portable terminal.제1 항에 있어서,
상기 휴대용 단말기는,
TOF(Time of Flight) 카메라를 포함하여 구성되며,
이미지 및 거리정보를 포함한 촬영데이터를 획득하도록 구성되는 것을 특징으로 하는 조립체의 외관 검사 방법.According to claim 1,
The portable terminal is
Consists of including a Time of Flight (TOF) camera,
Appearance inspection method of an assembly, characterized in that it is configured to acquire photographing data including images and distance information.제1 항에 있어서,
상기 서버는,
상기 조립체의 복수의 검사영역에 대한 정보를 포함하며,
상기 휴대용 단말기로부터 전송된 상기 촬영데이터 중 거리정보를 근거로 상기 촬영영역이 상기 조립체 중 어떤 부분인지를 판단하며,
상기 검사영역 중 상기 촬영영역과 매칭되는 검사영역을 판단하며,
상기 매칭 검사영역에 따라 상기 이미지를 저장하는 것을 특징으로 하는 조립체의 외관 검사 방법.According to claim 1,
The server is
Includes information on a plurality of inspection areas of the assembly,
Determining which part of the assembly is the photographing area based on distance information among the photographing data transmitted from the portable terminal,
determining an inspection region matching the imaging region among the inspection regions;
Appearance inspection method of an assembly, characterized in that storing the image according to the matching inspection area.제3 항에 있어서,
상기 조립체의 복수의 검사영역에 대한 정보는,
상기 조립체의 3D 모델링 데이터로부터 기 설정된 적어도 하나의 영역인 것을 특징으로 하는 조립체의 외관 검사 방법.4. The method of claim 3,
Information about the plurality of inspection areas of the assembly,
Appearance inspection method of an assembly, characterized in that at least one area preset from the 3D modeling data of the assembly.제4 항에 있어서,
상기 서버는,
상기 휴대용 단말기에서 사용자의 입력에 따라 어느 하나의 검사영역에 따른 이미지 전송 요청을 수신하는 경우 상기 어느 하나의 검사영역에 매칭되는 저장된 이미지를 상기 휴대용 단말기로 전송하는 것을 특징으로 하는 조립체의 외관 검사 방법.5. The method of claim 4,
The server is
Appearance inspection method of an assembly, characterized in that when the portable terminal receives an image transmission request according to any one inspection area according to a user's input, a stored image matching the one inspection area is transmitted to the portable terminal .제2 항에 있어서,
상기 휴대용 단말기는 스마트 폰 또는 태블릿 PC 인 것을 특징으로 하는 조립체의 외관 검사 방법.3. The method of claim 2,
The portable terminal is an assembly appearance inspection method, characterized in that the smart phone or tablet PC.

Images