본 발명은 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리 시스템 및 방법, 이를 지원하는 운영 서버에 관한 것으로, 더욱 상세하게는 현장 작업자가 현장 상황에 대한 이해와 경험을 토대로 손쉽게 딥러닝과 머신러닝 알고리즘 모델을 생성하고 학습시켜 현장 장비의 운영 데이터와 연동시킬 수 있으며, 알고리즘을 설계, 학습, 어플리케이션시키는 등의 프로그래밍 작업이 익숙치 않은 현장 작업자의 작업을 원격으로 지원해 항시 높은 성능의 모델을 현장에서 운용할 수 있게 지원하며, 학습된 모델의 분석 결과에 따라 정확한 현장 장비의 관리 및 예지보전 결과를 얻을 수 있어 장비의 수명 연장이 가능하고 유지관리 비용을 절감시킬 수 있고 생산품의 품질을 향상시킬 수 있는 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리 시스템 및 방법, 이를 지원하는 운영 서버에 관한 것이다.The present invention relates to an artificial intelligence management system and method for field equipment utilizing equipment operation data, and an operation server supporting the same, and more particularly, to an artificial intelligence management system and method for field equipment utilizing equipment operation data, and an operation server supporting the same, which allows field workers to easily create and train deep learning and machine learning algorithm models based on their understanding and experience of field situations and link them with field equipment operation data, and remotely support the work of field workers who are not familiar with programming tasks such as designing, training, and applying algorithms, so that high-performance models can always be operated in the field, and can obtain accurate field equipment management and predictive maintenance results based on the analysis results of the trained model, thereby extending the lifespan of the equipment, reducing maintenance costs, and improving the quality of products.
일반적으로, 안전관제 또는 예지보전(豫知保全, Predictive Maintenance)이란 각각의 설비 상태를 정량적으로 파악하여 설비의 이상 상태나 앞으로 일어날 수 있는 사태를 미리 예상하고 적절하게 유지하고 보수하는 일을 말한다.In general, safety control or predictive maintenance refers to the work of quantitatively identifying the status of each facility, predicting abnormal conditions or potential future events of the facility in advance, and appropriately maintaining and repairing them.
일반적으로, 제조업 분야의 생산 설비들은 고온, 진동 및 고전압 등에 노출되거나 반복적인 제조 공정을 수행해야 함에 따라, 일정한 시기마다 정비를 함으로써 마모되거나 오래된 부품을 교체하고 고장이나 결함의 발생 여부를 확인하는 유지보수 과정이 필수적으로 요구된다.In general, production facilities in the manufacturing industry are exposed to high temperatures, vibrations, and high voltages, and must perform repetitive manufacturing processes. Therefore, maintenance is essential, requiring periodic maintenance to replace worn or old parts and check for any malfunctions or defects.
특히, 최근의 제조업 분야의 인력 감소와 고령화, 생산력 감소 등의 요인에 의해 자동화된 무인 설비인 자동화 설비의 도입이 증가하고 있는데, 이러한 자동화 설비의 고장이나 결함이 발생하기 전에 정비를 하여 적절한 유지보수를 함으로써, 자동화 설비의 고장으로 인한 비용 손실을 줄이는 동시에 자동화 설비의 수명을 연장시킬수 있고 생산 라인의 중단으로 인한 손실도 최소화시킬 수 있다. 일반적으로 공장의 자동화 생산라인에서 기계 설비는 정밀도의 저하와 생산 중단 등이 일어나지 않도록 운전상태를 양호하게 유지해야 한다. 모든 기계설비 및 부품은 사용함에 따라 마모 또는 파손 등으로 성능 저하 및 열화현상이 나타나지만 육안으로 인지하기 전까지는 이를 탐지 및 이상 징후를 감지하기가 어렵다.In particular, due to factors such as the recent workforce reduction and aging population in the manufacturing industry and decreased productivity, the introduction of automated, unmanned equipment, called automated equipment, is increasing. By properly maintaining and servicing these automated equipment before they break down or malfunction, we can reduce the cost loss due to equipment failure, extend the life of the automated equipment, and minimize losses due to production line interruptions. In general, machinery and equipment in automated production lines in factories must be maintained in good operating condition to prevent loss of precision and production interruptions. All machinery and equipment and parts exhibit performance decline and deterioration due to wear and tear as they are used, but it is difficult to detect and detect abnormalities until they are visually recognized.
한편, 종래에는 자동화 설비에 실제로 결함이나 고장이 발생되었는지의 여부와 무관하게 일정한 시기마다 정비가 이루어짐에 따라 실제로 결함이 존재하지 않는 자동화 설비도 정비 대상에 포함되어 불필요하게 시간과 인력이 소모되는 문제점이 있다.Meanwhile, since maintenance has been performed at regular intervals regardless of whether or not actual defects or malfunctions have occurred in the automated equipment, there is a problem in that automated equipment that does not actually have defects is also included in the maintenance target, resulting in unnecessary consumption of time and manpower.
아울러, 자동화 설비의 정비 과정에서 불필요하게 부품의 교체가 이루어지거나, 자동화 설비의 정비 시기 이전에 그 자동화 설비에 고장이 발생하기도 하므로, 이에 의한 유지비용이 크게 발생하는 문제점이 있다.In addition, there is a problem that maintenance costs are high because parts are replaced unnecessarily during the maintenance process of automated equipment, or the automated equipment malfunctions before the maintenance period.
최근 들어서는 장비의 운영 데이터를 수집하고 이를 통해 고장을 미리 예측하는 장치들이 개발되고 있다. 특히 기계설비의 고장은 시간과 비용에 있어 상당한 손실을 초래하므로 생산 중단없이 자동화되고 효율적으로 고장상태를 예지 및 진단할 효율적인 방법이 필요하다. 최근 들어 스마트 공장 시스템에 대한 관심 및 수요가 높아져 공장 설비의 결함을 자동 시스템으로 모니터링하고 예측하는 기술에 딥러닝과 머신러닝 기술을 적용시키려는 시도가 이루어지고 있다.Recently, devices are being developed to collect equipment operating data and use this data to predict failures in advance. Machine failures, in particular, result in significant losses in time and cost, requiring efficient and automated methods for predicting and diagnosing failures without interrupting production. With the recent rise in interest and demand for smart factory systems, efforts are being made to apply deep learning and machine learning technologies to automatically monitor and predict defects in factory equipment.
종래의 고장 예측 시스템들은 예지보전 솔루션 서비스를 제공하는 업체측의 솔루션 전문가가 설비를 방문해 예지보전에 필요한 장비 데이터를 자의로 선별하고 이 선별된 데이터를 통해 예지보전 분석을 수행할 수 있는 알고리즘을 임의로 설정해 솔루션 전문가의 시야에서 바라본 제한된 예지보전 분석 결과(이상 알림, 장애 예측, 품질 등)를 설비측으로 제공하는 방식으로 운영되고 있다.Conventional failure prediction systems are operated in a way that solution experts from companies providing predictive maintenance solution services visit the facility, arbitrarily select equipment data necessary for predictive maintenance, and arbitrarily set up an algorithm that can perform predictive maintenance analysis using this selected data, and provide the facility with limited predictive maintenance analysis results (abnormality notifications, failure predictions, quality, etc.) as viewed from the solution expert's perspective.
하지만 이 같은 종래의 고장 예측 시스템들은 설비 현장의 상황에 대한 이해와 경험이 전무한 솔루션 전문가의 입장에서 장비 데이터의 자의적 선별과 알고리즘의 임의 설정이 이루어지기 때문에, 현장 상황과 동떨어진 예측 결과가 나오거나 중요도가 낮은 분석 결과를 제공하는 등의 문제가 있어 그 도입이 활발히 이루어지지 않고 있는 실정이다.However, these conventional failure prediction systems are not actively being introduced because they are based on arbitrary selection of equipment data and arbitrary setting of algorithms by solution experts who have no understanding or experience with the situation at the facility site, resulting in prediction results that are out of touch with the situation at the site or analysis results with low importance.
이는 분석 알고리즘과 솔루션의 운영에 대한 이해도가 낮은 설비 업체와 현장 설비 상황에 대한 이해가 낮고 경험이 전무한 솔루션 서비스 업체의 양자 관계에서 고장 예측 시스템의 도입이 솔루션 서비스 업체의 일방적인 주도로 이루어지고 있기 때문이며, 현실적으로 설비 업체의 작업자가 분석 알고리즘을 설계하고 현장에 적용하기에는 큰 어려움이 있다.This is because the introduction of the failure prediction system is being unilaterally led by the solution service provider in a two-way relationship between the equipment manufacturer, which has a low level of understanding of analysis algorithms and solution operation, and the solution service provider, which has little understanding of the on-site equipment situation and no experience. In reality, it is very difficult for the equipment manufacturer's workers to design the analysis algorithm and apply it to the field.
또한, 최근에는 생산 장비를 유연화·최적화·효율화·지능화하여 생산비용 절감과 생산성을 향상하는 것을 목표로 빠르게 제조공정이 자동화되고 있으며, 제조공정에서 생성되는 데이터를 기반으로 의사결정 하는 공장 운영체계가 갖추어지고 있다. 데이터 기반의 제조공정 운영체계를 갖춤으로써 공정 내 발생하는 정보뿐 아니라 실시간 데이터 분석으로 불량 예측과 품질 예측을 정확하고 신속하게 처리해야 하는데, 실제 현장에서는 여러 공정이 복잡하게 작용하고 품질변수에 영향을 끼쳐 공정 변수와 품질 변수 사이의 관계가 비선형적인 경우가 대부분이어서 현재까지의 품질 예측은 현장 작업자의 노하우와 경험에 크게 의존하고 있다는 문제점도 가지고 있다.Furthermore, manufacturing processes are rapidly being automated to reduce production costs and improve productivity by making production equipment more flexible, optimized, efficient, and intelligent. Factory operation systems are also being established that make decisions based on data generated during the manufacturing process. By establishing data-driven manufacturing process operation systems, not only information generated within the process but also real-time data analysis is required to accurately and quickly predict defects and quality. However, in actual manufacturing sites, multiple processes interact in a complex manner and affect quality variables, resulting in a nonlinear relationship between process and quality variables. Therefore, current quality predictions rely heavily on the know-how and experience of field workers.
또한, 컴퓨터 비전은 컴퓨터에 시각을 부여해 이미지를 분석함으로써 유용한 정보를 생성하는 기술로써 인공지능 기술이 접목되면서 각종 산업에서 괄목할만한 성과를 나타내고 있다. 특히, 머신비전은 4차 산업혁명을 견인할 핵심 키워드로 손꼽히는 핵심기술로써 반도체, 디스플레이, 인쇄회로기판(PCB), 자동차, 배터리, 섬유, 음료, 제과 공장 등에서 검사, 위치, 측정 등을 위하여 반드시 필요한 기술이기도 하다. 하지만 복잡하고 다양한 장비들로 이루어진 실제 작업 현장에서는 비전 어플리케이션이 단순히 통계적 방법을 통한 이미지 비교분석에 그치고 있고 이종 장비 간 비전 데이터를 융합해 라인 전체를 관리할 수 없어 그 활용도와 정확도가 떨어진다는 문제점도 가지고 있다.Computer vision, a technology that provides computers with the ability to see and analyze images to generate useful information, is achieving remarkable results in various industries as artificial intelligence technology is incorporated. In particular, machine vision is considered a key technology driving the Fourth Industrial Revolution and is essential for inspection, positioning, and measurement in semiconductor, display, printed circuit board (PCB), automobile, battery, textile, beverage, and confectionery factories. However, in actual workplaces comprised of complex and diverse equipment, vision applications often limit themselves to simple statistical image comparison and analysis. Furthermore, vision data from different equipment cannot be integrated to manage the entire line, limiting its usability and accuracy.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 그 목적은 현장 작업자가 현장 상황에 대한 이해와 경험을 토대로 손쉽게 딥러닝과 머신러닝 알고리즘 모델을 생성하고 학습시켜 현장 장비의 운영 데이터와 연동시킬 수 있으며, 알고리즘을 설계, 학습, 어플리케이션시키는 등의 프로그래밍 작업이 익숙치 않은 현장 작업자의 작업을 원격으로 지원해 항시 높은 성능의 모델을 현장에서 운용할 수 있게 지원하며, 학습된 모델의 분석 결과에 따라 정확한 현장 장비의 관리 및 예지보전 결과를 얻을 수 있어 장비의 수명 연장이 가능하고 유지관리 비용을 절감시킬 수 있고 생산품의 품질을 향상시킬 수 있는 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리 시스템 및 방법, 이를 지원하는 운영 서버를 제공하는데 있다.The present invention has been made to solve the above problems, and its purpose is to provide an artificial intelligence management system and method for field equipment utilizing equipment operation data, and an operation server that supports the same, which enables field workers to easily create and train deep learning and machine learning algorithm models based on their understanding and experience of field situations and link them with the operational data of field equipment, and remotely support the work of field workers who are not familiar with programming tasks such as designing, training, and applying algorithms, so that high-performance models can always be operated in the field, and obtain accurate field equipment management and predictive maintenance results based on the analysis results of the trained model, thereby extending the lifespan of the equipment, reducing maintenance costs, and improving the quality of products.
본 발명에 따르면, 설비 현장에 설치 및 운영되며 디바이스 데이터를 전송하는 복수의 설비 디바이스; 상기 설비 디바이스로부터 전송되는 디바이스 데이터를 수집 관리하고 딥러닝과 머신러닝 알고리즘 모델의 학습에 필요한 학습 데이터셋과 모의 데이터셋을 관리하는 데이터 수집 서버; 및 설비 현장에 설치되어 작업자에 의해 운영되며 내부에 설치되어 구동되는 장비관리 구동 도구를 통해 알고리즘 모델을 생성하고 학습시키며 상기 설비 디바이스의 운영 데이터와 연동시켜 장비 관리 및 예지보전을 수행하는 작업 단말기; 를 포함하는 것을 특징으로 하는 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리 시스템을 제공한다.According to the present invention, an artificial intelligence management system for field equipment utilizing equipment operation data is provided, characterized in that it includes: a plurality of equipment devices installed and operated at an equipment site and transmitting device data; a data collection server for collecting and managing device data transmitted from the equipment devices and managing learning data sets and simulation data sets necessary for learning deep learning and machine learning algorithm models; and a work terminal installed at an equipment site and operated by a worker, generating and learning an algorithm model through an equipment management operation tool installed and operated internally, and performing equipment management and predictive maintenance by linking with the operation data of the equipment devices.
바람직하게는, 딥러닝과 머신러닝 알고리즘 모델의 디자인에 필요한 레이어 및 함수를 상기 작업 단말기로 제공하는 라이브러리 서버; 및 딥러닝과 머신러닝 알고리즘 모델의 현장 어플리케이션을 지원하는 운영 서버; 를 더 포함하는 것을 특징으로 한다.Preferably, it further comprises a library server that provides layers and functions required for designing deep learning and machine learning algorithm models to the work terminal; and an operation server that supports field applications of deep learning and machine learning algorithm models.
바람직하게는, 상기 설비 디바이스가 전송하는 디바이스 데이터에는 설비 디바이스의 상태 및 작업 데이터와 데이터베이스 정보가 포함되는 것을 특징으로 한다.Preferably, the device data transmitted by the equipment device includes status and operation data of the equipment device and database information.
바람직하게는, 상기 작업 단말기는 상기 설비 디바이스를 관리하는 현장 작업자에 의해 조작되며, 장비관리 구동 도구를 구동시켜 장비 관리 및 예지보전의 수행을 위한 초기 디자이너 모델을 생성하고, 상기 운영 서버로 디자이너 모델의 학습을 위한 데이터를 요청하고 상기 데이터 수집 서버로부터 학습 데이터셋과 모의 데이터셋을 수신해 디자이너 모델을 학습시켜 트레인드 모델을 생성하며, 상기 운영 서버로 트레인드 모델의 현장 어플리케이션을 위한 데이터를 요청하고 상기 데이터 수집 서버로부터 설비 디바이스에 대한 실시간 디바이스 데이터를 수신해 이 트레인드 모델에 연동시켜 현장 데이터에 따른 장비 관리 및 예지보전을 수행하는 것을 특징으로 한다.Preferably, the work terminal is operated by a field worker who manages the equipment device, and operates an equipment management driving tool to generate an initial designer model for performing equipment management and predictive maintenance, requests data for training the designer model from the operation server, receives a training dataset and a simulation dataset from the data collection server to train the designer model, generates a trained model, requests data for field application of the trained model from the operation server, receives real-time device data for the equipment device from the data collection server, and links it to the trained model to perform equipment management and predictive maintenance according to the field data.
바람직하게는, 상기 장비관리 구동 도구는, 장비 관리 및 예지보전의 수행을 위한 작업자의 초기 디자이너 모델을 생성하는 디자이너 모듈; 상기 디자이너 모듈에서 생성된 작업자의 디자이너 모델을 학습시켜 학습된 트레인드 모델을 생성하는 트레이닝 모듈; 및 상기 트레이닝 모듈에서 생성된 작업자의 트레인드 모델에 실시간 디바이스 데이터를 연동시켜 장비 관리 및 예지보전을 수행하는 어플리케이션 모듈; 을 포함하는 것을 특징으로 한다.Preferably, the equipment management driving tool comprises: a designer module that generates an initial designer model of a worker for performing equipment management and predictive maintenance; a training module that trains the designer model of the worker generated in the designer module to generate a trained model; and an application module that performs equipment management and predictive maintenance by linking real-time device data to the trained model of the worker generated in the training module.
바람직하게는, 상기 디자이너 모듈은 작업자가 딥러닝과 머신러닝 알고리즘 모델을 제작 및 설정할 수 있는 디자이너 툴 화면을 제공하며, 상기 디자이너 툴 화면은, 디자이너 툴 화면의 중심 부위에 배치되며, 디자인되고 있는 디자이너 모델을 작업자가 시각적으로 확인할 수 있도록 하는 정사각형의 모델 시각화 창; 상기 모델 시각화 창의 좌측 상단부에 배치되며, 디자이너 모델의 디자인에 필요한 레이어 및 함수의 개체를 종류별로 모아 각 열에 리스트화하는 개체 선택창; 상기 모델 시각화 창의 우측에 배치되며, 중앙의 모델 시각화 창에 알고리즘의 순서에 따라 배치된 각 레이어들의 파라미터를 구성 및 설정할 수 있도록 하는 개체 설정창; 상기 모델 시각화 창의 좌측 하부에 배치되며, 디자이너 모델의 디자인 중 발생하는 로깅 정보를 확인할 수 있는 로깅 확인창; 상기 로깅 확인창의 하부에 배치되며, 디자인되고 있는 디자이너 모델을 편집할 수 있는 모델 작업창; 및 상기 모델 시각화 창의 하부에 배치되며, 디자인되고 있는 모델 시각화 창을 확대, 축소, 스패닝시킬 수 있는 보기 제어창; 을 포함하는 것을 특징으로 한다.Preferably, the designer module provides a designer tool screen through which a worker can create and set up a deep learning and machine learning algorithm model, and the designer tool screen is characterized by including: a square model visualization window arranged in the center of the designer tool screen, which allows the worker to visually check the designer model being designed; an object selection window arranged in the upper left portion of the model visualization window, which lists objects of layers and functions required for the design of the designer model by type in each column; an object setting window arranged on the right side of the model visualization window, which allows the user to configure and set parameters of each layer arranged in the order of the algorithm in the central model visualization window; a logging confirmation window arranged in the lower left portion of the model visualization window, which allows the user to check logging information generated during the design of the designer model; a model work window arranged below the logging confirmation window, which allows the user to edit the designer model being designed; and a view control window arranged below the model visualization window, which allows the user to enlarge, reduce, and span the model visualization window being designed.
바람직하게는, 상기 개체 선택창은 디자이너 모델을 디자인하는데 사용되는 활성화 함수, 컨볼루션 레이어, 코어 레이어, 풀링 레이어 및 반복 레이어가 개체 그룹으로서 각 열에 리스트화되며, 작업자의 개체 그룹 선택에 따라 해당 개체 그룹에 속한 세부 개체들을 개체 그룹의 하부 열에 리스트화하게 구조화되는 것을 특징으로 한다.Preferably, the object selection window is structured so that activation functions, convolution layers, core layers, pooling layers, and repetitive layers used to design a designer model are listed in each column as object groups, and detailed objects belonging to the object group are listed in a sub-column of the object group according to the operator's selection of the object group.
바람직하게는, 상기 개체 선택창에서 제공하는 레이어는 박스 형태의 레이어 블록으로 구성되며, 상기 레이어 블록의 상부에 배치되며, 해당 레이어의 약어를 표시하는 레이어 이름 영역; 상기 레이어 블록의 상측단 중심 부위와 좌측단 중심 부위에 각각 배치되며, 레이어 블록의 내부로 향하는 화살표로 표시되는 인풋 버튼; 상기 레이어 블록의 하측단 중심 부위와 우측단 중심 부위에 각각 배치되며, 레이어 블록의 외부로 향하는 화살표로 표시되는 아웃풋 버튼; 상기 레이어 블록의 하부에 배치되며, 해당 레이어의 알고리즘 내 레이어 순서를 표시하는 ID 영역; 및 상기 ID 영역의 우측에 배치되며, 작업자가 마우스로 클릭시 현재 레이어를 삭제할 수 있도록 제공되는 삭제 버튼; 을 포함하는 것을 특징으로 한다.Preferably, the layer provided in the object selection window is characterized by comprising a box-shaped layer block, and is arranged on the upper side of the layer block, a layer name area displaying an abbreviation of the layer; an input button, which is arranged at the upper center and the left center of the layer block, and is indicated by an arrow pointing inward of the layer block; an output button, which is arranged at the lower center and the right center of the layer block, and is indicated by an arrow pointing outward of the layer block; an ID area, which is arranged at the lower side of the layer block, and which indicates a layer order within the algorithm of the layer; and a delete button, which is arranged at the right side of the ID area and is provided so that an operator can delete the current layer when clicking with a mouse.
바람직하게는, 디자인되는 디자이너 모델에서 데이터의 흐름 방향을 결정하는 커넥션 라인으로 두 레이어 간의 출력과 입력을 연결하며, 작업자는 상기 모델 시각화 창에 배치되는 레이어들에 대해 아웃풋 버튼과 인풋 버튼을 선택해 커넥션 라인으로 연결함으로써 디자이너 모델에서 레이어 간 데이터의 흐름 방향을 결정하는 것을 특징으로 한다.Preferably, the output and input between two layers are connected by a connection line that determines the direction of data flow in the designer model being designed, and the worker determines the direction of data flow between layers in the designer model by selecting an output button and an input button for the layers placed in the model visualization window and connecting them by a connection line.
바람직하게는, 상기 개체 설정창은 작업자가 상기 모델 시각화 창에 배치된 레이어 및 함수 중 하나를 선택하면 선택된 레이어나 함수의 파라미터들을 설정할 수 있도록 파라미터별로 수 입력칸 또는 드롭다운 메뉴가 배치되며, 해당 파라미터별 드롭다운 메뉴에는 대표 파라미터 속성이 그대로 노출되며 화살표 버튼을 클릭시 활성화되어 아래로 선택 파라미터 속성들이 펼쳐지는 방식으로 파라미터 속성을 선택하도록 하는 것을 특징으로 한다.Preferably, the object setting window is characterized in that when an operator selects one of the layers and functions arranged in the model visualization window, a number input field or drop-down menu is arranged for each parameter so that the parameters of the selected layer or function can be set, and the representative parameter properties are directly exposed in the drop-down menu for each parameter, and when an arrow button is clicked, the selected parameter properties are expanded downwards to select the parameter properties.
바람직하게는, 상기 트레이닝 모듈은 작업자가 자신이 설계한 디자이너 모델을 학습시킬 수 있는 트레이닝 툴 화면을 제공하며, 상기 트레이닝 툴 화면은, 상기 트레이닝 툴 화면의 중심 부위에 배치되며, 객관적인 함수 학습 알고리즘의 정확도를 그래프로 나타내는 그래프 뷰어창; 상기 그래프 뷰어창의 좌측에 배치되며, 대상 디자이너 모델의 학습 프로세스에 대한 학습 파라미터를 구성할 수 있도록 하는 학습 설정창; 상기 트레이닝 툴 화면의 중심에서 상기 그래프 뷰어창의 하부에 배치되며, 학습 프로세스에 대한 로깅 정보가 표시되는 로깅 확인창; 및 상기 그래프 뷰어창의 우측에 배치되며, 테스트 데이터에서 학습된 모델의 성능을 표시하는 학습 평가창; 을 포함는 것을 특징으로 한다.Preferably, the training module provides a training tool screen through which a worker can train a designer model designed by the worker, and the training tool screen includes: a graph viewer window arranged in the center of the training tool screen and representing the accuracy of an objective function learning algorithm in a graph; a learning setting window arranged on the left side of the graph viewer window and enabling configuration of learning parameters for a learning process of a target designer model; a logging confirmation window arranged at the center of the training tool screen and below the graph viewer window and displaying logging information for the learning process; and a learning evaluation window arranged on the right side of the graph viewer window and displaying the performance of a model learned from test data.
바람직하게는, 상기 학습 설정창은 학습에 필요한 학습 데이터셋과 모의 데이터셋을 불러오고, 디자이너 모듈에서 설계되어 생성된 작업자의 디자이너 모델 파일을 불러오고, 학습 알고리즘을 선택하고, 학습 진행을 위한 매개 변수를 설정하고, 학습 스크립트를 선택할 수 있도록 구성되며, 상기 학습 설정창의 최상단에 배치되며, 학습에 필요한 학습 데이터셋과 모의 데이터셋을 불러오는 데이터셋 설정창; 상기 데이터셋 설정창의 하부에 배치되며, 학습할 디자이너 모델을 지정하는 모델 설정창; 상기 모델 설정창의 하부에 배치되며, 학습 진행을 위한 파라미터를 설정하는 파라미터 설정창; 상기 파라미터 설정창의 하부에 배치되며, 학습 스크립트를 구성하는 조기중지 설정창; 상기 조기중지 설정창의 하부에 배치되며, 학습에 필요한 옵션을 설정하는 옵션 설정창; 상기 옵션 설정창의 하부에 배치되며, 학습 완료 후 지원될 수 있는 유틸리티를 설정하는 유틸리티 설정창; 및 상기 유틸리티 설정창의 하부이면서 전체 학습 설정창의 최하단에 배치되며, 학습을 실행하는 학습 실행 버튼; 을 포함하는 것을 특징으로 한다.Preferably, the learning setting window is configured to load a learning dataset and a simulation dataset required for learning, load a designer model file of a worker designed and generated in a designer module, select a learning algorithm, set parameters for learning progress, and select a learning script, and is characterized in that it includes: a dataset setting window located at the top of the learning setting window for loading a learning dataset and a simulation dataset required for learning; a model setting window located at the bottom of the dataset setting window for specifying a designer model to be learned; a parameter setting window located at the bottom of the model setting window for setting parameters for learning progress; an early stop setting window located at the bottom of the parameter setting window for configuring a learning script; an option setting window located at the bottom of the early stop setting window for setting options required for learning; a utility setting window located at the bottom of the option setting window for setting utilities that can be supported after learning is completed; and a learning execution button located at the bottom of the utility setting window and at the bottom of the entire learning setting window for executing learning.
한편 본 발명의 다른 측면에 따르면, 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리를 수행하는 로컬의 작업 단말기를 지원하는 운영 서버로서, 정보통신망을 통해 작업 단말기에 접속하기 위한 통신부; 작업 단말기 내 장비관리 구동 도구의 모델 관리부와 연동되어 장비관리 구동 도구의 디자이너 모듈의 모델 디자인 작업을 지원하는 모델링 지원부; 작업 단말기 내 장비관리 구동 도구의 트레이닝 관리부와 연동되어 장비관리 구동 도구의 트레이닝 모듈의 모델 학습 작업을 지원하는 트레이닝 지원부; 작업 단말기 내 장비관리 구동 도구의 어플리케이션 관리부와 연동되어 장비관리 구동 도구의 어플리케이션 모듈의 모델 어플리케이션 작업을 지원하는 어플리케이션 지원부; 및 작업 단말기 내 장비관리 구동 도구의 유저 관리부와 연동되어 장비관리 구동 도구의 작업 상황을 확인하는 유저 지원부; 를 포함하며, 작업 단말기로부터 단계별 작업 중간결과물을 전송받고 관리자 파트에서 작업 중간결과물을 변경/수정/삭제/수정한 작업 지원결과물을 작업 단말기로 전달하는 것을 특징으로 하는 운영 서버를 제공한다.Meanwhile, according to another aspect of the present invention, there is provided an operation server supporting a local work terminal that performs artificial intelligence management of field equipment using equipment operation data, the operation server comprising: a communication unit for connecting to the work terminal via an information and communication network; a modeling support unit that is linked to a model management unit of an equipment management operating tool in the work terminal and supports model design work of a designer module of the equipment management operating tool; a training support unit that is linked to a training management unit of the equipment management operating tool in the work terminal and supports model learning work of a training module of the equipment management operating tool; an application support unit that is linked to an application management unit of the equipment management operating tool in the work terminal and supports model application work of an application module of the equipment management operating tool; and a user support unit that is linked to a user management unit of the equipment management operating tool in the work terminal and checks the work status of the equipment management operating tool; the operation server is characterized in that it receives step-by-step work intermediate results from the work terminal and transmits work support results in which the intermediate results of the work are changed/modified/deleted/corrected by the manager part to the work terminal.
바람직하게는, 상기 모델링 지원부는 로컬 작업 단말기의 모델 관리부를 통해 현장 작업자가 설계하여 생성한 디자이너 모델을 작업 중간결과물로서 수신하고, 관리자가 모델 및 가중치를 변경/수정/삭제/추가한 디자이너 모델을 작업 지원결과물로서 작업 단말기의 모델 관리부로 전달함으로써 기존 디자이너 모델에 반영되도록 하는 것을 특징으로 한다.Preferably, the modeling support unit receives a designer model designed and created by a field worker as an intermediate work result through a model management unit of a local work terminal, and transmits a designer model in which a manager has changed/modified/deleted/added a model and weights to the model management unit of the work terminal as a work support result, thereby allowing it to be reflected in an existing designer model.
바람직하게는, 상기 트레이닝 지원부는 로컬 작업 단말기의 트레이닝 관리부를 통해 작업 중간결과물로서 디자이너 모델을 수신하고, 작업 중간결과물인 디자이너 모델을 직접 학습시켜 트레인드 모델을 생성해 작업 지원결과물로서 작업 단말기의 트레이닝 관리부로 전달함으로써 트레인드 모델에 반영되도록 하는 것을 특징으로 한다.Preferably, the training support unit receives a designer model as an intermediate result of work through a training management unit of a local work terminal, and directly trains the designer model as an intermediate result of work to create a trained model, and transmits it to the training management unit of the work terminal as a work support result so that it is reflected in the trained model.
바람직하게는, 상기 트레이닝 지원부는 로컬 작업 단말기의 요청에 따라 관리자의 지정된 학습 절차 관리하에 로컬에서 디자이너 모델이 자동적으로 학습되도록 지원하는 것을 특징으로 한다.Preferably, the training support unit is characterized in that it supports automatic learning of the designer model locally under the management of a learning procedure designated by an administrator at the request of a local work terminal.
바람직하게는, 상기 어플리케이션 지원부는 로컬 작업 단말기의 요청에 따라 지정된 스케줄에 따른 트레인드 모델의 로컬 어플리케이션 과정을 제어하는 것을 특징으로 한다.Preferably, the application support unit is characterized in that it controls the local application process of the trained model according to a specified schedule in response to a request from a local work terminal.
한편 본 발명의 또 다른 측면에 따르면, (a) 데이터 수집 서버가 원거리의 설비 디바이스에서 전송되는 디바이스 데이터를 수집하여 관리하는 단계; (b) 작업 단말기가 디자이너 모듈을 실행시켜 장비 관리 및 예지보전의 수행을 위한 초기 디자이너 모델을 생성하는 단계; (c) 상기 작업 단말기가 트레이닝 모듈을 실행시키고 운영 서버로 디자이너 모델의 학습을 위한 데이터를 요청하여 상기 데이터 수집 서버로부터 모의 데이터와 학습 데이터를 수신해 디자이너 모델을 학습시켜 학습된 트레인드 모델을 생성하는 단계; 및 (d) 상기 작업 단말기가 상기 운영 서버로 트레인드 모델의 현장 어플리케이션을 위한 데이터를 요청하고 상기 데이터 수집 서버로부터 설비 디바이스에 대한 실시간 디바이스 데이터를 수신해 이 트레인드 모델에 연동시켜 현장 데이터에 따른 장비 관리 및 예지보전을 수행하는 단계; 를 포함하는 것을 특징으로 하는 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리 방법을 제공한다.Meanwhile, according to another aspect of the present invention, there is provided a method for artificial intelligence management of field equipment utilizing equipment operation data, comprising: (a) a step in which a data collection server collects and manages device data transmitted from a remote equipment device; (b) a step in which a work terminal executes a designer module to generate an initial designer model for performing equipment management and predictive maintenance; (c) a step in which the work terminal executes a training module and requests data for training the designer model from an operation server, receives simulation data and training data from the data collection server, trains the designer model, and generates a trained trained model; and (d) a step in which the work terminal requests data for field application of the trained model from the operation server, receives real-time device data on the equipment device from the data collection server, and performs equipment management and predictive maintenance according to the field data by linking the trained model.
바람직하게는, 상기 (b) 단계에서 상기 디자이너 모듈은 작업자가 딥러닝과 머신러닝 알고리즘 모델을 제작 및 설정할 수 있는 디자이너 툴 화면을 제공하며, 상기 디자이너 툴 화면은, 디자이너 툴 화면의 중심 부위에 배치되며, 디자인되고 있는 디자이너 모델을 작업자가 시각적으로 확인할 수 있도록 하는 정사각형의 모델 시각화 창; 상기 모델 시각화 창의 좌측 상단부에 배치되며, 디자이너 모델의 디자인에 필요한 레이어 및 함수의 개체를 종류별로 모아 각 열에 리스트화하는 개체 선택창; 상기 모델 시각화 창의 우측에 배치되며, 중앙의 모델 시각화 창에 알고리즘의 순서에 따라 배치된 각 레이어들의 파라미터를 구성 및 설정할 수 있도록 하는 개체 설정창; 상기 모델 시각화 창의 좌측 하부에 배치되며, 디자이너 모델의 디자인 중 발생하는 로깅 정보를 확인할 수 있는 로깅 확인창; 상기 로깅 확인창의 하부에 배치되며, 디자인되고 있는 디자이너 모델을 편집할 수 있는 모델 작업창; 및 상기 모델 시각화 창의 하부에 배치되며, 디자인되고 있는 모델 시각화 창을 확대, 축소, 스패닝시킬 수 있는 보기 제어창; 을 포함하는 것을 특징으로 한다.Preferably, in the step (b), the designer module provides a designer tool screen that allows a worker to create and set up a deep learning and machine learning algorithm model, and the designer tool screen is characterized by including: a square model visualization window that is arranged in the center of the designer tool screen and allows the worker to visually check the designer model being designed; an object selection window that is arranged in the upper left portion of the model visualization window and lists objects of layers and functions required for the design of the designer model by type in each column; an object setting window that is arranged on the right side of the model visualization window and allows the user to configure and set parameters of each layer arranged in the order of the algorithm in the central model visualization window; a logging confirmation window that is arranged in the lower left portion of the model visualization window and allows the user to check logging information generated during the design of the designer model; a model work window that is arranged below the logging confirmation window and allows the user to edit the designer model being designed; and a view control window that is arranged below the model visualization window and allows the user to enlarge, reduce, and span the model visualization window that is being designed.
바람직하게는, 상기 개체 선택창은 디자이너 모델을 디자인하는데 사용되는 활성화 함수, 컨볼루션 레이어, 코어 레이어, 풀링 레이어 및 반복 레이어가 개체 그룹으로서 각 열에 리스트화되며, 작업자의 개체 그룹 선택에 따라 해당 개체 그룹에 속한 세부 개체들을 개체 그룹의 하부 열에 리스트화하게 구조화되는 것을 특징으로 한다.Preferably, the object selection window is structured so that activation functions, convolution layers, core layers, pooling layers, and repetitive layers used to design a designer model are listed in each column as object groups, and detailed objects belonging to the object group are listed in a sub-column of the object group according to the operator's selection of the object group.
바람직하게는, 상기 개체 선택창에서 제공하는 레이어는 박스 형태의 레이어 블록으로 구성되며, 상기 레이어 블록의 상부에 배치되며, 해당 레이어의 약어를 표시하는 레이어 이름 영역; 상기 레이어 블록의 상측단 중심 부위와 좌측단 중심 부위에 각각 배치되며, 레이어 블록의 내부로 향하는 화살표로 표시되는 인풋 버튼; 상기 레이어 블록의 하측단 중심 부위와 우측단 중심 부위에 각각 배치되며, 레이어 블록의 외부로 향하는 화살표로 표시되는 아웃풋 버튼; 상기 레이어 블록의 하부에 배치되며, 해당 레이어의 알고리즘 내 레이어 순서를 표시하는 ID 영역; 및 상기 ID 영역의 우측에 배치되며, 작업자가 마우스로 클릭시 현재 레이어를 삭제할 수 있도록 제공되는 삭제 버튼; 을 포함하는 것을 특징으로 한다.Preferably, the layer provided in the object selection window is characterized by comprising a box-shaped layer block, and is arranged on the upper side of the layer block, a layer name area displaying an abbreviation of the layer; an input button, which is arranged at the upper center and the left center of the layer block, and is indicated by an arrow pointing inward of the layer block; an output button, which is arranged at the lower center and the right center of the layer block, and is indicated by an arrow pointing outward of the layer block; an ID area, which is arranged at the lower side of the layer block, and which indicates a layer order within the algorithm of the layer; and a delete button, which is arranged at the right side of the ID area and is provided so that an operator can delete the current layer when clicking with a mouse.
바람직하게는, 디자인되는 디자이너 모델에서 데이터의 흐름 방향을 결정하는 커넥션 라인으로 두 레이어 간의 출력과 입력을 연결하며, 작업자는 상기 모델 시각화 창에 배치되는 레이어들에 대해 아웃풋 버튼과 인풋 버튼을 선택해 커넥션 라인으로 연결함으로써 디자이너 모델에서 레이어 간 데이터의 흐름 방향을 결정하는 것을 특징으로 한다.Preferably, the output and input between two layers are connected by a connection line that determines the direction of data flow in the designer model being designed, and the worker determines the direction of data flow between layers in the designer model by selecting an output button and an input button for the layers placed in the model visualization window and connecting them by a connection line.
바람직하게는, 상기 개체 설정창은 작업자가 상기 모델 시각화 창에 배치된 레이어 및 함수 중 하나를 선택하면 선택된 레이어나 함수의 파라미터들을 설정할 수 있도록 파라미터별로 수 입력칸 또는 드롭다운 메뉴가 배치되며, 해당 파라미터별 드롭다운 메뉴에는 대표 파라미터 속성이 그대로 노출되며 화살표 버튼을 클릭시 활성화되어 아래로 선택 파라미터 속성들이 펼쳐지는 방식으로 파라미터 속성을 선택하도록 하는 것을 특징으로 한다.Preferably, the object setting window is characterized in that when an operator selects one of the layers and functions arranged in the model visualization window, a number input field or drop-down menu is arranged for each parameter so that the parameters of the selected layer or function can be set, and the representative parameter properties are directly exposed in the drop-down menu for each parameter, and when an arrow button is clicked, the selected parameter properties are expanded downwards to select the parameter properties.
바람직하게는, 상기 (c) 단계에서 상기 트레이닝 모듈은 작업자가 자신이 설계한 디자이너 모델을 학습시킬 수 있는 트레이닝 툴 화면을 제공하며, 상기 트레이닝 툴 화면은, 상기 트레이닝 툴 화면의 중심 부위에 배치되며, 객관적인 함수 학습 알고리즘의 정확도를 그래프로 나타내는 그래프 뷰어창; 상기 그래프 뷰어창의 좌측에 배치되며, 대상 디자이너 모델의 학습 프로세스에 대한 학습 파라미터를 구성할 수 있도록 하는 학습 설정창; 상기 트레이닝 툴 화면의 중심에서 상기 그래프 뷰어창의 하부에 배치되며, 학습 프로세스에 대한 로깅 정보가 표시되는 로깅 확인창; 및 상기 그래프 뷰어창의 우측에 배치되며, 테스트 데이터에서 학습된 모델의 성능을 표시하는 학습 평가창; 을 포함는 것을 특징으로 한다.Preferably, in the step (c), the training module provides a training tool screen through which a worker can train a designer model designed by the worker, and the training tool screen includes: a graph viewer window arranged in the center of the training tool screen and representing the accuracy of an objective function learning algorithm in a graph; a learning setting window arranged on the left side of the graph viewer window and enabling configuration of learning parameters for a learning process of a target designer model; a logging confirmation window arranged at the center of the training tool screen and at the bottom of the graph viewer window and displaying logging information for the learning process; and a learning evaluation window arranged on the right side of the graph viewer window and displaying the performance of a model learned from test data.
바람직하게는, 상기 학습 설정창은 학습에 필요한 학습 데이터셋과 모의 데이터셋을 불러오고, 디자이너 모듈에서 설계되어 생성된 작업자의 디자이너 모델 파일을 불러오고, 학습 알고리즘을 선택하고, 학습 진행을 위한 매개 변수를 설정하고, 학습 스크립트를 선택할 수 있도록 구성되며, 상기 학습 설정창의 최상단에 배치되며, 학습에 필요한 학습 데이터셋과 모의 데이터셋을 불러오는 데이터셋 설정창; 상기 데이터셋 설정창의 하부에 배치되며, 학습할 디자이너 모델을 지정하는 모델 설정창; 상기 모델 설정창의 하부에 배치되며, 학습 진행을 위한 파라미터를 설정하는 파라미터 설정창; 상기 파라미터 설정창의 하부에 배치되며, 학습 스크립트를 구성하는 조기중지 설정창; 상기 조기중지 설정창의 하부에 배치되며, 학습에 필요한 옵션을 설정하는 옵션 설정창; 상기 옵션 설정창의 하부에 배치되며, 학습 완료 후 지원될 수 있는 유틸리티를 설정하는 유틸리티 설정창; 및 상기 유틸리티 설정창의 하부이면서 전체 학습 설정창의 최하단에 배치되며, 학습을 실행하는 학습 실행 버튼; 을 포함하는 것을 특징으로 한다.Preferably, the learning setting window is configured to load a learning dataset and a simulation dataset required for learning, load a designer model file of a worker designed and generated in a designer module, select a learning algorithm, set parameters for learning progress, and select a learning script, and is characterized in that it includes: a dataset setting window located at the top of the learning setting window for loading a learning dataset and a simulation dataset required for learning; a model setting window located at the bottom of the dataset setting window for specifying a designer model to be learned; a parameter setting window located at the bottom of the model setting window for setting parameters for learning progress; an early stop setting window located at the bottom of the parameter setting window for configuring a learning script; an option setting window located at the bottom of the early stop setting window for setting options required for learning; a utility setting window located at the bottom of the option setting window for setting utilities that can be supported after learning is completed; and a learning execution button located at the bottom of the utility setting window and at the bottom of the entire learning setting window for executing learning.
본 발명에 따르면, 현장 작업자가 현장 상황에 대한 이해와 경험을 토대로 손쉽게 딥러닝과 머신러닝 알고리즘 모델을 생성하고 학습시켜 현장 장비의 운영 데이터와 연동시킬 수 있으며, 알고리즘을 설계, 학습, 어플리케이션시키는 등의 프로그래밍 작업이 익숙치 않은 현장 작업자의 작업을 원격으로 지원해 항시 높은 성능의 모델을 현장에서 운용할 수 있게 지원하며, 학습된 모델의 분석 결과에 따라 정확한 현장 장비의 관리 및 예지보전 결과를 얻을 수 있어 장비의 수명 연장이 가능하고 유지관리 비용을 절감시킬 수 있고 생산품의 품질을 향상시킬 수 있게 되는 효과가 있다.According to the present invention, field workers can easily create and train deep learning and machine learning algorithm models based on their understanding and experience of field situations and link them with the operational data of field equipment, and remotely support the work of field workers who are not familiar with programming tasks such as designing, training, and applying algorithms, so that high-performance models can always be operated in the field, and accurate field equipment management and predictive maintenance results can be obtained based on the analysis results of the trained model, thereby extending the life of the equipment, reducing maintenance costs, and improving the quality of products.
도 1은 본 발명의 실시예에 따른 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리 시스템을 설명하기 위한 블럭 구성도이다.
도 2는 본 발명의 실시예에 따른 작업 단말기의 세부 구성을 설명하기 위한 블럭 구성도이다.
도 3은 본 발명의 실시예에 따른 장비관리 구동 도구를 설명하기 위한 블럭 구성도이다.
도 4 내지 도 33은 본 발명의 실시예에 따른 장비관리 구동 도구의 구동 화면들을 설명하기 위한 도면이다.
도 34는 본 발명의 실시예에 따른 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리 방법을 설명하기 위한 흐름도이다.
도 35는 본 발명의 실시예에 따른 시스템 지원용의 운영 서버의 세부 구성을 설명하기 위한 블럭 구성도이다.FIG. 1 is a block diagram illustrating an artificial intelligence management system for field equipment utilizing equipment operation data according to an embodiment of the present invention.
Figure 2 is a block diagram for explaining the detailed configuration of a work terminal according to an embodiment of the present invention.
Figure 3 is a block diagram for explaining an equipment management driving tool according to an embodiment of the present invention.
FIGS. 4 to 33 are drawings for explaining the operation screens of the equipment management operation tool according to an embodiment of the present invention.
Figure 34 is a flowchart for explaining an artificial intelligence management method of field equipment using equipment operation data according to an embodiment of the present invention.
Figure 35 is a block diagram for explaining the detailed configuration of an operating server for system support according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.The present invention is susceptible to various modifications and embodiments. Specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, but rather to encompass all modifications, equivalents, and alternatives falling within the spirit and technical scope of the present invention. Throughout the description of each drawing, similar reference numerals have been used to designate similar components.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but these components should not be limited by these terms. These terms are used solely to distinguish one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. The term "and/or" includes a combination of multiple related items described herein or any of multiple related items described herein.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it should be understood that it may be directly connected or connected to that other component, but that there may be other components intervening. Conversely, when a component is referred to as being "directly connected" or "connected" to another component, it should be understood that there are no other components intervening.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is only used to describe specific embodiments and is not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly indicates otherwise. In this application, it should be understood that the terms "comprise" or "have" indicate the presence of a feature, number, step, operation, component, part, or combination thereof described in the specification, but do not exclude in advance the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with their meaning in the context of the relevant technology, and will not be interpreted in an idealized or overly formal sense unless explicitly defined herein.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 실시예에 따른 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리 시스템을 설명하기 위한 블럭 구성도이다.FIG. 1 is a block diagram illustrating an artificial intelligence management system for field equipment utilizing equipment operation data according to an embodiment of the present invention.
먼저 본 발명에 따른 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리 시스템은, 설비 현장에 설치 및 운영되며 정보통신망과 연결되어 디바이스 데이터를 전송하는 복수의 설비 디바이스(100), 정보통신망을 통해 상기 설비 디바이스(100)와 연결되어 설비 디바이스(100)로부터 전송되는 디바이스 데이터를 수집 관리하고 딥러닝과 머신러닝 알고리즘 모델의 학습에 필요한 학습 데이터셋과 모의 데이터셋을 관리하는 데이터 수집 서버(200), 딥러닝과 머신러닝 알고리즘 모델의 디자인에 필요한 각종 레이어 및 함수를 제공하는 라이브러리 서버(500), 딥러닝과 머신러닝 알고리즘 모델의 현장 어플리케이션을 지원하는 운영 서버(400) 및 설비 현장에 설치되어 작업자에 의해 운영되며 내부에 설치되어 구동되는 장비관리 구동 도구(360)를 통해 알고리즘 모델을 생성하고 학습시키며 상기 설비 디바이스(100)의 운영 데이터와 연동시켜 장비 관리 및 예지보전을 수행하는 작업 단말기(300)를 포함하여 구성될 수 있다.First, the artificial intelligence management system for field equipment utilizing equipment operation data according to the present invention may be configured to include a plurality of equipment devices (100) that are installed and operated at the equipment site and are connected to an information and communication network to transmit device data, a data collection server (200) that is connected to the equipment devices (100) through the information and communication network to collect and manage device data transmitted from the equipment devices (100) and manage learning data sets and simulation data sets necessary for training deep learning and machine learning algorithm models, a library server (500) that provides various layers and functions necessary for designing deep learning and machine learning algorithm models, an operation server (400) that supports field applications of deep learning and machine learning algorithm models, and a work terminal (300) that is installed at the equipment site and operated by a worker and generates and trains an algorithm model through an equipment management operation tool (360) that is installed and operated internally and is linked with the operation data of the equipment devices (100) to perform equipment management and predictive maintenance.
상기 설비 디바이스(100)는 다양한 설비 현장에 설치되어 있는 수많은 자동화 설비 및 장비(PLC, Controller, IOT 센서 등)이며, 실시간으로 상태 및 작업 데이터와 데이터베이스 정보(이하 디바이스 데이터라 함)를 생성하여 전송하게 된다.The above equipment device (100) is a large number of automated equipment and devices (PLC, Controller, IOT sensor, etc.) installed in various equipment sites, and generates and transmits status and operation data and database information (hereinafter referred to as device data) in real time.
상기 데이터 수집 서버(200)는 정보통신망을 통해 원거리의 상기 설비 디바이스(100)에서 전송되는 디바이스 데이터를 수집하여 원하는 형태(DB 저장, CSV 파일 저장, 실시간 서버 연결)로 가공하여 관리하게 된다.The above data collection server (200) collects device data transmitted from the above remote equipment device (100) via an information and communication network, processes it into a desired format (DB storage, CSV file storage, real-time server connection), and manages it.
또한 상기 데이터 수집 서버(200)는 정보통신망을 통해 상기 작업 단말기(300)가 생성한 디자이너 모델의 학습을 위한 학습 데이터셋과 모의 데이터셋을 제공하게 된다.In addition, the data collection server (200) provides a learning data set and a simulation data set for learning the designer model created by the work terminal (300) through an information and communication network.
상기 라이브러리 서버(500)는 딥러닝과 머신러닝 알고리즘 모델의 디자인에 필요한 각종 레이어 및 함수를 제공하게 된다. 딥러닝은 심층적인 네트워크 기술을 적용하여 문제를 해결하는 과정으로, 라이브러리 서버(500)는 뉴런 네트워크를 구현하기 위해 만들어진 라이브러리이다. 여기에서 레이어는 뉴런 네트워크에서 사용되는 층을 의미한다. 또한 함수는 입력 선형으로 변환되어 적용되는 수학적 함수이다. 선형으로 조합이 이루어진 활성화 기능이 적용되어 수행되고 입력 신호를 출력 신호로 변환한다. 출력 신호는 함수(입력×가중치+바이어스)와 같은 방정식을 가진다. 상기 가중치와 바이어스는 뉴런 네트워크 모델의 특성을 수행하는 중요한 매개 변수이며, 학습 모델은 최고의 가중치와 바이어스를 찾는 것을 의미한다. 여기에서 가중치는 입력값이 뉴런에 입력되면 곱해진다. 또한 바이어스는 입력에 가중치를 곱한 결과에 추가되는 또 다른 매개 변수이다.The library server (500) above provides various layers and functions required for designing deep learning and machine learning algorithm models. Deep learning is a process of solving problems by applying deep network technology, and the library server (500) is a library created to implement a neural network. Here, the layer refers to a layer used in a neural network. In addition, the function is a mathematical function that is applied by converting the input linearly. An activation function that is linearly combined is applied and performed, converting the input signal into an output signal. The output signal has an equation such as the function (input × weight + bias). The weight and bias are important parameters that perform the characteristics of the neural network model, and the learning model means finding the optimal weight and bias. Here, the weight is multiplied when the input value is input to the neuron. In addition, the bias is another parameter that is added to the result of multiplying the input by the weight.
상기 라이브러리 서버(500)는 뉴런 네트워크 기반의 모델을 개발, 학습 및 평가하기 위한 고급 신경망 API를 제공한다.The above library server (500) provides an advanced neural network API for developing, learning, and evaluating a neural network-based model.
상기 운영 서버(400)는 상기 작업 단말기(300)의 장비 관리 및 예지보전 수행을 위한 전체적인 서비스를 관리하며, 작업 단말기(300)와 데이터 수집 서버(200)를 연동시켜 초기 디자이너 모델의 학습을 위한 학습 데이터셋과 모의 데이터셋 그리고 학습된 트레인드 모델의 현장 어플리케이션을 위한 실시간 디바이스 데이터가 작업 단말기(300)로 전달되도록 제어하게 된다.The above operation server (400) manages the overall service for equipment management and predictive maintenance of the above work terminal (300), and controls the work terminal (300) and data collection server (200) to be linked so that a learning dataset for learning an initial designer model, a simulation dataset, and real-time device data for field application of the learned trained model are transmitted to the work terminal (300).
상기 작업 단말기(300)는 상기 설비 디바이스(100)를 관리하는 현장 작업자에 의해 조작되며, 장비관리 구동 도구(360)를 구동시켜 장비 관리 및 예지보전의 수행을 위한 초기 디자이너 모델을 생성하고, 상기 운영 서버(400)로 디자이너 모델의 학습을 위한 데이터를 요청하고 상기 데이터 수집 서버(200)로부터 학습 데이터셋과 모의 데이터셋을 수신해 디자이너 모델을 학습시켜 트레인드 모델을 생성하며, 상기 운영 서버(400)로 트레인드 모델의 현장 어플리케이션을 위한 데이터를 요청하고 상기 데이터 수집 서버(200)로부터 설비 디바이스(100)에 대한 실시간 디바이스 데이터를 수신해 이 트레인드 모델에 연동시켜 현장 데이터에 따른 장비 관리 및 예지보전을 수행하게 된다.The above work terminal (300) is operated by a field worker who manages the equipment device (100), and generates an initial designer model for performing equipment management and predictive maintenance by driving an equipment management driving tool (360), requests data for training the designer model from the operation server (400), receives a training data set and a simulation data set from the data collection server (200), trains the designer model, generates a trained model, requests data for field application of the trained model from the operation server (400), receives real-time device data for the equipment device (100) from the data collection server (200), and links it to the trained model to perform equipment management and predictive maintenance according to field data.
도 2는 본 발명의 실시예에 따른 작업 단말기의 세부 구성을 설명하기 위한 블럭 구성도이다.Figure 2 is a block diagram for explaining the detailed configuration of a work terminal according to an embodiment of the present invention.
상기 작업 단말기(300)는 정보통신망을 통해 데이터 수집 서버(200), 라이브러리 서버(500) 및 운영 서버(400)와 접속하는 엔드 유저측의 컴퓨터로서, 정보통신망을 통해 데이터를 송, 수신할 수 있는 모든 정보통신 단말, 예컨대 스마트폰(smart phone), 태블릿(tablet) 컴퓨터, 데스크탑(desktop) 컴퓨터, 랩탑(laptop) 컴퓨터, 노트북, 워크스테이션(workstation), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터, 무선 전화기(wireless phone), 모바일 폰(mobile phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙박스(black box), 디지털 카메라(digital camera), 텔레비전(television), 웨어러블 디바이스(wearable device) 중 하나일 수 있으며, 이들에 제한되지 않는다.The above work terminal (300) is an end user computer that connects to a data collection server (200), a library server (500), and an operation server (400) through an information and communication network, and may be any information and communication terminal capable of transmitting and receiving data through an information and communication network, for example, a smart phone, a tablet computer, a desktop computer, a laptop computer, a notebook, a workstation, a PDA (Personal Digital Assistants), a portable computer, a wireless phone, a mobile phone, an e-book, a PMP (portable multimedia player), a portable game console, a navigation device, a black box, a digital camera, a television, a wearable device, but is not limited thereto.
또한, 상기 작업 단말기(300)는 통상적인 시스템 구성 요소로서, URL (Uniform Resource Locator)에 근거하여 웹페이지를 불러오고, 이를 HTML(Hyper-Text Markup Language) 코드 해석하여 모니터에 디스플레이하는 웹브라우저(browser) 프로그램 및 컴퓨터 시스템을 전체적으로 관리, 제어하는 운영 체제(OS : Operating System) 프로그램을 포함한다.In addition, the above work terminal (300) includes, as a typical system component, a web browser program that calls up a web page based on a URL (Uniform Resource Locator), interprets the HTML (Hyper-Text Markup Language) code, and displays it on a monitor, and an operating system (OS) program that manages and controls the computer system as a whole.
이 같은 작업 단말기(300)는 정보통신망에 접속하기 위한 통신부(311), 키보드나 마우스와 같은 입력 장치인 입력부(330), 모니터와 같은 디스플레이 장치인 표시부(340), 디지털 데이터를 저장하는 디스크 드라이브나 메모리와 같은 저장매체인 저장부(350), 그리고 현장 작업자가 현장 상황에 대한 이해와 경험을 토대로 손쉽게 딥러닝과 머신러닝 알고리즘 모델을 생성하고 학습시켜 현장 장비의 운영 데이터와 연동시킬 수 있으며 학습된 모델의 분석 결과에 따라 정확한 장비 관리 및 예지보전 결과를 얻을 수 있도록 제공되는 장비관리 구동 도구(360) 및 이들을 제어하기 위한 제어부(310)를 포함하여 구성될 수 있다.Such a work terminal (300) may be configured to include a communication unit (311) for connecting to an information and communication network, an input unit (330) which is an input device such as a keyboard or a mouse, a display unit (340) which is a display device such as a monitor, a storage unit (350) which is a storage medium such as a disk drive or memory for storing digital data, and an equipment management operation tool (360) which is provided so that a field worker can easily create and train a deep learning and machine learning algorithm model based on his or her understanding and experience of the field situation and link it with the operation data of field equipment, and obtain accurate equipment management and predictive maintenance results based on the analysis results of the trained model, and a control unit (310) for controlling them.
상기 장비관리 구동 도구(360)는 작업 단말기(300)의 저장부(350)에 설치되어 구동될 수 있으나, 정보통신망을 통해 접속된 운영 서버(400)가 웹상에서 제공하도록 구성될 수도 있다. 장비 관리 및 예지보전 구동에 사용되는 데이터나 그 결과물 또한 작업 단말기(300)의 저장부(350)뿐 아니라 운영 서버(400) 측 스토리지에 저장되어 관리되거나, 그로부터 액세스될 수 있다.The above equipment management operation tool (360) may be installed and operated in the storage unit (350) of the work terminal (300), but may also be configured to be provided on the web by an operation server (400) connected via an information and communication network. Data used for equipment management and predictive maintenance operation or the results thereof may also be stored and managed in the storage unit (350) of the work terminal (300) as well as in the storage of the operation server (400), or may be accessed therefrom.
도 3을 참조하여 상기 장비관리 구동 도구(360)에 대해 상세히 설명하기로 한다.The equipment management driving tool (360) will be described in detail with reference to FIG. 3.
먼저 장비관리 구동 도구(360)는 자사 장비의 상태, 배치, 설정 등을 가장 잘 알고 있는 현장 작업자가 앱을 구동하여 현장 디바이스의 상태에 맞춰 알고리즘의 설계, 학습 및 어플리케이션까지 모든 과정을 직접 수행할 수 있도록, 장비 관리 및 예지보전의 수행을 위한 작업자의 초기 디자이너 모델을 생성하는 디자이너 모듈(361), 상기 디자이너 모듈(361)에서 생성된 작업자의 디자이너 모델을 학습시켜 학습된 트레인드 모델을 생성하는 트레이닝 모듈(363), 상기 트레이닝 모듈(363)에서 생성된 작업자의 트레인드 모델에 실시간 디바이스 데이터를 연동시켜 장비 관리 및 예지보전을 수행하는 어플리케이션 모듈(365)을 포함하여 구성될 수 있다.First, the equipment management driving tool (360) can be configured to include a designer module (361) that creates an initial designer model of a worker for performing equipment management and predictive maintenance so that a field worker who knows the status, arrangement, settings, etc. of the company's equipment best can run the app and directly perform all processes from designing, learning, and applying an algorithm according to the status of the field device, a training module (363) that trains the designer model of the worker created in the designer module (361) to create a trained model, and an application module (365) that performs equipment management and predictive maintenance by linking real-time device data to the trained model of the worker created in the training module (363).
또한 장비관리 구동 도구(360)는 알고리즘을 설계하고 학습시키며 어플리케이션시키는 등의 프로그래밍 작업이 익숙치 않은 현장 작업자의 앱 작업을 지원할 수 있도록, 현장 작업자가 수행한 단계별 작업 중간결과물을 운영 서버(400)로 전송하고 이에 대응해 운영 서버(400)측의 관리자 파트에서 변경/수정/삭제/수정되는 작업 지원결과물을 수신해 기존 작업 중간결과물에 반영하는 모델 관리부(362), 트레이닝 관리부(364), 어플리케이션 관리부(366) 및 유저 관리부(367)를 더 포함하여 구성될 수 있다.In addition, the equipment management driving tool (360) can be configured to support the app work of field workers who are not familiar with programming work such as designing, training, and applying algorithms, by transmitting the intermediate results of the step-by-step work performed by the field worker to the operation server (400) and, in response, receiving the work support results that are changed/modified/deleted/modified in the management part of the operation server (400) and reflecting them in the existing intermediate results of the work, including a model management unit (362), a training management unit (364), an application management unit (366), and a user management unit (367).
상기 모델 관리부(362)는 현장 작업자가 설계하여 생성한 디자이너 모델을 작업 중간결과물로서 운영 서버(400)로 전송하고, 운영 서버(400)측에서 전문적인 관리자가 모델 및 가중치를 변경/수정/삭제/추가한 디자이너 모델을 작업 지원결과물로 수신하고 상기 디자이너 모듈(361)로 전달해 기존 디자이너 모델에 반영하게 된다. 이에 따라 현장 작업자는 고도의 알고리즘 지식과 프로그래밍 노하우가 없더라도 현장 상황이 반영되면서도 수준 높은 성능의 디자이너 모델을 완성할 수 있게 될 것이다.The above model management unit (362) transmits the designer model designed and created by the field worker to the operation server (400) as an intermediate work result, and the operation server (400) receives the designer model with the model and weights changed/modified/deleted/added by a professional manager as a work support result and transmits it to the designer module (361) to be reflected in the existing designer model. Accordingly, the field worker will be able to complete a designer model with high performance while reflecting the field situation even without advanced algorithm knowledge and programming know-how.
상기 트레이닝 관리부(364)는 알고리즘 학습의 절차에 익숙치 않은 현장 작업자가 학습시킬 디자이너 모델의 학습 과정을 운영 서버(400)로부터 지원받을 수 있게 한다. 상기 트레이닝 관리부(364)는 현장 작업자의 요청에 따라 작업 중간결과물로서 디자이너 모델을 운영 서버(400)로 전송하고, 로컬이 아닌 운영 서버(400)측에서 디자이너 모델을 학습시켜 전송하는 트레인드 모델을 작업 지원결과물로 수신하고 상기 트레이닝 모듈(363)로 전달해 트레인드 모델에 반영하게 된다. 이에 따라 현장 작업자는 고도의 알고리즘 학습의 절차를 알지 못하더라도 고도로 학습된 트레인드 모델을 완성할 수 있게 될 것이다.The above training management unit (364) enables a field worker who is not familiar with the procedure of algorithm learning to receive support from the operation server (400) for the learning process of a designer model to be trained. The training management unit (364) transmits a designer model to the operation server (400) as an intermediate result of a task at the request of the field worker, and receives a trained model that is trained and transmitted on the operation server (400) side, not locally, as a task support result and transmits it to the training module (363) to be reflected in the trained model. Accordingly, a field worker will be able to complete a highly trained trained model even if he or she is not familiar with the procedure of advanced algorithm learning.
또한 상기 트레이닝 관리부(364)는 현장 작업자의 요청에 따라 운영 서버(400)의 학습 절차 관리하에 로컬에서 디자이너 모델을 학습시킬 수 있다. 이때 데이터 학습은 운영 서버(400)측의 관리자에 의해 설정된 일정(시간과 주기)에 따라 운영 서버(400)의 제어하에 작업 단말기(300)의 트레이닝 모듈(363)에서 이루어지게 될 것이다.In addition, the training management unit (364) can locally train the designer model under the learning procedure management of the operation server (400) at the request of the field worker. At this time, data learning will be performed in the training module (363) of the work terminal (300) under the control of the operation server (400) according to a schedule (time and cycle) set by the administrator of the operation server (400).
상기 어플리케이션 관리부(366)는 현장 작업자의 요청에 따른 운영 서버(400)측의 스케줄 지정에 따라 트레인드 모델의 로컬 어플리케이션 과정을 제어받게 된다. 여기서 어플리케이션 관리부(366)는 현장 작업자의 요청에 따라 작업 중간결과물로서 트레인드 모델 및 현장 스케줄 정보를 운영 서버(400)로 전송하고, 운영 서버(400)측에서 모델 운영 스케줄, 정확도, 신규 가중치 등을 작업 지원결과물로 수신하고 어플리케이션 모듈(365)로 전달해 어플리케이션에 배포하게 된다.The above application management unit (366) controls the local application process of the trained model according to the schedule specified by the operation server (400) at the request of the field worker. Here, the application management unit (366) transmits the trained model and field schedule information to the operation server (400) as an intermediate result of work at the request of the field worker, and receives the model operation schedule, accuracy, new weights, etc. as a result of work support from the operation server (400) and transmits them to the application module (365) for distribution to the application.
상기 유저 관리부(367)는 운영 서버(400)측에서 작업자 유저의 추가/제거 등의 과정을 확인하고 유저별 권한을 확인할 수 있도록 정보를 제공하며 어플리케이션의 운용 이력 정보(학습 결과, 시간 및 실행자)를 운영 서버(400)에서 확인할 수 있도록 제공하게 된다.The above user management unit (367) provides information so that the operation server (400) can check the process of adding/removing worker users, etc., and check the authority of each user, and provides the operation history information of the application (learning results, time, and executor) so that it can be checked on the operation server (400).
먼저 상기 디자이너 모듈(361)은 전문 프로그래밍 지식이 없는 작업자가 쉽고 간편하게 딥러닝과 머신러닝 알고리즘 모델을 제작 및 설정할 수 있는 디자이너 툴 화면(DT)을 제공하며, 이 디자이너 툴 화면(DT)은 작업자가 드래그 앤 드롭 방식으로 알고리즘 모델을 구성하는 레이어들을 배치해 쉽고 효율적으로 디자이너 모델을 직접 디자인할 수 있도록 한다.First, the designer module (361) provides a designer tool screen (DT) that allows workers without specialized programming knowledge to easily and conveniently create and set up deep learning and machine learning algorithm models. This designer tool screen (DT) allows workers to easily and efficiently design designer models by arranging layers that constitute an algorithm model using a drag-and-drop method.
인공지능은 사고나 학습 등 인간이 가진 능력을 컴퓨터를 통해 구현하는 기술이다. 인공지능은 일반 컴퓨터의 처리 방식과는 다르게, 사람이 원하는 결과 데이터를 제공하면 인공지능이 알아서 처리 방법을 만들어 사람에게 처리 결과를 보여주게 된다.Artificial intelligence is a technology that embodies human abilities, such as thinking and learning, through computers. Unlike conventional computers, AI processes data when a person provides it with the desired outcome. The AI then automatically creates a processing method and presents the resulting data to the person.
그리고 인공지능은 머신러닝과 딥러닝으로 분류할 수 있으며, 머신러닝과 딥러닝의 가장 큰 차이점은 학습할 데이터에 있다. 머신러닝은 학습에 필요한 특징(feature)을 사람이 직접 제공해야 하지만, 딥러닝은 스스로 특징을 추출해서 데이터 학습에 적용할 수 있다.Artificial intelligence can be categorized into machine learning and deep learning, and the biggest difference between them lies in the data they use for learning. While machine learning requires a human to directly provide the features necessary for learning, deep learning can extract features on its own and apply them to data learning.
딥러닝은 머신러닝의 한 분야로, 뇌의 뉴런과 유사한 정보 입력층 계층을 활용해 데이터를 학습하게 된다. 딥러닝은 굉장한 양의 연산을 필요로 하기 때문에 하드웨어가 발달하지 않은 초기에는 어려웠지만 기술이 발달함에 따라 슈퍼컴퓨터를 기반으로 이러한 문제점을 해결했으며, 병렬 연산에 최적화된 GPU가 개발되면서부터 딥러닝 기술이 비약적으로 발전하게 되었다.Deep learning is a branch of machine learning that utilizes a layer of information input, similar to the neurons in the brain, to learn from data. Deep learning initially presented challenges due to its enormous computational demands, particularly when hardware was still underdeveloped. However, as technology advanced, these challenges were overcome with the advent of supercomputers. The development of GPUs optimized for parallel computing led to rapid advancements in deep learning technology.
일반적으로 딥러닝은 ANN(Artificial Neural Network)에서 레이어의 숫자를 확장시킨 형태로 볼 수 있다. ANN에서 인간의 두뇌에서 뉴런들이 작동하는 방식으로 작동한다고 하여 인공신경망(ANN)이라고 부르고 있다. NN(신경망)은 인간의 두뇌와 같이 구조화되어 있으며, 인공적인 신경들로 구성되어 있다. 이것들은 노드라고 부르며, 이러한 노드들은 아래에서 설명되는 세 개의 레이어에서 서로 쌓여 있다.Deep learning can generally be viewed as an expanded form of an artificial neural network (ANN) with an expanded number of layers. Because ANNs function in a manner similar to the neurons in the human brain, they are called artificial neural networks (ANNs). ANNs are structured like the human brain and consist of artificial neurons, called nodes, stacked on top of each other in the three layers described below.
입력 레이어(Input layer) : 입력 레이어는 입력 데이터를 수신하기위한 모델의 첫번째 레이어이며 뉴런 네트워크 레이어의 한 유형이다.Input layer: The input layer is the first layer of the model to receive input data and is a type of neural network layer.
출력 레이어(Output layer) : 이름에서 알 수 있듯이 출력은 뉴런 네트워크모델의 출력을 생성하는 하나의 레이어이거나 모델의 마지막 레이어에 배치된다.Output layer: As the name suggests, the output is a single layer that produces the output of the neural network model or is placed in the last layer of the model.
히든 레이어(Hidden layer) : 입력 레이어 및 외부 레이어를 제외하고 나머지 레이어는 거의 숨겨진 레이어이다. 이 숨겨진 레이어는 들어오는 데이터에 대해 특정 작업을 수행하고 생성된 출력을 다음 레이어로 전달하는 레이어이다.Hidden layer: Except for the input layer and the outer layer, most of the remaining layers are hidden layers. These hidden layers perform specific operations on incoming data and pass the generated output to the next layer.
데이터는 각 노드에 인풋의 형태로 정보를 제공한다. 노드는 인풋을 랜덤 가중치(Weight)와 곱하게 되고, 이렇게 곱해진 값들에 바이어스(Bias)를 더하게 된다. 이러한 기본 네트워크 구조에서 중간에 있는 히든 레이어 부분이 확장될 수록 또는 2개 이상의 히든 레이어를 가지게 되면 그것을 딥러닝이라고 부른다.Data provides information to each node in the form of inputs. Nodes multiply the inputs by random weights and then add a bias to these multiplied values. In this basic network structure, when the hidden layer in the middle expands or has two or more hidden layers, it is called deep learning.
이 같이 딥러닝을 수행하는 신경망 알고리즘 모델은 C언어, 파이썬, 자바 등과 같은 복잡한 프로그래밍 언어로 작성되기 때문에 전문적인 프로그래머가 아닌 일반인은 신경망 알고리즘 모델을 만들 수 없었다.Because neural network algorithm models that perform deep learning like this are written in complex programming languages such as C, Python, and Java, ordinary people who are not professional programmers could not create neural network algorithm models.
실제 본 발명이 적용되는 장비 운영 데이터를 통한 장비 관리 및 예지보전의 필요성과 그 대상이 되는 현장의 설비 디바이스들을 가장 잘 이해하고 있는 사람은 당연 현장 작업자이지만, 현장 작업자는 전문적인 프로그래머가 아니기 때문에 장비 관리 및 예지보전을 위한 신경망 알고리즘 모델의 작성에 조언자가 될 뿐 주된 프로그래밍 작업은 전문 프로그래머가 주도적으로 실시하게 된다. 이 같이 현장과 동떨어진 프로그래밍 상황은 결국 현장 장비 관리 및 예지보전 시스템의 효율성과 필요성을 떨어뜨리게 주된 원인이 되고 있다.The field workers, of course, best understand the necessity of equipment management and predictive maintenance through equipment operation data to which the present invention is applied, as well as the target field equipment devices. However, since field workers are not professional programmers, they only provide advice on developing neural network algorithm models for equipment management and predictive maintenance, leaving the main programming work to professional programmers. This disconnected programming situation ultimately reduces the efficiency and necessity of field equipment management and predictive maintenance systems.
본 발명에서는 현장 작업자가 쉽고 간편하게 알고리즘 모델을 제작 및 설정할 수 있는 디자이너 툴 화면(DT)을 상기 디자이너 모듈(361)이 작업자의 디자이너 모델 작업 요청에 따라 제공하며, 이 디자이너 툴 화면(DT)은 작업자가 드래그 앤 드롭 방식으로 알고리즘 모델을 구성하는 레이어들을 배치해 쉽고 효율적으로 디자이너 모델을 직접 디자인할 수 있도록 한다는데 그 특징이 있다. 따라서 현장 작업자가 현장 상황에 대한 이해와 경험을 토대로 손쉽게 알고리즘 모델을 생성하고 학습시켜 현장 장비의 운영 데이터와 연동시킬 수 있게 된다.In the present invention, the designer module (361) provides a designer tool screen (DT) that allows field workers to easily and conveniently create and set up an algorithm model according to the worker's designer model work request, and this designer tool screen (DT) is characterized in that it allows the worker to easily and efficiently design the designer model by arranging layers that constitute the algorithm model using a drag-and-drop method. Accordingly, field workers can easily create and train an algorithm model based on their understanding and experience of the field situation and link it with the operational data of field equipment.
상기 디자이너 모듈(361)이 제공하는 디자이너 툴 화면(DT)에는 도 4에 도시된 바와 같이 개체 선택창(DT-1), 모델 시각화창(DT-2), 개체 설정창(DT-3), 로깅 확인창(DT-4), 보기 제어창(DT-5), 모델 작업창(DT-6)으로 구성되며, 작업자가 목적, 현장에 설치되어 있는 장비, 현장 조건 등에 따라 적절한 알고리즘 모델을 만들 수 있도록 제공된다.The designer tool screen (DT) provided by the designer module (361) above is composed of an object selection window (DT-1), a model visualization window (DT-2), an object setting window (DT-3), a logging confirmation window (DT-4), a view control window (DT-5), and a model work window (DT-6), as shown in FIG. 4, and is provided so that a worker can create an appropriate algorithm model according to the purpose, equipment installed on site, on-site conditions, etc.
디자이너 툴 화면(DT)은 전체적으로 수평 길이가 긴 직사각형으로 형성된다.The designer tool screen (DT) is formed as a long horizontal rectangle.
그리고 디자이너 툴 화면(DT)의 중심 부위에는 디자인되고 있는 디자이너 모델을 작업자가 시각적으로 용이하게 확인할 수 있도록 하는 정사각형의 모델 시각화 창(DT-2)이 배치된다.And in the center of the designer tool screen (DT), a square model visualization window (DT-2) is placed so that the worker can easily visually check the designer model being designed.
상기 모델 시각화 창(DT-2)의 좌측 상단부에는 디자이너 모델의 디자인에 필요한 각종 레이어 및 함수의 개체를 종류별로 모아 각 열에 리스트화하는 개체 선택창(DT-1)이 배치된다.In the upper left part of the above model visualization window (DT-2), an object selection window (DT-1) is placed, which lists the objects of various layers and functions required for the design of the designer model by type in each column.
상기 개체 선택창(DT-1)은 디자이너 모델을 디자인하는데 사용되는 활성화 함수(Activation Function), 컨볼루션 레이어(Convolution Layer), 코어 레이어(Core Layer), 풀링 레이어(Pooling Layer) 및 반복 레이어(Recurrent Layer)가 개체 그룹으로서 각 열에 리스트화되며, 작업자의 개체 그룹 선택에 따라 해당 개체 그룹에 속한 세부 개체들을 개체 그룹의 하부 열에 리스트화하게 구조화되어 있다. 이 같은 레이어는 일반적으로 가중치 입력 데이터를 수신 후 활성화 함수(비선형 함수)로 변환하고 그 값을 다음 레이어의 출력으로 전달하기 위하여 사각형(컨테이너)로 이미지화 된다.The above object selection window (DT-1) is structured so that the activation function, convolution layer, core layer, pooling layer, and recurrent layer used to design the designer model are listed in each column as an object group, and the detailed objects belonging to the object group are listed in a sub-column of the object group according to the operator's selection of the object group. Such a layer is generally imaged as a rectangle (container) to receive weight input data, convert it into an activation function (non-linear function), and pass the value as the output of the next layer.
상기 활성화 함수는 뉴런 네트워크 활성화 함수를 구현하며 딥러닝과 머신러닝에서 중요한 역할을 한다. 활성화 함수는 뉴런 네트워트 결과물을 결정하는 수학 방정식이다. 동일한 입력의 경우 다른 활성화 함수가 다른 출력으로 생성된다. 활성화 함수는 현재 뉴런을 공급하는 입력과 다음 레이어로 가는 출력 사이의 수학적 "게이트"로 설명될 수 있다.The above activation function implements the activation function of a neural network and plays a crucial role in deep learning and machine learning. An activation function is a mathematical equation that determines the output of a neural network. For the same input, different activation functions produce different outputs. An activation function can be described as a mathematical "gate" between the input feeding the current neuron and the output going to the next layer.
상기 활성화 함수의 개체 그룹에는 'Linear', 'Softmax', 'Elu'(Exponent Linear Unit), 'Selu'(Scaled Exponetial Unit), 'Softplus', 'Soft Sign', 'ReLU'(Rectified Linear Unit), 'Tanh', 'Sigmoid', 'Hard Sigmoid', 'Exponential', 'Leaky ReLU'(Rectified Linear Unit), 'ReLU'(Parametric ReLU), 'Threshold ReLu' 와 같은 함수 레이어의 세부 파라미터 속성들이 포함되며, 이 파라미터 속성은 후술되는 개체 설정창(DT-3)에서 선택될 수 있다.The object group of the above activation function includes detailed parameter properties of the function layer such as 'Linear', 'Softmax', 'Elu' (Exponent Linear Unit), 'Selu' (Scaled Exponential Unit), 'Softplus', 'Soft Sign', 'ReLU' (Rectified Linear Unit), 'Tanh', 'Sigmoid', 'Hard Sigmoid', 'Exponential', 'Leaky ReLU' (Rectified Linear Unit), 'ReLU' (Parametric ReLU), and 'Threshold ReLu', and these parameter properties can be selected in the object setting window (DT-3) described later.
상기 컨볼루션 레이어의 개체 그룹에는 'CNN1D Layer', 'CNN2D Layer', 'CNN3D Layer' 와 같은 레이어의 세부 개체들이 포함된다.The object group of the above convolution layer includes detailed objects of layers such as 'CNN1D Layer', 'CNN2D Layer', and 'CNN3D Layer'.
이 컨볼루션 레이어는 두 개의 함수 또는 정보 조각을 혼합하는 방법에 대한 규칙을 설명하는 수학적 컨볼루션 작업을 구현한다. 입력 데이터(또는 피처 맵)와 컨볼루션 커널이 함께 혼합(컨볼루션 작업)하여 다른 유형의 피처 맵(변형된 피처 맵)을 형성한다. 이어서 컨볼루션 커널은 필터로 간주될 수 있으며, 컨볼루션을 계산하는 것은 특정 종류의 정보(유용한 정보)에 대한 피처 맵을 포함하는 출력 데이터(필터링된 데이터)를 얻기 위해 입력 데이터에 필터를 적용하는 것과 유사하다.This convolution layer implements the mathematical convolution operation, which describes the rules for blending two functions or pieces of information. The input data (or feature map) and the convolution kernel are blended together (the convolution operation) to form a different type of feature map (a transformed feature map). The convolution kernel can then be thought of as a filter, and computing the convolution is similar to applying a filter to the input data to obtain output data (filtered data) that contains a feature map for a specific type of information (useful information).
상기 'CNN1D Layer'는 일반적으로 1차원 데이터에서 피처를 추출하는데 사용되는 유형의 레이어이다. 'CNN1D Layer'는 데이터를 부드럽게하거나 노이즈를 줄이는데 사용된다.The above 'CNN1D Layer' is a type of layer generally used to extract features from one-dimensional data. 'CNN1D Layer' is used to smooth data or reduce noise.
상기 'CNN2D Layer'는 일반적으로 이미지와 같은 2차원 데이터에서 피쳐를 추출하는 데 사용되는 레이어이다. 'CNN2D Layer'는 이미지의 특성을 학습하는 데 도움이되는 흐림, 선명함, 모서리 감지, 노이즈 감소 또는 기타 작업에 사용된다.The above 'CNN2D Layer' is a layer typically used to extract features from two-dimensional data such as images. The 'CNN2D Layer' is used for blurring, sharpening, edge detection, noise reduction, and other tasks that help learn the characteristics of an image.
상기 'CNN3D Layer'는 일반적으로 이미지 시퀀스와 같은 3 차원 데이터에서 피쳐를 추출하는 데 사용되는 레이어이다. 'CNN1D Layer', 'CNN2D Layer'와 유사하게 'CNN3D Layer'는 기계가 피쳐 맵(컨볼루션 연산의 출력)을 통해 표현되는 입력 데이터의 특성을 학습하는데 도움을 준다. 실제로 입력 데이터에서 슬라이딩 방식의 윈도우(컨볼루션 커널)와 연관되어 있는 컨볼루션 레이어의 이름이다. 입력 데이터의 차원에 영향을 받지 않는 1D, 2D 또는 3D의 그림으로 보여진다.The above 'CNN3D Layer' is a layer typically used to extract features from three-dimensional data, such as image sequences. Similar to the 'CNN1D Layer' and 'CNN2D Layer', the 'CNN3D Layer' helps the machine learn the characteristics of the input data represented through the feature map (the output of the convolution operation). In fact, it is the name of a convolution layer that is associated with a sliding window (convolution kernel) on the input data. It is displayed as a 1D, 2D, or 3D picture, regardless of the dimensionality of the input data.
상기 코어 레이어의 개체 그룹에는 'Batch Normalize Layer', 'Dropout Layer', 'FC(Fully Connected) Layer', 'Flatten Layer', 'Permute Layer', 'Repeat Layer', 'Reshape Layer' 와 같은 레이어의 세부 개체들이 포함된다.The object group of the above core layer includes detailed objects of layers such as 'Batch Normalize Layer', 'Dropout Layer', 'FC (Fully Connected) Layer', 'Flatten Layer', 'Permute Layer', 'Repeat Layer', and 'Reshape Layer'.
상기 'Batch Normalize Layer'에서 배치 정규화(Batch Normalize)란 각각의 배치에서 이전 레이어의 활성화를 정규화하는 것을 의미한다. 예를 들어 각 배치를 통해 평균 활성화를 0에 가깝게 유지하고 활성화 표준 편차를 1에 가깝게 유지하는 변환을 적용하는 것이다. 이는 레이어에 대한 입력 분포의 변화를 줄이기 위함이다.In the above "Batch Normalize Layer," batch normalization refers to normalizing the activations of the previous layer in each batch. For example, a transformation is applied across each batch to keep the average activation close to 0 and the standard deviation of the activations close to 1. This is to reduce variation in the input distribution for the layer.
상기 'Dropout Layer'는 작은 데이터 집합에 대해 복잡한 모델을 학습하면 과다한 현상이 발생할 수 있어 학습된 모델에서 성능이 저하된다. 그리고 'Dropout Layer'는 병렬로 상이한 아키텍처를 가진 많은 수의 뉴런 네트워크를 학습시키는 것으로 간주되는 정규화 방법을 구현하는 것이다.The above "Dropout Layer" can cause overfitting when training a complex model on a small data set, resulting in poor performance in the trained model. Furthermore, the "Dropout Layer" implements a regularization method that involves training a large number of neural networks with different architectures in parallel.
상기 'FC Layer'는 분류 또는 회귀를 위한 펜-얼티메이트 뉴런 네트워크 레이어다. "출력 = 활성화(점(입력, 커널) + 바이어스) 작업을 구현하는 것이다. 여기서 활성화는 활성화 인수로 전달된 요소별 활성화 함수이고, 커널은 레이어에 의해 생성된 가중치 행렬이며, 바이어스는 생성된 바이어스 벡터이다. 레이어로 완전히 연결된 레이어의 목적은 회선 또는 풀링 레이어의 결과를 가져와 위와 같은 기능을 사용하여 입력을 레이블로 분류하는 것이다.The above 'FC Layer' is a pen-ultimate neural network layer for classification or regression. It implements the operation "Output = Activation (Point (input, kernel) + Bias)", where Activation is the element-wise activation function passed as the activation argument, Kernel is the weight matrix generated by the layer, and Bias is the generated bias vector. The purpose of the fully connected layer is to take the result of the convolution or pooling layer and classify the input into a label using the above function.
상기 'Flatten Layer'는 일반적으로 뉴런 네트워크 기반의 분류기에서 'FC Layer'로 공급될 수 있는 벡터 형식을 2D 행렬 또는 피쳐 텐서로 전송하기 위해서 사용된다.The above 'Flatten Layer' is generally used to transfer a vector format that can be fed to the 'FC Layer' in a neural network-based classifier into a 2D matrix or feature tensor.
상기 'Permute Layer'는 주기 패턴에 따라 입력 치수를 변경하는 레이어이다.The above 'Permute Layer' is a layer that changes the input dimensions according to the periodic pattern.
상기 'Repeat Layer'는 지정된 축과 함께 지정된 시간에 입력 데이터를 반복하기위해 사용하는 레이어이다.The above 'Repeat Layer' is a layer used to repeat input data at a specified time along a specified axis.
상기 'Reshape Layer'는 입력 데이터의 크기를 변경하여 다음 레이어에 공급할 출력에 적합한 크기를 조정하는 레이어이다.The above 'Reshape Layer' is a layer that changes the size of the input data to adjust the size suitable for the output to be supplied to the next layer.
상기 풀링 레이어의 개체 그룹에는 'Average Pooling 1D Layer', 'Average Pooling 2D Layer', 'Average Pooling 3D Layer', 'Max Pooling 1D Layer', 'Max Pooling 2D Layer', 'Max Pooling 3D Layer', 'Min Pooling 1D Layer', 'Min Pooling 2D Layer', 'Min Pooling 3D Layer' 와 같은 레이어의 세부 개체들이 포함된다.The object group of the above pooling layer includes detailed objects of layers such as 'Average Pooling 1D Layer', 'Average Pooling 2D Layer', 'Average Pooling 3D Layer', 'Max Pooling 1D Layer', 'Max Pooling 2D Layer', 'Max Pooling 3D Layer', 'Min Pooling 1D Layer', 'Min Pooling 2D Layer', and 'Min Pooling 3D Layer'.
평균 풀링, 최대 풀링 및 최소 풀링은 3 가지 유형의 풀링 레이어이며 서로 다른 입력(1D, 2D, 3D)을 지원한다. 주목적은 표현의 공간적 크기를 줄임으로 네트워크에서 매개 변수와 계산을 해야하는 양을 줄이는 것이며, 풀링 레이어는 각 기능 맵에서 독립적으로 작동한다.Average pooling, max pooling, and min pooling are three types of pooling layers, each supporting different inputs (1D, 2D, and 3D). Their primary purpose is to reduce the number of parameters and computations required by the network by reducing the spatial size of the representation. Pooling layers operate independently on each feature map.
상기 'Average Pooling Layer(1D/2D/3D)'는 기능맵의 각 패치에 대한 평균값을 계산한 결과이다.The above 'Average Pooling Layer (1D/2D/3D)' is the result of calculating the average value for each patch of the feature map.
상기 'Max Pooling Layer(1D/2D/3D)'는 기능 맵에서 각 패치의 최대 값을 계산 한 결과이다.The above 'Max Pooling Layer (1D/2D/3D)' is the result of calculating the maximum value of each patch in the feature map.
상기 'Min Pooling Layer(1D/2D/3D)'는 기능 맵에서 각 패치의 최소값을 계산한 결과이다.The above 'Min Pooling Layer (1D/2D/3D)' is the result of calculating the minimum value of each patch in the feature map.
풀링 레이어는 기능맵을 다운 샘플링 할수 있는 방법을 제공한다. 출력 기능 맵은 입력 데이터의 기능 위치에 매우 민감하기 때문에 풀링 레이어는이 문제를 해결하기 위해 사용된다.Pooling layers provide a way to downsample feature maps. Because the output feature maps are highly sensitive to the location of features in the input data, pooling layers are used to address this issue.
상기 반복 레이어의 개체 그룹에는 'RNN(Recurrent Neural Network) GRU(Gated Recurrent Units) Layer', 'RNN(Recurrent Neural Network) LSTM(Long Short-Term Memory) Layer', 'RNN(Recurrent Neural Network) Vanila Layer' 와 같은 레이어의 세부 개체들이 포함된다.The object group of the above recurrent layer includes detailed objects of layers such as 'RNN (Recurrent Neural Network) GRU (Gated Recurrent Units) Layer', 'RNN (Recurrent Neural Network) LSTM (Long Short-Term Memory) Layer', and 'RNN (Recurrent Neural Network) Vanila Layer'.
반복 레이어는 LSTM, GRU 및 RNN 층을 구현하는 것이며, 이러한 레이어는 타임시리즈 데이터, 비디오(이미지 시퀀스), 사운드, 오디오, 문장 텍스트 와 같은 순차적 데이터의 경우 데이터를 모델링하는데 사용된다. 위 계층은 RNN Vanila계층, LSTM(Long Short-Term Memory) 계층 및 GRU(Gated Recurrent Units) 계층을 구현하기 위함이다.The recurrent layer implements LSTM, GRU, and RNN layers, which are used to model sequential data such as time series data, video (image sequences), sound, audio, and sentence text. The upper layer is intended to implement the RNN Vanilla layer, LSTM (Long Short-Term Memory) layer, and GRU (Gated Recurrent Units) layer.
상기 'RNN(Recurrent Neural Network) Vanila Layer'는 피드백 루프가 있는 표준 Recurrent Neural Network 레이어이다. 이 레이어를 통해 시간이 지남에 따라 메모리에 정보를 유지하는 데 도움이된다.The above 'RNN (Recurrent Neural Network) Vanilla Layer' is a standard Recurrent Neural Network layer with a feedback loop. This layer helps retain information in memory over time.
상기 'RNN(Recurrent Neural Network) LSTM(Long Short-Term Memory) Layer'는 표준 유닛 이외의 특수 유닛을 위해 사용되는 RNN 유형이다. LSTM에는 정보를 오랫동안 메모리에 유지할 수 있는 메모리셀이 있으며, LSTM은 새롭게 추가되는 게이트의 작동으로 발생될 수 있는 문제(없어지거나 사라짐)를 처리하는 데 도움이 된다.The above-mentioned "RNN (Recurrent Neural Network) LSTM (Long Short-Term Memory) Layer" is a type of RNN used for special units other than standard units. LSTMs have memory cells that can retain information in memory for long periods of time, and LSTMs help handle issues (such as loss or disappearance) that can arise from the operation of newly added gates.
상기 'RNN(Recurrent Neural Network) GRU(Gated Recurrent Units) Layer'는 LSTM과 비슷하지만 단순환 구조에 사용한다. 정보 흐름을 제어하는 게이트 세트가 포함되어 있다.The above 'RNN (Recurrent Neural Network) GRU (Gated Recurrent Units) Layer' is similar to LSTM, but uses a simple recurrent structure. It includes a set of gates that control the flow of information.
작업자는 마우스와 같은 입력부(330)를 통해 개체 선택창(DT-1)에서 개체 그룹과 세부 개체를 차례로 클릭하여 선택하고, 선택된 개체를 드래그 앤 드롭(drag & drop) 방식으로 이동시키거나 더블클릭해서 상기 모델 시각화 창(DT-2)에 배치시킴으로써 디자이너 모델의 생성할 수 있게 된다.The worker can create a designer model by sequentially clicking on object groups and detailed objects in the object selection window (DT-1) using an input unit (330) such as a mouse, and then moving the selected objects by dragging and dropping them or placing them in the model visualization window (DT-2) by double-clicking them.
특히 작업자는 복잡한 프로그래밍 언어를 깊이 있게 이해하지 못하더라도 좌측 상단부의 개체 선택창(DT-1)에서 디자이너 모델의 구성에 필요한 각종 레이어 및 함수의 개체를 클릭해 선택하고, 선택된 개체를 시야의 중심에 있는 모델 시각화 창(DT-2)에 가져다 놓는 직관적인 동작만으로 알고리즘의 레이어 배치가 가능해 쉽고 간편하게 알고리즘 모델을 디자인할 수 있게 된다.In particular, even if the worker does not have a deep understanding of complex programming languages, he or she can design an algorithm model easily and conveniently by intuitively selecting the objects of various layers and functions required for configuring the designer model in the object selection window (DT-1) at the upper left and placing the selected objects in the model visualization window (DT-2) at the center of the field of view.
여기에서 상기 개체 선택창(DT-1)에서 제공하는 레이어(L)는 도 5에 도시된 바와 같은 직관적인 구조를 가진다.Here, the layer (L) provided in the object selection window (DT-1) has an intuitive structure as illustrated in Fig. 5.
도 5의 (a)를 참조하면, 이 같은 레이어(L)는 박스 형태의 레이어 블록(L-1) 내에 레이어 이름 영역(L-2), 인풋 버튼(L-3), 아웃풋 버튼(L-4), ID 영역(L-5) 및 삭제 버튼(L-6)을 가진다.Referring to (a) of Fig. 5, such a layer (L) has a layer name area (L-2), an input button (L-3), an output button (L-4), an ID area (L-5), and a delete button (L-6) within a box-shaped layer block (L-1).
상기 레이어 블록(L-1)은 활성 모듈로 표현되어 내부에 이름, ID, 입력, 출력, 등의 몇 가지 정보를 제공한다. 또한 작업자는 하이라이트와 상호 작용하고 레이어의 전체 이름을 보여주며, 마우스를 사용하여 삭제할 수 있다.The above layer block (L-1) is represented as an active module, providing several pieces of information internally, such as a name, ID, inputs, and outputs. Additionally, the operator can interact with the highlight, which displays the full name of the layer, and delete it using the mouse.
상기 레이어 이름 영역(L-2)은 레이어 블록(L-1)의 상부에 배치되며, 해당 레이어의 약어를 표시하게 된다.The above layer name area (L-2) is placed on top of the layer block (L-1) and displays the abbreviation of the corresponding layer.
상기 인풋 버튼(L-3)은 레이어 블록(L-1)의 상측단 중심 부위와 좌측단 중심 부위에 각각 배치되며, 이 같은 입력은 내부로 향하는 화살표로 표시된다.The above input buttons (L-3) are positioned at the center of the upper end and the center of the left end of the layer block (L-1), respectively, and such inputs are indicated by arrows pointing inward.
상기 아웃풋 버튼(L-4)은 레이어 블록(L-1)의 하측단 중심 부위와 우측단 중심 부위에 각각 배치되며, 이 같은 출력은 외부로 향하는 화살표로 표시된다.The above output buttons (L-4) are placed at the center of the lower end and the center of the right end of the layer block (L-1), respectively, and such output is indicated by an arrow pointing outward.
상기 ID 영역(L-5)은 레이어 블록(L-1)의 하부에 배치되며, 해당 레이어의 알고리즘 내 레이어 순서를 표시하게 된다.The above ID area (L-5) is placed at the bottom of the layer block (L-1) and indicates the layer order within the algorithm of the corresponding layer.
상기 삭제 버튼(L-6)은 상기 ID 영역(L-5)의 우측에 배치되며, 작업자가 마우스로 클릭시 현재 레이어를 삭제할 수 있도록 제공되며, 트리거 및 전체 층을 삭제할 수 있다.The above delete button (L-6) is located on the right side of the ID area (L-5) and is provided so that the operator can delete the current layer by clicking with the mouse, and can delete the trigger and the entire layer.
또한 도 5의 (b)를 참조하면, 커넥션 라인(L-7)으로 두 레이어 간의 출력과 입력을 연결할 수 있다. 이 같은 커넥션 라인(L-7)은 디자인되는 디자이너 모델에서 데이터의 흐름 방향을 결정하게 된다. 작업자는 상기 모델 시각화 창(DT-2)에 배치되는 레이어들에 대해 아웃풋 버튼(L-4)과 인풋 버튼(L-3)을 선택해 커넥션 라인(L-7)으로 연결함으로써 디자이너 모델에서 레이어 간 데이터의 흐름 방향을 결정하게 된다.Also, referring to (b) of Fig. 5, the output and input between two layers can be connected with a connection line (L-7). This connection line (L-7) determines the direction of data flow in the designer model being designed. The operator determines the direction of data flow between layers in the designer model by selecting the output button (L-4) and the input button (L-3) for the layers arranged in the model visualization window (DT-2) and connecting them with the connection line (L-7).
상기 모델 시각화 창(DT-2)으로 이동된 레이어 블록(L-1)들은 붉은색 화살표 선으로 다른 레이어 블록(L-1)과 연결시킬 수 있으며 이러한 연결은 뉴런 네트워크의 데이터 흐름을 보여준다. 순차적인 알고리즘 모델에서 입력 데이터는 레이어 블록(L-1)에 공급되고 다음 레이어 블록(L-1)으로 전송하도록 변환이 된다. 이 같은 레이어 블록(L-1) 간 입력과 출력의 연결은 상술한 커넥션 라인(L-7)으로 두 레이어 블록(L-1)의 아웃풋 버튼(L-4)과 인풋 버튼(L-3)을 선택해 연결함으로써 이루어지게 되며, 연결을 하게 되면 화살표 모양이 커넥션 라인(L-7)에 자동으로 생성되어 연결 상황을 작업자가 시각적으로 확인할 수 있게 된다.The layer blocks (L-1) moved to the above model visualization window (DT-2) can be connected to other layer blocks (L-1) with red arrow lines, and these connections show the data flow of the neural network. In the sequential algorithm model, input data is supplied to the layer block (L-1) and converted to be transmitted to the next layer block (L-1). The input and output connection between such layer blocks (L-1) is made by selecting and connecting the output button (L-4) and the input button (L-3) of the two layer blocks (L-1) with the above-described connection line (L-7). When the connection is made, an arrow shape is automatically created on the connection line (L-7), so that the operator can visually check the connection status.
이 같은 모델 시각화 창(DT-2)은 레이어 블록, 레이어 블록의 순서 및 레이어 블록 간의 연결 방식, 내부 매개 변수의 정렬을 통해 뉴런 네트워크의 아키텍처만을 반영한다This model visualization window (DT-2) only reflects the architecture of the neural network through layer blocks, the order of layer blocks, the connection method between layer blocks, and the alignment of internal parameters.
상기 모델 시각화 창(DT-2)의 우측에는 중앙의 모델 시각화 창(DT-2)에 알고리즘의 순서에 따라 배치된 각 레이어들의 모든 파라미터(Parameter)를 구성 및 설정할 수 있는 개체 설정창(DT-3)이 배치된다.On the right side of the above model visualization window (DT-2), an object setting window (DT-3) is arranged to configure and set all parameters of each layer arranged in the order of the algorithm in the central model visualization window (DT-2).
여기에서 파라미터는 각 뉴런 네트워크 레이어의 매개 변수 또는 레이어 수, 각 레이어의 뉴런 수, 레이어 유형, 커널 크기, 활성화 함수 유형, 초기화 유형, 학습 속도, 에폭(epochs) 수와 같은 학습 알고리즘 매개 변수 등을 의미한다.Here, parameters refer to the parameters of each neural network layer or learning algorithm parameters such as the number of layers, the number of neurons in each layer, layer type, kernel size, activation function type, initialization type, learning rate, and number of epochs.
작업자가 상기 모델 시각화 창(DT-2)에 배치된 레이어 및 함수 중 하나를 선택하면, 이에 상응하여 상기 개체 설정창(DT-3)에는 모델 시각화 창(DT-2)에서 선택된 레이어나 함수의 파라미터들을 설정할 수 있도록 파라미터별로 수 입력칸 또는 드롭다운 메뉴가 배치된다. 해당 파라미터별 드롭다운 메뉴에는 대표 파라미터 속성이 그대로 노출되며 화살표 버튼을 클릭시 활성화되어 아래로 다양한 선택 파라미터 속성들이 펼쳐지는 방식이다. 이 드롭다운 메뉴로 파라미터별로 대표 파라미터 속성을 축약해 보여주고 다른 파라미터 속성을 선택할 수 있도록 함으로써 초기 화면에서 보이는 메뉴의 영역을 좀 더 줄일 수 있고 하나의 레이어나 함수가 많은 수의 파라미터를 가지더라도 제한된 개체 설정창(DT-3)의 영역 내에서 리스트화할 수 있게 될 것이며, 작업자는 드롭다운 메뉴를 클릭하고 파라미터 속성을 선택하는 과정에서 직관적으로 파라미터의 의미를 이해할 수 있게 될 것이다.When the operator selects one of the layers and functions arranged in the model visualization window (DT-2), a number input field or drop-down menu is arranged for each parameter in the object setting window (DT-3) so that the parameters of the layer or function selected in the model visualization window (DT-2) can be set accordingly. The representative parameter properties are directly exposed in the drop-down menu for each parameter, and when the arrow button is clicked, it is activated and various selected parameter properties are expanded below. By abbreviating the representative parameter properties for each parameter with this drop-down menu and allowing the selection of other parameter properties, the area of the menu visible on the initial screen can be further reduced, and even if one layer or function has a large number of parameters, they can be listed within the limited area of the object setting window (DT-3). In addition, the operator can intuitively understand the meaning of the parameters in the process of clicking the drop-down menu and selecting the parameter properties.
먼저 도 6을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 활성화 함수가 선택되면, 개체 설정창(DT-3)에는 드롭다운 메뉴의 대표 파라미터 속성으로 'Linear' 가 표시되고 활성화시 아래로 'Softmax', 'Elu'(Exponent Linear Unit), 'Selu'(Scaled Exponetial Unit), 'Softplus', 'Soft Sign', 'ReLU'(Rectified Linear Unit), 'Tanh', 'Sigmoid', 'Hard Sigmoid', 'Exponential', 'Leaky ReLU'(Rectified Linear Unit), 'ReLU'(Parametric ReLU), 'Threshold ReLu' 와 같은 선택 파라미터 속성들이 펼쳐지게 된다.First, referring to Fig. 6, when an activation function is selected from among the layers arranged in the model visualization window (DT-2), 'Linear' is displayed as a representative parameter property in the drop-down menu in the object setting window (DT-3), and when activated, the selected parameter properties such as 'Softmax', 'Elu' (Exponent Linear Unit), 'Selu' (Scaled Exponential Unit), 'Softplus', 'Soft Sign', 'ReLU' (Rectified Linear Unit), 'Tanh', 'Sigmoid', 'Hard Sigmoid', 'Exponential', 'Leaky ReLU' (Rectified Linear Unit), 'ReLU' (Parametric ReLU), and 'Threshold ReLu' are expanded.
활성화 함수는 활성화 계층의 구성이며, 활성화 함수은 입력에 대한 비선형 변환을 수행하기보다 더 복잡한 작업을 학습하고 수행할 수 있다. 활성화 함수는 인공적인 신경망에서 매우 중요한 특징이고 기본적으로 뉴런의 활성화 여부를 결정한다. 일반 공식은 Y = 활성화 (Sum (weight * input) + bias)이다. 활성화 함수는 입력 데이터를 처리하는 비선형 변환이고 변환된 출력은 입력의 형태로 다음 뉴런 층으로 전송된다.Activation functions are the building blocks of an activation layer, and they can learn and perform more complex tasks than performing nonlinear transformations on inputs. Activation functions are a crucial feature of artificial neural networks and fundamentally determine whether neurons are activated. The general formula is Y = activation (Sum (weight * input) + bias). An activation function is a nonlinear transformation that processes input data, and the transformed output is transmitted to the next neuron layer as input.
먼저 파라미터 속성 'Linear'는 (Sum (weight * input) + bias)의 결과를 유지하고자 할 때 선형 기능을 적용하는 것으로, 선형 함수는 직선과 유사한 정식을 가지고 있다. 선형 활성화 함수는 한 곳에서 레이어의 출력으로 사용될 수 있다.First, the parameter attribute 'Linear' applies a linear function when the result of (Sum(weight * input) + bias) is to be maintained. The linear function has a similar formula to a straight line. A linear activation function can be used as the output of a layer in one place.
다음으로 파라미터 속성 'Softmax'는 비선형 함수로 시그무이드 함수의 일종이지만 분류 문제를 처리하려고 할 때 편리하다. 일반적으로 여러 클래스를 처리하려고 할 때 사용할 수 있으며, 'softmax' 함수는 0과 1 사이의 각 클래스에 대한 출력을 짜내고 출력의 합으로 나눈다. 'SoftMax' 함수는 분류기의 출력 레이어에서 실제로 각 입력의 클래스를 정의할 확률을 달성하는 데 사용한다.Next, the parameter attribute "Softmax" is a nonlinear function, a type of sigmoid function, that is convenient for handling classification problems. Typically used when dealing with multiple classes, the "softmax" function squeezes the output for each class between 0 and 1 and divides it by the sum of the outputs. The "SoftMax" function is used in the output layer of the classifier to achieve the probability that defines the class of each input.
다음으로 파라미터 속성 'Elu'는 일부 실험 결과는 'Elu'가 다른 비전 데이터 세트에서 다른 활성화 함수보다 현저히 뛰어나다. 'ELu'를 사용하면 가까운 평균 활성화를 얻을 수 있는 지수 함수를 구성할 수 있다. 그 방정식은 아래의 수학식 1과 같이 나타난다.Next, the parameter attribute 'Elu' shows that some experimental results show that 'Elu' significantly outperforms other activation functions on different vision datasets. Using 'ELu', we can construct an exponential function that achieves close average activation. The equation is shown in Equation 1 below.
다음으로 파라미터 속성 'Selu'의 활성화는 'Elu' 기능의 출력과 감마(스케일)를 곱하여 양의 입력에 대해 1보다 큰 기울기를 보장해 준다. 그 방정식은 아래의 수학식 2와 같이 나타난다.Next, the activation of the parameter attribute 'Selu' ensures a slope greater than 1 for positive inputs by multiplying the output of the 'Elu' function by gamma (scale). The equation is shown in Mathematical Expression 2 below.
다음으로 파라미터 속성 'Softplus'는 전통적으로 사용되고 있는 기존 함수들의 대체로 사용될 수 있으며, 그 방정식은 아래의 수학식 3과 같이 나타난다.Next, the parameter attribute 'Softplus' can be used as a replacement for existing functions that are traditionally used, and its equation is shown in mathematical expression 3 below.
다음으로 파라미터 속성 'Soft Sign'은 'Tanh' 활성화 함수보다 매끄러우며 더 빠른 학습의 결과를 도출할 수 있다. 그 방정식은 아래의 수학식 4와 같이 나타난다.Next, the parameter attribute "Soft Sign" can produce smoother and faster learning results than the "Tanh" activation function. Its equation is shown in Mathematical Formula 4 below.
다음으로 파라미터 속성 'ReLU'는 비선형 함수로 가장 널리 사용되는 활성화 함수이며 주로 뉴런 네트워크의 숨겨진 레이어에서 사용된다. 즉 오류를 쉽게 역 전파할 수 있으며 'ReLU' 함수에 의해 활성화되는 여러 뉴런 레이어가 있다. 'ReLu' 함수는 간단한 수학 연산을 포함하므로 'Tahn' 및 'Sigmoid' 보다 복잡하지 않다. 한 번에 몇 개의 뉴런만 활성화되어 네트워크가 희박해져 계산이 효율적이고 쉬워진다. 그 방정식은 아래의 수학식 5와 같이 나타난다.Next, the parameter attribute 'ReLU' is a nonlinear function, the most widely used activation function, and is primarily used in the hidden layers of neural networks. This means that errors can be easily backpropagated, and there are multiple layers of neurons activated by the 'ReLU' function. The 'ReLU' function is less complex than 'Tahn' and 'Sigmoid' because it involves simple mathematical operations. Only a few neurons are activated at a time, making the network sparse and computationally efficient. The equation is shown in Equation 5 below.
다음으로 파라미터 속성 'Tanh'은 'sigmoid' 함수보다 더 잘 작동하며 탄젠트 쌍곡선 함수로 알려져 있다. 실제로 수학적으로 시프트 된 'Sigmoid' 함수 버전으로 둘 다 비슷하며 서로 파생될 수 있다. 일반적으로 값이 -1에서 1 사이이기 때문에 숨겨진 레이어에 대한 평균이 0 또는 매우 가깝기 때문에 뉴런 네트워크의 숨겨진 레이어에서 사용이 된다. 이를 통해 평균을 가깝게 하여 데이터를 중심에 두는 데 도움이 된다. 이렇게 할 경우 다음 레이어를 훨씬 쉽게 학습할 수 있다. 그 방정식은 아래의 수학식 6과 같이 나타난다.Next, the parameter property 'Tanh' performs better than the 'sigmoid' function and is known as the tangent hyperbolic function. In fact, both are mathematically shifted versions of the 'sigmoid' function, similar to each other and can be derived from each other. It is typically used in the hidden layers of neural networks because its values range from -1 to 1, ensuring that the mean for the hidden layer is 0 or very close to it. This helps center the data by bringing the mean closer to zero. This makes training the next layer much easier. The equation is shown in Equation 6 below.
다음으로 파라미터 속성 'Sigmoid'는 선형 함수가 아니며 'S' 모양으로 플롯 되는 함수이다. x값은 -2에서 2 사이이며 y값은 매우 가파르다. 즉, x의 작은 변화는 y값에 큰 변화를 가져온다. 일반적으로 결과가 0 또는 1인 이진 분류의 출력 레이어에서 사용된다. 'sigmoid' 함수의 값이 0에서 1 사이이므로 값이 0.5보다 크고 0이면 결과가 1로 쉽게 예측할 수 있다. 이것이 주된 이유이며, 'sigmoid' 함수는 온/오프 스위치(LSTM/GRU) 재발 뉴런 네트워크로 사용된다. 그 방정식은 아래의 수학식 7과 같이 나타난다.Next, the parameter attribute 'Sigmoid' is not a linear function, but a function that is plotted in the shape of an 'S'. The x value is between -2 and 2, and the y value is very steep. That is, a small change in x causes a large change in the y value. It is generally used in the output layer of binary classification where the result is either 0 or 1. Since the value of the 'sigmoid' function is between 0 and 1, if the value is greater than 0.5 and 0, the result can be easily predicted as 1. This is the main reason, and the 'sigmoid' function is used in an on/off switch (LSTM/GRU) recurrent neural network. Its equation is shown in Mathematical Formula 7 below.
다음으로 파라미터 속성 'Hard Sigmoid'는 인공 지능, 특히 컴퓨터 비전 및 인공 신경 네트워크에서 'Sigmoid' 함수 대신 사용되는 부드러운 함수다. 'Sigmoid' 함수의 기본 모양을 유지하지만 0에서 1로 증가시 더 간단한 함수, 특히 조각 선형 함수 또는 조각 상수 함수를 사용한다. 계산 속도가 정밀도보다 더 중요한 곳에서 선호한다. 'Hard Sigmoid' 함수가 RNN의 GRU 계층 인 lin LSTM을 사용할 수 있는 이유이다.Next, the parameter attribute "Hard Sigmoid" is a smooth function used instead of the "sigmoid" function in artificial intelligence, particularly in computer vision and artificial neural networks. It retains the basic shape of the "sigmoid" function, but uses simpler functions, particularly piecewise linear or piecewise constant functions, as they increase from 0 to 1. It is preferred in applications where computational speed is more important than precision. This is why the "Hard Sigmoid" function can be used with lin LSTMs, the GRU layer of recurrent neural networks.
다음으로 파라미터 속성 'Exponential'은 지수 활성화 함수로 y = exp (x)와 같은 지수 방정식으로 구성된다.Next, the parameter attribute 'Exponential' is composed of an exponential activation function, such as y = exp (x).
다음으로 파라미터 속성 'Leaky ReLU'는 음수 입력 시 함수가 0이 아닐 때 작은 음수로 대신 반환된다. 모든 값이 음수이기 때문에 'ReLU' 함수에 의해 활성화되지 않으면 "dying Relu"라는 문제에 직면할 수 있다. 즉, 음의 입력 영역에는 작은 음의 기울기가 있다. 그 방정식은 아래의 수학식 8과 같이 나타난다.Next, the parameter property "Leaky ReLU" returns a small negative value instead of 0 when the function returns a negative input. Since all values are negative, if the "ReLU" function is not activated, it can encounter the problem known as "dying ReLU." That is, there is a small negative slope in the negative input region. The equation is shown in Equation 8 below.
다음으로 파라미터 속성 'ReLU'는 다른 매개 변수(무게 및 바이어스와 같은)에 더 잘 적용할 수 있다. 그 방정식은 아래의 수학식 9와 같이 나타난다.Next, the parameter attribute 'ReLU' can be better applied to other parameters (such as weights and biases). Its equation is shown in Equation 9 below.
다음으로 파라미터 속성 'Threshold ReLu'는 임계값 'ReLu' 활성화 함수이다.Next, the parameter attribute 'Threshold ReLu' is the threshold 'ReLu' activation function.
다음으로 도 7을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 컨볼루션 레이어의 'CNN1D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Filters', 'Kernel Size', 'Strides', 'Padding', 'Dilation Rate', 'Activation', 'Use Bias', 'Kernel Initizalizer', 'Bias Initializer', 'Kernel Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', 'Bias Constratint'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 7, when the 'CNN1D Layer' of the convolution layer is selected among the layers arranged in the model visualization window (DT-2), the parameters of 'Filters', 'Kernel Size', 'Strides', 'Padding', 'Dilation Rate', 'Activation', 'Use Bias', 'Kernel Initializer', 'Bias Initializer', 'Kernel Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', and 'Bias Constratint' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input box for entering the parameter attribute as a number is displayed, or a drop-down menu for selecting the detailed parameter attribute is displayed.
'CNN1D Layer'는 시간적 컨볼루션에 사용한다. 이 레이어에는 단일 공간(또는 시간적) 차원에 걸쳐 레이어 입력으로 컨볼루션 커널이 결합되어 출력 텐서를 생성한다. UseBias가 True이면 바이아스 벡터가 생성되어 출력에 추가된다. 활성화가 없음이 아닌 경우 출력(output)에도 적용된다. Input Shape는 3D 텐서(배치, 채널, 단계)이고, Output Shape는 3D 텐서(배치, 필터, new_step)이다.The 'CNN1D Layer' is used for temporal convolution. This layer combines convolution kernels with layer inputs across a single spatial (or temporal) dimension to produce an output tensor. If UseBias is True, a bias vector is generated and added to the output. If there is no activation, it is also applied to the output. The input shape is a 3D tensor (batch, channel, step), and the output shape is a 3D tensor (batch, filter, new_step).
상기 'Filters'는 필터 수 또는 출력 공간의 차원이며 유형은 정수이다.The above 'Filters' is the number of filters or the dimension of the output space and the type is integer.
상기 'Kernel Size'는 컨볼루션 창의 길이이며 유형은 정수이다.The above 'Kernel Size' is the length of the convolution window and the type is integer.
상기 'Strides'는 컨볼루션의 폭이며 유형은 정수이다.The above 'Strides' is the width of the convolution and the type is integer.
상기 'Padding'는 패딩의 유형으로, 드롭다운 메뉴로 'Valid(패딩이 없음)', 'Same(하프 패딩)', 'Full(최대 패딩)'의 세부 파라미터 속성을 가진다.The above 'Padding' is a type of padding, and has detailed parameter properties of 'Valid (no padding)', 'Same (half padding)', and 'Full (maximum padding)' as a drop-down menu.
상기 'Dilation Rate'는 확장된 회선에 사용되는 팽창률이며, 유형은 정수이다.The above 'Dilation Rate' is the dilation rate used for the extended line, and the type is integer.
상기 'Activation'는 사용할 활성화 함수 유형이며 드롭다운 메뉴로 활성화 함수의 파라미터 속성을 표시한다.The above 'Activation' is the type of activation function to use and displays the parameter properties of the activation function as a drop-down menu.
상기 'Use Bias'는 레이어가 바이어스 벡터를 사용하는지 여부이며 유형은 부울이다.The above 'Use Bias' indicates whether the layer uses a bias vector and the type is boolean.
상기 'Kernel Initizalizer'는 커널 가중치 매트릭스의 초기화 유형이 드롭다운 메뉴로 활성화된다.The above 'Kernel Initializer' is activated as a drop-down menu for the initialization type of the kernel weight matrix.
상기 'Bias Initializer'는 바이아스 벡터의 초기화 유형이 드롭다운 메뉴로 활성화된다.The above 'Bias Initializer' activates the initialization type of the bias vector as a drop-down menu.
상기 'Kernel Regularizer'는 커널 가중치 매트릭스에 적용되는 레귤레이터가 드롭다운 메뉴로 활성화된다.The above 'Kernel Regularizer' is activated as a drop-down menu with the regularizer applied to the kernel weight matrix.
상기 'Bias Regularizer'는 바이아스 벡터에 적용되는 정규화 함수유형이 드롭다운 메뉴로 활성화된다.The above 'Bias Regularizer' is activated as a drop-down menu for the type of regularization function applied to the bias vector.
상기 'Activity Regularizer'는 레이어의 출력에 적용되는 정규화 함수유형이 드롭다운 메뉴로 활성화된다.The above 'Activity Regularizer' is activated as a drop-down menu for the type of regularization function applied to the output of the layer.
상기 'Kernel Constraint'는 커널 가중치 매트릭스에 적용되는 제한함수가 드롭다운 메뉴로 활성화된다.The above 'Kernel Constraint' is activated as a drop-down menu with the constraint function applied to the kernel weight matrix.
상기 'Bias Constratint'는 바이아스 벡터에 적용되는 제한함수가 드롭다운 메뉴로 활성화된다.The above 'Bias Constratint' is activated as a drop-down menu with the constraint function applied to the bias vector.
다음으로 도 8을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 컨볼루션 레이어의 'CNN2D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Filters', 'Kernel Size', 'Strides', 'Padding', 'Dilation Rate', 'Activation', 'Use Bias', 'Kernel Initizalizer', 'Bias Initializer', 'Kernel Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', 'Bias Constratint'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 8, when the 'CNN2D Layer' of the convolution layer is selected among the layers arranged in the model visualization window (DT-2), the parameters of 'Filters', 'Kernel Size', 'Strides', 'Padding', 'Dilation Rate', 'Activation', 'Use Bias', 'Kernel Initializer', 'Bias Initializer', 'Kernel Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', and 'Bias Constratint' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input box for entering the parameter attribute as a number is displayed, or a drop-down menu for selecting the detailed parameter attribute is displayed.
'CNN2D Layer'는 이미지에 대한 공간적 컨볼루션에 사용한다. 이 레이어는 출력 텐서를 생성하기 위해 계층 입력과 관련이 있는 컨볼루션 커널을 만든다. CNN은 유용한 정보를 얻기 위해 입력을 필터링(연결)하는 계층으로 구성된다. 이 컨볼루션 레이어에는 매개 변수(커널)가 있어 이러한 필터는 함수 선택없이 해당 작업에 가장 유용한 정보를 추출하기 위해 자동으로 분류된다. CNN은 이미지 처리 작업에 더 적합하다. Input Shape는 4D 텐서(배치, 채널, 행, 열)이고, Output Shape는 4D 텐서(배치, 필터, 새로운 행, 새로운 열)이다.The 'CNN2D Layer' is used for spatial convolution on images. This layer creates a convolution kernel related to the layer input to generate an output tensor. CNN consists of layers that filter (connect) the input to obtain useful information. This convolution layer has parameters (kernels), so these filters are automatically classified to extract the most useful information for the task without selecting a function. CNN is more suitable for image processing tasks. The input shape is a 4D tensor (batch, channel, row, column), and the output shape is a 4D tensor (batch, filter, new row, new column).
'CNN2D Layer'에 대한 개체 설정창(DT-3)의 파라미터 설정은 상술한 'CNN1D Layer'과 유사하므로 구체적인 설명은 생략한다.The parameter settings in the object setting window (DT-3) for the 'CNN2D Layer' are similar to those for the 'CNN1D Layer' described above, so a detailed description is omitted.
다음으로 도 9를 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 컨볼루션 레이어의 'CNN3D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Filters', 'Kernel Size', 'Strideges', 'Padding', 'Dilation Rate', 'Activation', 'Use Bias', 'Kernel Initizalizer', 'Bias Initializer', 'Kernel Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', 'Bias Constratint'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to FIG. 9, when the 'CNN3D Layer' of the convolution layer among the layers arranged in the model visualization window (DT-2) is selected, the parameters of 'Filters', 'Kernel Size', 'Strideges', 'Padding', 'Dilation Rate', 'Activation', 'Use Bias', 'Kernel Initializer', 'Bias Initializer', 'Kernel Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', and 'Bias Constratint' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input box for entering the parameter attribute as a number is displayed, or a drop-down menu for selecting the detailed parameter attribute is displayed.
'CNN3D Layer'는 볼륨에 대한 공간적 컨볼루션에 사용한다. 이 레이어는 출력 텐서를 생성하기 위해 계층 입력과 관련이 있는 컨볼루션 커널을 만든다. 'UseBias'가 True이면 바이아스 벡터가 생성되어 출력에 추가된다. 마지막으로 활성화가 없음이 아닌 경우 출력에도 적용이 된다. Input Shape는 5D 텐서(배치, 채널, dim1, dim2, dim3)이고, Output Shape는 5D 텐서(배치, 채널, new_conv_dim1, new_conv_dim2, new_conv_dim3)이다.The 'CNN3D Layer' is used for spatial convolution on the volume. This layer creates a convolution kernel related to the layer input to produce an output tensor. If 'UseBias' is True, a bias vector is generated and added to the output. Finally, if there is no activation, it is also applied to the output. The input shape is a 5D tensor (batch, channel, dim1, dim2, dim3), and the output shape is a 5D tensor (batch, channel, new_conv_dim1, new_conv_dim2, new_conv_dim3).
'CNN3D Layer'에 대한 개체 설정창(DT-3)의 파라미터 설정은 상술한 'CNN1D Layer' 및 'CNN2D Layer'과 유사하므로 구체적인 설명은 생략한다.The parameter settings in the object setting window (DT-3) for 'CNN3D Layer' are similar to those for 'CNN1D Layer' and 'CNN2D Layer' described above, so a detailed description is omitted.
다음으로 도 10을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 코어 레이어의 'Batch Normalize Layer'가 선택되면, 개체 설정창(DT-3)에는 'Axis', 'Momentum', 'Epsilon', 'Center', 'Scale', 'Beta Initializer', 'Gamma Initializer', 'Moving Mean Initializer', 'Moving Variance Initializer', 'Beta Regularizer', 'Gamma Regularizer', 'Beta Constraint', 'Gamma Constraint'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to FIG. 10, when the 'Batch Normalize Layer' of the core layer among the layers arranged in the model visualization window (DT-2) is selected, the parameters of 'Axis', 'Momentum', 'Epsilon', 'Center', 'Scale', 'Beta Initializer', 'Gamma Initializer', 'Moving Mean Initializer', 'Moving Variance Initializer', 'Beta Regularizer', 'Gamma Regularizer', 'Beta Constraint', and 'Gamma Constraint' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input box for entering the parameter property as a number is displayed, or a drop-down menu for selecting the detailed parameter property is displayed.
'Batch Normalize Layer'는 각 배치에서 이전 레이어의 활성화를 정규화한다. 또한 평균 활성화를 0에 가깝게 유지하고 활성화 표준 편차를 1에 가깝게 유지하는 변환을 적용한다.The 'Batch Normalize Layer' normalizes the activations of the previous layer in each batch. It also applies a transformation that keeps the average activation close to 0 and the standard deviation of the activations close to 1.
상기 'Axis'은 정규화 해야하는 축(일반적으로 형상 축)이며 유형은 정수이다.The above 'Axis' is the axis to be normalized (usually a geometric axis) and its type is integer.
상기 'Momentum'은 이동하는 평균의 모넨텀이며 유형은 플로트이다.The above 'Momentum' is a moving average momentum and the type is float.
상기 'Epsilon'은 0으로 나누지 않고 분산된 것이 플로트에 추가된 작은 플로트이다.The above 'Epsilon' is a small float added to the float by distributing it without dividing by zero.
상기 'Center'는 정규화 된 텐서에 베타 오프셋을 추가할지에 대한 여부이고 유형은 부울이다.The above 'Center' is whether to add a beta offset to the normalized tensor and the type is boolean.
상기 'Scale'은 감마를 곱할지에 대한 여부고 유형은 부울이다.The above 'Scale' is whether to multiply by gamma or not, and the type is boolean.
상기 'Beta Initializer'는 베타 가중치의 이니셜 라이저가 드롭다운 메뉴로 활성화된다.The above 'Beta Initializer' is activated as a drop-down menu for the initializer of the beta weight.
상기 'Gamma Initializer'는 감마 비중의 초기화 유형이 드롭다운 메뉴로 활성화된다.The above 'Gamma Initializer' is activated as a drop-down menu for the initialization type of gamma proportion.
상기 'Moving Mean Initializer'는 이동 평균의 초기화 타입이 드롭다운 메뉴로 활성화된다.The above 'Moving Mean Initializer' is activated as a drop-down menu for the initialization type of the moving average.
상기 'Moving Variance Initializer'는 이동분산의 초기화 유형이 드롭다운 메뉴로 활성화된다.The above 'Moving Variance Initializer' is activated as a drop-down menu for the initialization type of moving variance.
상기 'Beta Regularizer'는 베타 가중치의 정규화 유형이 드롭다운 메뉴로 활성화된다.The above 'Beta Regularizer' is activated as a drop-down menu for the regularization type of beta weights.
상기 'Gamma Regularizer' 감마 가중치의 정규화 유형이 드롭다운 메뉴로 활성화된다.The regularization type of the gamma weights above 'Gamma Regularizer' is activated in the drop-down menu.
상기 'Beta Constraint'는 베타 가중치의 제한 조건이 드롭다운 메뉴로 활성화된다.The above 'Beta Constraint' is activated as a drop-down menu with constraints on beta weights.
상기 'Gamma Constraint'는 감마 가중치의 제한 조건이 드롭다운 메뉴로 활성화된다.The above 'Gamma Constraint' is activated as a drop-down menu for the constraint condition of gamma weighting.
다음으로 도 11을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 코어 레이어의 'Dropout Layer'가 선택되면, 개체 설정창(DT-3)에는 'Rate'의 파라미터가 표시된다. 이 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시된다.Next, referring to Figure 11, when the 'Dropout Layer' of the core layer among the layers arranged in the model visualization window (DT-2) is selected, the 'Rate' parameter is displayed in the object setting window (DT-3). To the right of this parameter, an input field is displayed where the parameter attribute can be entered as a number.
'Dropout Layer'는 학습시간 동안 업데이트된 입력단위의 비율을 임의로 0으로 설정한다. 이와 같은 설정은 과적합을 방지하기 위하여 딥러닝과 머신러닝에서 많이사용되고 있다. 학습시간 동안, 드롭아웃은 특정 확률로 임의의 노드 값을 0으로 설정하며, 추론시간 동안, 드롭아웃은 노드 값을 죽이지 않지만 레이어의 모든 가중치는 영향을 받을 수 있다. 위와 같은 행위를 하는 이유는 추론시간 동안 아핀(affine) 변환 후의 값의 분포가 학습 시간 동안의 값에 가깝게 하기 위함이다.The "Dropout Layer" randomly sets the proportion of input units updated during training to 0. This setting is widely used in deep learning and machine learning to prevent overfitting. During training, dropout randomly sets node values to 0 with a certain probability. During inference, dropout does not delete node values, but all weights in the layer may be affected. This behavior is intended to ensure that the distribution of values after affine transformation during inference closely resembles the values during training.
상기 'Rate'는 드롭아웃 및 유형의 분수비율을 셋팅할 수 있다.The above 'Rate' can set the dropout and type fractional ratio.
다음으로 도 12를 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 코어 레이어의 'FC Layer'가 선택되면, 개체 설정창(DT-3)에는 'Unit', 'Activation', 'Use Bias', 'Kernel Initizalizer', 'Bias Initizalizer', 'Kernel Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', 'Bias Constraint'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 12, when the 'FC Layer' of the core layer among the layers arranged in the model visualization window (DT-2) is selected, the parameters of 'Unit', 'Activation', 'Use Bias', 'Kernel Initizalizer', 'Bias Initizalizer', 'Kernel Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', and 'Bias Constraint' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input box for entering the parameter attribute as a number is displayed, or a drop-down menu for selecting the detailed parameter attribute is displayed.
'FC Layer'는 규칙적으로 조밀하게 연결된 신경망 계층이다.'FC Layer' is a regularly densely connected neural network layer.
상기 'Unit'는 출력물 공간이며 유형은 정수이다.The above 'Unit' is the output space and the type is integer.
상기 'Activation'는 활성화 함수 유형이 사용된다.The above 'Activation' uses an activation function type.
상기 'Use Bias'는 레이어가 바이어스 벡터를 사용하는지 여부이며 유형은 부울이다.The above 'Use Bias' indicates whether the layer uses a bias vector and the type is boolean.
상기 'Kernel Initizalizer'는 커널 가중치 매트릭스의 초기화 유형이다.The above 'Kernel Initializer' is an initialization type of the kernel weight matrix.
상기 'Bias Initizalizer'는 바이아스 벡터의 초기화 유형이다.The above 'Bias Initializer' is an initialization type of bias vector.
상기 'Kernel Regularizer'는 커널 가중치 매트릭스에 적용되는 레귤레이터이다.The above 'Kernel Regularizer' is a regularizer applied to the kernel weight matrix.
상기 'Bias Regularizer'는 바이아스 벡터에 적용되는 정규화 유형이다.The above 'Bias Regularizer' is a type of regularization applied to the bias vector.
상기 'Activity Regularizer'는 레이어의 출력에 적용되는 정규화 함수유형이다.The above 'Activity Regularizer' is a type of regularization function applied to the output of the layer.
상기 'Kernel Constraint'는 커널 가중치 매트릭스에 적용되는 제한함수이다.The above 'Kernel Constraint' is a constraint function applied to the kernel weight matrix.
상기 'Bias Constraint'는 바이아스 벡터에 적용되는 제한함수이다.The above 'Bias Constraint' is a constraint function applied to the bias vector.
다음으로 도 13을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 코어 레이어의 'Flatten Layer'가 선택되면, 개체 설정창(DT-3)에는 셋팅 사항에 대한 안내 메시지가 표시된다. 상기 'Flatten Layer'는 일반적으로 뉴런 네트워크 기반의 분류기에서 'FC Layer'로 공급될 수 있는 벡터 형식을 2D 행렬 또는 피쳐 텐서로 전송하기 위해서 사용된다. 'Flatten Layer'의 사용은 입력을 하는데 있어 단조로운 작업을 진행하기 위함이며, 배치 크기에는 영향을 미치지 않는다.Next, referring to Fig. 13, when the 'Flatten Layer' of the core layer among the layers arranged in the model visualization window (DT-2) is selected, a guidance message regarding the settings is displayed in the object setting window (DT-3). The 'Flatten Layer' is generally used to transfer a vector format that can be supplied to the 'FC Layer' in a neural network-based classifier to a 2D matrix or feature tensor. The use of the 'Flatten Layer' is to perform a monotonous task in inputting, and does not affect the batch size.
다음으로 도 14를 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 코어 레이어의 'Permute Layer'가 선택되면, 개체 설정창(DT-3)에는 'Dims'의 파라미터가 표시된다. 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시된다.Next, referring to Figure 14, when the 'Permute Layer' of the core layer among the layers arranged in the model visualization window (DT-2) is selected, the 'Dims' parameter is displayed in the object setting window (DT-3). To the right of the parameter, an input field is displayed where the parameter attribute can be entered as a number.
이 순열배치(Permute) 레이어는 주어진 패턴에 따른 입력차원에 대한 순열배치 연산을 수행하기 위해서 사용된다.This permute layer is used to perform permutation operations on the input dimensions according to a given pattern.
상기 'Dims'는 쉼표(,)로 구분되는 정수 튜플이다.The above 'Dims' is a tuple of integers separated by commas (,).
다음으로 도 15를 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 코어 레이어의 'Repeat Layer'가 선택되면, 개체 설정창(DT-3)에는 'Number of time', 'Axis'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 15, when the 'Repeat Layer' of the core layer among the layers arranged in the model visualization window (DT-2) is selected, the parameters of 'Number of time' and 'Axis' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field is displayed where the parameter attribute can be entered as a number, or a drop-down menu is displayed where the detailed parameter attribute can be selected.
이 반복(Repeat) 레이어는 지정된 축과 함께 지정된 시간에 입력 데이터를 반복하기 위해서이다.This repeat layer is to repeat the input data at a specified time along a specified axis.
상기 'Number of time'는 반복 인수이며 유형은 정수이다.The above 'Number of time' is a repeating argument and its type is integer.
상기 'Axis'는 반복을 위한 축이며 타입은 정수이다.The above 'Axis' is the axis for repetition and its type is integer.
다음으로 도 16을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 코어 레이어의 'Reshape Layer'가 선택되면, 개체 설정창(DT-3)에는 'Reshape Type', 'Target Shape'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 16, when the 'Reshape Layer' of the core layer among the layers arranged in the model visualization window (DT-2) is selected, the parameters of 'Reshape Type' and 'Target Shape' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field for entering the parameter property as a number is displayed, or a drop-down menu for selecting the detailed parameter property is displayed.
이 Reshape Layer는 출력을 특정 모양으로 재구성하는데 사용되며 레이어 간 입력 모양에 적합하다.This Reshape Layer is used to reshape the output into a specific shape that fits the input shape between layers.
상기 'Reshape Type'은 타입은 변경 형태이고, 1D, 2D 또는 3D 모양이 선택가능하다.The above 'Reshape Type' is a change type, and 1D, 2D, or 3D shapes can be selected.
상기 'Target Shape'는 1D, 2D 또는 3D 모양을 결정하며, 타입은 정수이다.The above 'Target Shape' determines a 1D, 2D or 3D shape, and the type is an integer.
다음으로 풀링 레이어는 중요한 기능이나 패턴을 잃지 않고 이미지를 줄이는데 사용되는 레이어이다. 풀링 레이어는 일반적으로 Convolutional Neural Network(CNN)기반의 모델에서 사용된다.Next, the pooling layer is used to reduce the image without losing important features or patterns. Pooling layers are commonly used in models based on convolutional neural networks (CNNs).
도 17을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'Average Pooling 1D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Pooling Size', 'Strides', 'Padding'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Referring to Fig. 17, when the 'Average Pooling 1D Layer' of the pooling layer is selected among the layers arranged in the model visualization window (DT-2), the parameters of 'Pooling Size', 'Strides', and 'Padding' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field is displayed where the parameter attribute can be entered as a number, or a drop-down menu is displayed where the detailed parameter attribute can be selected.
이 Average Pooling 1D Layer는 시간 데이터에 적용될 수 있으며, 출력은 기능 맵에서 각 패치의 평균값을 계산한 결과이다.This Average Pooling 1D Layer can be applied to temporal data, and the output is the result of calculating the average value of each patch in the feature map.
상기 'Pooling Size,는 평균 풀링 창의 크기이고 유형은 정수이다.The above 'Pooling Size' is the size of the average pooling window and the type is an integer.
상기 'Strides'는 풀링을 작업하는 폭이고 유형은 정수이다.The above 'Strides' is the width of the pooling operation and the type is integer.
상기 'Padding'은 패딩의 유형이 드롭다운 메뉴로 활성화된다. 여기에서 'Valid'는 패딩이 없음을 의미하며, 데이터를 그대로 유지하고 패딩없이 컨볼루션 작업을 수행한다. 또한 'Same'은 하프 패딩(커널/2의 크기)이라고 하며, 폭이 1인 컨벌루션을 적용하면 입력과 동일한 크기의 출력이 생성된다. 또한 'Full'은 최대 패딩이며, 크기가 K인 커널의 경우에 패딩은 k-1과 같다.The above 'Padding' is activated as a drop-down menu for the type of padding. Here, 'Valid' means no padding, which means the data is kept as is and the convolution operation is performed without padding. Additionally, 'Same' is called half padding (kernel size/2), and applying a convolution with a width of 1 produces an output of the same size as the input. Additionally, 'Full' is maximum padding, and for a kernel of size K, the padding is equal to k-1.
다음으로 도 18을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'Average Pooling 2D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Pooling Size', 'Strides', 'Padding'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 18, when the 'Average Pooling 2D Layer' of the pooling layer is selected among the layers arranged in the model visualization window (DT-2), the parameters of 'Pooling Size', 'Strides', and 'Padding' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field is displayed where the parameter attribute can be entered as a number, or a drop-down menu is displayed where the detailed parameter attribute can be selected.
이 Average Pooling 2D Layer는 공간 데이터에 적용될 수 있으며, 기능 맵에서 각 패치의 평균값을 계산한 결과이다.This Average Pooling 2D Layer can be applied to spatial data, and is the result of calculating the average value of each patch in the feature map.
상기 'Pooling Size,는 평균 풀링 창의 크기이고 유형은 정수이다.The above 'Pooling Size' is the size of the average pooling window and the type is an integer.
상기 'Strides'는 풀링을 작업하는 폭이고 유형은 정수이다.The above 'Strides' is the width of the pooling operation and the type is integer.
상기 'Padding'은패딩의 유형이 드롭다운 메뉴로 활성화된다. 여기에서 'Valid'는 패딩이 없음을 의미하며, 데이터를 그대로 유지하고 패딩없이 컨볼루션 작업을 수행한다. 또한 'Same'은 하프 패딩(커널/4의 크기)이라고 하며, 폭이 1인 컨벌루션을 적용하며 크기가 2차원인 경우 입력과 동일한 크기의 출력이 생성된다. 또한 'Full'은 최대 패딩이며, 크기가 K인 커널(평균 크기)의 경우에 패딩은 k-1과 같다.The above 'Padding' is activated as a drop-down menu for the type of padding. Here, 'Valid' means no padding, which leaves the data as is and performs the convolution operation without padding. Additionally, 'Same' is called half padding (kernel size/4), and applies a convolution with a width of 1. If the size is two-dimensional, the output will be the same size as the input. Additionally, 'Full' is maximum padding, and for a kernel of size K (average size), the padding will be equal to k-1.
다음으로 도 19를 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'Average Pooling 3D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Pooling Size', 'Strides', 'Padding'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 19, when the 'Average Pooling 3D Layer' of the pooling layer is selected among the layers arranged in the model visualization window (DT-2), the parameters of 'Pooling Size', 'Strides', and 'Padding' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field is displayed where the parameter property can be entered as a number, or a drop-down menu is displayed where the detailed parameter property can be selected.
이 Average Pooling 3D Layer는 3D 데이터에 적용될 수 있으며. 기능 맵에서 각 패치의 평균값을 계산한 결과이다.This Average Pooling 3D Layer can be applied to 3D data. It is the result of calculating the average value of each patch in the feature map.
상기 'Pooling Size,는 평균 풀링 창의 크기이고 유형은 정수이다.The above 'Pooling Size' is the size of the average pooling window and the type is an integer.
상기 'Strides'는 풀링을 작업하는 폭이고 유형은 정수이다.The above 'Strides' is the width of the pooling operation and the type is integer.
상기 'Padding'은 패딩의 유형이 드롭다운 메뉴로 활성화된다. 여기에서 'Valid'는 패딩이 없음을 의미하며, 데이터를 그대로 유지하고 패딩없이 컨볼루션 작업을 수행한다. 또한 'Same'은 하프 패딩(커널/6의 크기)이라고 하며, 폭이 1인 컨벌루션을 적용하며 크기가 3차원인 경우 입력과 동일한 크기의 출력이 생성된다. 또한 'Full'은 최대 패딩이며, 크기가 K인 커널(평균 크기)의 경우에 패딩은 k-1과 같다.The above 'Padding' is activated as a drop-down menu for the type of padding. Here, 'Valid' means no padding, which leaves the data as is and performs the convolution operation without padding. Additionally, 'Same' is called half padding (kernel size/6), which applies a convolution with a width of 1 and produces an output of the same size as the input if the size is three-dimensional. Additionally, 'Full' is maximum padding, and for a kernel of size K (average size), the padding is equal to k-1.
다음으로 도 20을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'Max Pooling 1D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Pooling Size', 'Strides', 'Padding'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 20, when the 'Max Pooling 1D Layer' of the pooling layer among the layers arranged in the model visualization window (DT-2) is selected, the parameters of 'Pooling Size', 'Strides', and 'Padding' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field for entering the parameter attribute as a number is displayed, or a drop-down menu for selecting the detailed parameter attribute is displayed.
이 Max Pooling 1D Layer는 1D 시간 데이터에 적용될 수 있으며, 기능 맵에서 각 패치의 최대값을 계산한 결과이다.This Max Pooling 1D Layer can be applied to 1D temporal data, and the result is the maximum value of each patch in the feature map.
상기 'Pooling Size,는 최대 풀링 창의 크기이고 유형은 정수이다.The above 'Pooling Size' is the size of the maximum pooling window and the type is an integer.
상기 'Strides'는 풀링을 작업하는 폭이고 유형은 정수이다.The above 'Strides' is the width of the pooling operation and the type is integer.
상기 'Padding'은 패딩의 유형이 드롭다운 메뉴로 활성화된다. 여기에서 'Valid'는 패딩이 없음을 의미하며, 데이터를 그대로 유지하고 패딩없이 컨볼루션 작업을 수행한다. 또한 'Same'은 하프 패딩(커널/2의 크기)이라고 하며, 폭이 1인 컨벌루션을 적용하면 입력과 동일한 크기의 출력이 생성된다. 또한 상기 'Full'은 최대 패딩이며, 크기가 K인 커널의 경우에 패딩은 k-1과 같다.The above 'Padding' is activated as a drop-down menu for the type of padding. Here, 'Valid' means no padding, which means the data is kept as is and the convolution operation is performed without padding. Additionally, 'Same' is called half padding (kernel size/2), and applying a convolution with a width of 1 produces an output of the same size as the input. Furthermore, 'Full' above is maximum padding, and for a kernel of size K, the padding is equal to k-1.
다음으로 도 21을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'Max Pooling 2D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Pooling Size', 'Strides', 'Padding'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 21, when the 'Max Pooling 2D Layer' of the pooling layer among the layers arranged in the model visualization window (DT-2) is selected, the parameters of 'Pooling Size', 'Strides', and 'Padding' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field is displayed where the parameter attribute can be entered as a number, or a drop-down menu is displayed where the detailed parameter attribute can be selected.
이 Max Pooling 2D Layer는 2D 공간데이터에 적용될 수 있으며, 기능 맵에서 각 패치의 최대값을 계산한 결과이다.This Max Pooling 2D Layer can be applied to 2D spatial data, and is the result of calculating the maximum value of each patch in the feature map.
상기 'Pooling Size,는 최대 풀링 창의 크기이고 유형은 정수의 튜플이다.The above 'Pooling Size' is the size of the maximum pooling window and the type is a tuple of integers.
상기 'Strides'는 풀링을 작업하는 폭이고 유형은 정수이다.The above 'Strides' is the width of the pooling operation and the type is integer.
상기 'Padding'은 패딩의 유형이 드롭다운 메뉴로 활성화된다. 여기에서 'Valid'는 패딩이 없음을 의미하며, 데이터를 그대로 유지하고 패딩없이 컨볼루션 작업을 수행한다. 또한 'Same'은 하프 패딩(커널/4의 크기)이라고 하며, 폭이 1인 컨벌루션을 적용하며 크기가 2차원인 경우 입력과 동일한 크기의 출력이 생성된다. 또한 상기 'Full'은 최대 패딩이며, 크기가 K인 커널(평균 크기)의 경우에 패딩은 k-1과 같다.The above 'Padding' is activated as a drop-down menu for the type of padding. Here, 'Valid' means no padding, which leaves the data as is and performs the convolution operation without padding. In addition, 'Same' is called half padding (kernel size / 4), and applies a convolution with a width of 1. If the size is two-dimensional, the output will be the same size as the input. In addition, 'Full' above is maximum padding, and for a kernel of size K (average size), the padding is equal to k-1.
다음으로 도 22를 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'Max Pooling 3D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Pooling Size', 'Strides', 'Padding'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 22, when the 'Max Pooling 3D Layer' of the pooling layer among the layers arranged in the model visualization window (DT-2) is selected, the parameters of 'Pooling Size', 'Strides', and 'Padding' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field for entering the parameter attribute as a number is displayed, or a drop-down menu for selecting detailed parameter attributes is displayed.
이 Max Pooling 3D Layer는 3D 데이터(공간 또는 시공간)에 적용될 수 있으며, 기능 맵에서 각 패치의 최대값을 계산한 결과이다.This Max Pooling 3D Layer can be applied to 3D data (spatial or spatiotemporal), and is the result of calculating the maximum value of each patch in the feature map.
상기 'Pooling Size,는 최대 풀링 창의 크기이고 유형은 3 개의 정수에 대한 튜플이다.The above 'Pooling Size' is the size of the maximum pooling window and the type is a tuple of three integers.
상기 'Strides'는 풀링을 작업하는 폭이고 유형은 정수이다.The above 'Strides' is the width of the pooling operation and the type is integer.
상기 'Padding'은 패딩의 유형이 드롭다운 메뉴로 활성화된다. 여기에서 'Valid'는 패딩이 없음을 의미하며, 데이터를 그대로 유지하고 패딩없이 컨볼루션 작업을 수행한다. 또한 'Same'은 하프 패딩(커널/6의 크기)이라고 하며, 폭이 1인 컨벌루션을 적용하며 크기가 3차원인 경우 입력과 동일한 크기의 출력이 생성된다. 또한 'Full'은 최대 패딩이며, 크기가 K인 커널(평균 크기)의 경우에 패딩은 k-1과 같다.The above 'Padding' is activated as a drop-down menu for the type of padding. Here, 'Valid' means no padding, which leaves the data as is and performs the convolution operation without padding. Additionally, 'Same' is called half padding (kernel size/6), which applies a convolution with a width of 1 and produces an output of the same size as the input if the size is three-dimensional. Additionally, 'Full' is maximum padding, and for a kernel of size K (average size), the padding is equal to k-1.
다음으로 도 23을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'Min Pooling 1D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Pooling Size', 'Strides', 'Padding'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 23, when the 'Min Pooling 1D Layer' of the pooling layer is selected among the layers arranged in the model visualization window (DT-2), the parameters of 'Pooling Size', 'Strides', and 'Padding' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field is displayed where the parameter attribute can be entered as a number, or a drop-down menu is displayed where the detailed parameter attribute can be selected.
이 Min Pooling 1D Layer는 1D의 시간 데이터에 적용될 수 있으며, 기능 맵에서 각 패치의 최소값을 계산한 결과이다.This Min Pooling 1D Layer can be applied to 1D temporal data, and is the result of calculating the minimum value of each patch in the feature map.
상기 'Pooling Size,는 최소 풀링 창의 크기이고 유형은 정수이다.The above 'Pooling Size' is the size of the minimum pooling window and the type is an integer.
상기 'Strides'는 풀링을 작업하는 폭이고 유형은 정수이다.The above 'Strides' is the width of the pooling operation and the type is integer.
상기 'Padding'은 패딩의 유형이 드롭다운 메뉴로 활성화된다. 여기에서 'Valid'는 패딩이 없음을 의미하며, 데이터를 그대로 유지하고 패딩없이 컨볼루션 작업을 수행한다. 또한 'Same'은 하프 패딩(커널/2의 크기)이라고 하며, 폭이 1인 컨벌루션을 적용하면 입력과 동일한 크기의 출력이 생성된다. 또한 'Full'은 최대 패딩이며, 크기가 K인 커널의 경우에 패딩은 k-1과 같다.The above 'Padding' is activated as a drop-down menu for the type of padding. Here, 'Valid' means no padding, which means the data is kept as is and the convolution operation is performed without padding. Additionally, 'Same' is called half padding (kernel size/2), and applying a convolution with a width of 1 produces an output of the same size as the input. Additionally, 'Full' is maximum padding, and for a kernel of size K, the padding is equal to k-1.
다음으로 도 24를 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'Min Pooling 2D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Pooling Size', 'Strides', 'Padding'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 24, when the 'Min Pooling 2D Layer' of the pooling layer is selected among the layers arranged in the model visualization window (DT-2), the parameters of 'Pooling Size', 'Strides', and 'Padding' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field is displayed where the parameter attribute can be entered as a number, or a drop-down menu is displayed where the detailed parameter attribute can be selected.
이 Min Pooling 2D Layer는 2D 데이터에 적용될 수 있으며, 기능 맵에서 각 패치의 최소값을 계산한 결과이다.This Min Pooling 2D Layer can be applied to 2D data, and is the result of calculating the minimum value of each patch in the feature map.
상기 'Pooling Size,는 최소 풀링 창의 크기이고 유형은 2 개의 정수에 대한 튜플이다.The above 'Pooling Size' is the size of the minimum pooling window and the type is a tuple of two integers.
상기 'Strides'는 풀링을 작업하는 폭이고 유형은 정수이다.The above 'Strides' is the width of the pooling operation and the type is integer.
상기 'Padding'은 패딩의 유형이 드롭다운 메뉴로 활성화된다. 여기에서 'Valid'는 패딩이 없음을 의미하며, 데이터를 그대로 유지하고 패딩없이 컨볼루션 작업을 수행한다. 또한 'Same'은 하프 패딩(커널/4의 크기)이라고 하며, 폭이 1인 컨벌루션을 적용하며 크기가 2차원인 경우 입력과 동일한 크기의 출력이 생성된다. 또한 'Full'은 최대 패딩이며, 크기가 K인 커널(평균 크기)의 경우에 패딩은 k-1과 같다.The above 'Padding' is activated as a drop-down menu for the type of padding. Here, 'Valid' means no padding, which leaves the data as is and performs the convolution operation without padding. Additionally, 'Same' is called half padding (kernel size/4), and applies a convolution with a width of 1. If the size is two-dimensional, the output will be the same size as the input. Additionally, 'Full' is maximum padding, and for a kernel of size K (average size), the padding will be equal to k-1.
다음으로 도 25를 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'Min Pooling 3D Layer'가 선택되면, 개체 설정창(DT-3)에는 'Pooling Size', 'Strides', 'Padding'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to Fig. 25, when the 'Min Pooling 3D Layer' of the pooling layer among the layers arranged in the model visualization window (DT-2) is selected, the parameters of 'Pooling Size', 'Strides', and 'Padding' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, an input field for entering the parameter attribute as a number is displayed, or a drop-down menu for selecting the detailed parameter attribute is displayed.
이 Min Pooling 3D Layer는 3D 데이터에 적용될 수 있으며, 기능 맵에서 각 패치의 최소값을 계산한 결과이다.This Min Pooling 3D Layer can be applied to 3D data, and is the result of calculating the minimum value of each patch in the feature map.
상기 'Pooling Size,는 최소 풀링 창의 크기이고 유형은 3 개의 정수에 대한 튜플이다.The above 'Pooling Size' is the size of the minimum pooling window and the type is a tuple of three integers.
상기 'Strides'는 풀링을 작업하는 폭이고 유형은 정수이다.The above 'Strides' is the width of the pooling operation and the type is integer.
상기 'Padding'은 패딩의 유형이 드롭다운 메뉴로 활성화된다. 여기에서 'Valid'는 패딩이 없음을 의미하며, 데이터를 그대로 유지하고 패딩없이 컨볼루션 작업을 수행한다. 또한 'Same'은 하프 패딩(커널/6의 크기)이라고 하며, 폭이 1인 컨벌루션을 적용하며 크기가 2차원인 경우 입력과 동일한 크기의 출력이 생성된다. 또한 'Full'은 최대 패딩이며, 크기가 K인 커널의 경우에 패딩은 k-1과 같다.The above 'Padding' is activated as a drop-down menu for the type of padding. Here, 'Valid' means no padding, which preserves the data as is and performs the convolution operation without padding. Additionally, 'Same' is called half padding (kernel size/6), and applies a convolution with a width of 1. If the size is two-dimensional, the output will be the same size as the input. Additionally, 'Full' is maximum padding, and for a kernel of size K, the padding will be equal to k-1.
다음으로 반복 레이어(Recurrent Layer)에서 RNN(Recurrent Neural Network)은 노드 간의 연결이 시간적 순서에 따라 그래프를 형성하는 인공적인 신경망이며 일시적인 동적 움직음을 나타낸다. 피드 포워드 신경망에서 파생되어진 RNN은 내부 상태(메모리)를 사용하여 가변 길이의 입력 시퀀스를 처리할 수 있다. RNN을 개발하기 위해 다음과 같이 RNN 계층을 적용 할 수 있다.Next, in the recurrent layer, a recurrent neural network (RNN) is an artificial neural network in which connections between nodes form a graph based on temporal order, exhibiting temporal dynamics. Derived from feedforward neural networks, RNNs can process input sequences of variable length using internal state (memory). To develop an RNN, RNN layers can be applied as follows.
도 26을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'RNN(Recurrent Neural Network) GRU(Gated Recurrent Units) Layer'가 선택되면, 개체 설정창(DT-3)에는 'Units', 'Activation', 'Recurrent Activation', 'Use Bias', 'Kernel Initializer', 'Recurrent Initializer', 'Bias Initializer', 'Kernel Regularizer', 'Recurrent Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', 'Recurrent Constraint', 'Bias Constraint', 'DropOut', 'Recurrent Dropout', 'Implementation', 'Return Sequences', 'Return State', 'GoBackward', 'Stateful', 'UnRoll', 'ResetAfter'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Referring to Fig. 26, when the 'RNN (Recurrent Neural Network) GRU (Gated Recurrent Units) Layer' of the pooling layer is selected among the layers arranged in the model visualization window (DT-2), the parameters of 'Units', 'Activation', 'Recurrent Activation', 'Use Bias', 'Kernel Initializer', 'Recurrent Initializer', 'Bias Initializer', 'Kernel Regularizer', 'Recurrent Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', 'Recurrent Constraint', 'Bias Constraint', 'DropOut', 'Recurrent Dropout', 'Implementation', 'Return Sequences', 'Return State', 'GoBackward', 'Stateful', 'UnRoll', and 'ResetAfter' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, you will see either an input field where you can enter the parameter properties as numbers, or a drop-down menu where you can select detailed parameter properties.
이 RNN(Recurrent Neural Network) GRU(Gated Recurrent Units) Layer는 게이트 반복 유닛으로 게이트 메커니즘 기반의 반복 신경망 레이어이며, LSTM(Long Short-Term Memory)과 비슷하지만 간단한 구조를 가지고 있다.This RNN (Recurrent Neural Network) GRU (Gated Recurrent Units) Layer is a gated recurrent unit, a recurrent neural network layer based on a gate mechanism, and is similar to LSTM (Long Short-Term Memory), but has a simple structure.
상기 'Units'는 출력 공간의 차원이며 유형은 정수이다.The above 'Units' is the dimension of the output space and the type is integer.
상기 'Activation'는 활성화 함수 유형을 선택할 수 있다.The above 'Activation' can select the activation function type.
상기 'Recurrent Activation'는 반복 단계에 사용되는 활성화 함수 유형을 선택할 수 있다.The above 'Recurrent Activation' can select the type of activation function used in the recurrence step.
상기 'Use Bias'는 레이어가 바이어스 벡터를 사용하는지 여부이며 유형은 부울이다.The above 'Use Bias' indicates whether the layer uses a bias vector and the type is boolean.
상기 'Kernel Initializer'는 커널 가중치 매트릭스의 초기화 유형을 선택할 수 있다.The above 'Kernel Initializer' can select the initialization type of the kernel weight matrix.
상기 'Recurrent Initializer'는 반복 커널 가중치 행렬의 초기화 유형을 선택할 수 있다. 반복 상태의 선형 변환에 사용된다.The above 'Recurrent Initializer' can select the initialization type of the recurrent kernel weight matrix. It is used for linear transformation of the recurrent state.
상기 'Bias Initializer'는 바이아스 벡터의 초기화 유형을 선택할 수 있다.The above 'Bias Initializer' can select the initialization type of the bias vector.
상기 'Kernel Regularizer'는 커널 가중치 매트릭스에 적용되는 레귤레이터를 선택할 수 있다.The above 'Kernel Regularizer' can select a regularizer to be applied to the kernel weight matrix.
상기 'Recurrent Regularizer'는 반복 가중치 행렬에 적용되는 반복기 함수 유형을 선택할 수 있다. 반복 상태의 선형 변환에 사용된다.The above 'Recurrent Regularizer' can select the type of iterator function applied to the recurrent weight matrix. It is used for linear transformation of the recurrent state.
상기 'Bias Regularizer'는 바이아스 벡터에 적용되는 정규화 함수 유형을 선택할 수 있다.The above 'Bias Regularizer' can select the type of regularization function applied to the bias vector.
상기 'Activity Regularizer'는 레이어의 출력에 적용되는 정규 함수 유형을 선택할 수 있다.The above 'Activity Regularizer' can select the type of regularization function applied to the output of the layer.
상기 'Kernel Constraint'는 커널 가중치 매트릭스에 적용되는 제한함수 유형를 선택할 수 있다.The above 'Kernel Constraint' can select the type of constraint function applied to the kernel weight matrix.
상기 'Recurrent Constraint'는 반복 커널 가중치 매트릭스에 적용되는 제한함수가 드롭다운 메뉴로 활성화된다. 여기에서 'MaxNorm'은 각각의 숨겨진 유닛으로 적용되는 가중치가 요구하는 값 이하의 표준을 갖도록 제한한다. 또한 'MaxNorm'은 각각의 숨겨진 유닛으로 적용되는 가중치가 요구하는 값 이하의 표준을 갖도록 제한한다. 또한 'NonNeg'은 가중치가 마이너스가 아닌 것으로 제한한다. 또한 'UnitNorm'은 각각의 숨겨진 유닛으로 적용되는 가중치를 제한하여 유닛의 표준을 가진다. 또한 'MinMaxNorm'은 하한과 상한선 사이의 표준을 가지도록 각각의 숨겨진 유닛에서 발생하는 가중치를 제한한다.The 'Recurrent Constraint' above activates the constraint function applied to the recurrent kernel weight matrix as a drop-down menu. Here, 'MaxNorm' constrains the weight applied to each hidden unit to have a norm less than or equal to the required value. 'MaxNorm' also constrains the weight applied to each hidden unit to have a norm less than or equal to the required value. 'NonNeg' also constrains the weight to be non-negative. 'UnitNorm' also constrains the weight applied to each hidden unit to have a norm of the unit. 'MinMaxNorm' also constrains the weight generated from each hidden unit to have a norm between the lower and upper bounds.
상기 'Bias Constraint'는 바이어스 벡터에 적용되는 제한 함수이다.The above 'Bias Constraint' is a constraint function applied to the bias vector.
상기 'DropOut'는 0과 1 사이의 부동의 소수점이며, 입력의 선형 변환을 위해 제거해야할 단위의 비율이다.The above 'DropOut' is a floating point number between 0 and 1, which is the fraction of units to be removed for linear transformation of the input.
상기 'Recurrent Dropout'는 0과 1 사이의 부동 소수점이며, 반복 상태의 선형 변환을 위해 제거해야할 단위의 비율이다.The above 'Recurrent Dropout' is a floating point number between 0 and 1, and is the fraction of units that should be removed for linear transformation of the recurrent state.
상기 'Implementation'는 실행모드이다.The above 'Implementation' is the execution mode.
상기 'Return Sequences'는 출력 시퀀스에서 마지막 출력을 반환할지 아니면 전체 시퀀스를 반환할지를 결정하며 유형은 부울이다.The above 'Return Sequences' determines whether to return the last output in the output sequence or the entire sequence, and its type is boolean.
상기 'Return State'는 출력 외에 마지막 상태를 반환할지 여부를 결정하며 유형은 부울이다.The above 'Return State' determines whether to return the last state in addition to the output, and its type is Boolean.
상기 'GoBackward'는 True인 경우, 입력 시퀀스를 뒤로 처리하고 반전된 시퀀스를 반환하며 유형은 부울이다.The above 'GoBackward', if True, processes the input sequence backwards and returns the reversed sequence, and its type is Boolean.
상기 'Stateful'는 True인 경우 배치에서 인덱스 I의 각 샘플에 대한 마지막 상태는 다음 배치에서 인덱스 I의 샘플에 대한 초기 상태로 사용된다.If the above 'Stateful' is True, the last state for each sample of index I in the batch is used as the initial state for the sample of index I in the next batch.
상기 'UnRoll'는 True이면 네트워크가 해제되며 그렇지 않으면 기호 루프가 사용된다.If the above 'UnRoll' is True, the network is released, otherwise a symbolic loop is used.
상기 'ResetAfter'는 행렬 곱셈 후 또는 그 이전에 리셋 게이트 적용 여부이다.The above 'ResetAfter' indicates whether the reset gate is applied after or before matrix multiplication.
다음으로 도 27을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'RNN(Recurrent Neural Network) LSTM(Long Short-Term Memory) Layer'가 선택되면, 개체 설정창(DT-3)에는 'Units', 'Activation', 'Recurrent Activation', 'Use Bias', 'Kernel Initializer', 'Recurrent Initializer', 'Bias Initializer', 'Unit Forget Bias', 'Kernel Regularizer', 'Recurrent Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', 'Recurrent Constraint', 'Bias Constraint', 'DropOut', 'Recurrent Dropout', 'Implementation', 'Return Sequences', 'Return State', 'GoBackward', 'Stateful', 'UnRoll'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to FIG. 27, when the 'RNN (Recurrent Neural Network) LSTM (Long Short-Term Memory) Layer' of the pooling layer is selected among the layers arranged in the model visualization window (DT-2), the parameters of 'Units', 'Activation', 'Recurrent Activation', 'Use Bias', 'Kernel Initializer', 'Recurrent Initializer', 'Bias Initializer', 'Unit Forget Bias', 'Kernel Regularizer', 'Recurrent Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', 'Recurrent Constraint', 'Bias Constraint', 'DropOut', 'Recurrent Dropout', 'Implementation', 'Return Sequences', 'Return State', 'GoBackward', 'Stateful', and 'UnRoll' are displayed in the column direction in the object setting window (DT-3). To the right of each parameter, you will see either an input field where you can enter the parameter properties as numbers, or a drop-down menu where you can select detailed parameter properties.
이 LSTM(Long Short-Term Memory)는 일종의 RNN(Recurrent Neural Network) 계층이며, 게이트 세트를 사용하여 정보의 흐름을 제어한다. 시퀀스 데이터와 관련된 문제를 해결하기 위해 사용될 수 있는 레이어이다.This LSTM (Long Short-Term Memory) is a type of RNN (Recurrent Neural Network) layer that uses a set of gates to control the flow of information. It can be used to solve problems involving sequence data.
상기 'Units'는 출력 공간의 차원이며 유형은 정수이다.The above 'Units' is the dimension of the output space and the type is integer.
상기 'Activation'는 활성화 함수 유형을 선택할 수 있다.The above 'Activation' can select the activation function type.
상기 'Recurrent Activation'는 반복 단계에 사용되는 활성화 함수 유형을 선택할 수 있다.The above 'Recurrent Activation' can select the type of activation function used in the recurrence step.
상기 'Use Bias'는 레이어가 바이어스 벡터를 사용하는지 여부이며 유형은 부울이다.The above 'Use Bias' indicates whether the layer uses a bias vector and the type is boolean.
상기 'Kernel Initializer'는 커널 가중치 매트릭스의 초기화 유형을 선택할 수 있다.The above 'Kernel Initializer' can select the initialization type of the kernel weight matrix.
상기 'Recurrent Initializer'는 반복 커널 가중치 행렬의 초기화 유형을 선택할 수 있다. 반복 상태의 선형 변환에 사용된다.The above 'Recurrent Initializer' can select the initialization type of the recurrent kernel weight matrix. It is used for linear transformation of the recurrent state.
상기 'Bias Initializer'는 바이아스 벡터의 초기화 유형을 선택할 수 있다.The above 'Bias Initializer' can select the initialization type of the bias vector.
상기 'Unit Forget Bias'는 True인 경우 초기화시 forget gate의 바이어스에 1을 추가하며 유형은 부울이다.The above 'Unit Forget Bias' adds 1 to the bias of the forget gate when initialized if True, and the type is Boolean.
상기 'Kernel Regularizer'는 커널 가중치 매트릭스에 적용되는 레귤레이터 유형을 선택할 수 있다.The above 'Kernel Regularizer' can select the type of regularizer applied to the kernel weight matrix.
상기 'Recurrent Regularizer'는 반복 가중치 행렬에 적용되는 반복기 함수 유형을 선택할 수 있다. 반복 상태의 선형 변환에 사용된다.The above 'Recurrent Regularizer' can select the type of iterator function applied to the recurrent weight matrix. It is used for linear transformation of the recurrent state.
상기 'Bias Regularizer'는 바이아스 벡터에 적용되는 정규화 함수 유형을 선택할 수 있다.The above 'Bias Regularizer' can select the type of regularization function applied to the bias vector.
상기 'Activity Regularizer'는 레이어의 출력에 적용되는 정규 함수 유형을 선택할 수 있다.The above 'Activity Regularizer' can select the type of regularization function applied to the output of the layer.
상기 'Kernel Constraint'는 커널 가중치 매트릭스에 적용되는 제한함수 유형을 선택할 수 있다.The above 'Kernel Constraint' can select the type of constraint function applied to the kernel weight matrix.
상기 'Recurrent Constraint'는 반복 커널 가중치 매트릭스에 적용되는 제한함수가 드롭다운 메뉴로 활성화된다. 여기에서 'MaxNorm'은 각각의 숨겨진 유닛으로 적용되는 가중치가 요구하는 값 이하의 표준을 갖도록 제한한다. 또한 'NonNeg'은 가중치가 마이너스가 아닌 것으로 제한한다. 또한 'UnitNorm'은 각각의 숨겨진 유닛으로 적용되는 가중치를 제한하여 유닛의 표준을 가진다. 또한 'MinMaxNorm'은 하한과 상한선 사이의 표준을 가지도록 각각의 숨겨진 유닛에서 발생하는 가중치를 제한한다.The 'Recurrent Constraint' function applied to the recurrent kernel weight matrix is activated as a drop-down menu. Here, 'MaxNorm' constrains the weights applied to each hidden unit to have a norm less than the required value. 'NonNeg' also constrains the weights to be non-negative. 'UnitNorm' also constrains the weights applied to each hidden unit to have a unit norm. 'MinMaxNorm' also constrains the weights generated from each hidden unit to have a norm between the lower and upper bounds.
상기 'Bias Constraint'는 바이어스 벡터에 적용되는 제한 함수 유형을 선택할 수 있다.The above 'Bias Constraint' can select the type of constraint function applied to the bias vector.
상기 'DropOut'는 0과 1 사이의 부동의 소수점이며, 입력의 선형 변환을 위해 제거해야할 단위의 비율이다.The above 'DropOut' is a floating point number between 0 and 1, which is the fraction of units to be removed for linear transformation of the input.
상기 'Recurrent Dropout'는 0과 1 사이의 부동 소수점이며, 반복 상태의 선형 변환을 위해 제거해야할 단위의 비율이다.The above 'Recurrent Dropout' is a floating point number between 0 and 1, and is the fraction of units that should be removed for linear transformation of the recurrent state.
상기 'Implementation'는 구현 모드이다.The above 'Implementation' is the implementation mode.
상기 'Return Sequences'는 출력 시퀀스에서 마지막 출력을 반환할지 아니면 전체 시퀀스를 반환할지를 결정하며 유형은 부울이다.The above 'Return Sequences' determines whether to return the last output in the output sequence or the entire sequence, and its type is boolean.
상기 'Return State'는 출력 외에 마지막 상태를 반환할지 여부를 결정하며 유형은 부울이다.The above 'Return State' determines whether to return the last state in addition to the output, and its type is Boolean.
상기 'GoBackward'는 True인 경우, 입력 시퀀스를 뒤로 처리하고 반전된 시퀀스를 반환하며 유형은 부울이다.The above 'GoBackward', if True, processes the input sequence backwards and returns the reversed sequence, and its type is Boolean.
상기 'Stateful'은 True인 경우 배치에서 인덱스 I의 각 샘플에 대한 마지막 상태는 다음 배치에서 인덱스 I의 샘플에 대한 초기 상태로 사용된다.If the above 'Stateful' is True, the last state for each sample of index I in the batch is used as the initial state for the sample of index I in the next batch.
상기 'UnRoll'는 True이면 네트워크가 해제되며 그렇지 않으면 기호 루프가 사용된다.If the above 'UnRoll' is True, the network is released, otherwise a symbolic loop is used.
다음으로 도 28을 참고하면, 상기 모델 시각화 창(DT-2)에 배치된 레이어들 중 풀링 레이어의 'RNN(Recurrent Neural Network) Vanila Layer'가 선택되면, 개체 설정창(DT-3)에는 'Units', 'Activation', 'Use Bias', 'Kernel Initializer', 'Recurrent Initializer', 'Bias Initializer', 'Kernel Regularizer', 'Recurrent Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', 'Recurrent Constraint', 'Bias Constraint', 'DropOut', 'Recurrent Dropout', 'Return Sequences', 'Return State', 'GoBackward', 'Stateful', 'UnRoll'의 파라미터들이 열 방향으로 각각 표시된다. 각 파라미터의 우측에는 파라미터 속성을 수로 입력할 수 있는 입력칸이 표시되거나 세부 파라미터 속성을 선택할 수 있는 드롭다운 메뉴가 표시된다.Next, referring to FIG. 28, when the 'RNN (Recurrent Neural Network) Vanila Layer' of the pooling layer among the layers arranged in the model visualization window (DT-2) is selected, the parameters of 'Units', 'Activation', 'Use Bias', 'Kernel Initializer', 'Recurrent Initializer', 'Bias Initializer', 'Kernel Regularizer', 'Recurrent Regularizer', 'Bias Regularizer', 'Activity Regularizer', 'Kernel Constraint', 'Recurrent Constraint', 'Bias Constraint', 'DropOut', 'Recurrent Dropout', 'Return Sequences', 'Return State', 'GoBackward', 'Stateful', and 'UnRoll' are displayed in column direction in the object setting window (DT-3). To the right of each parameter, an input box for entering parameter properties as numbers is displayed, or a drop-down menu for selecting detailed parameter properties is displayed.
이 RNN(Recurrent Neural Network) Vanila Layer는 Recurrent Neural Network 계층이며, 출력이 입력으로 피드백되는 완전하게 연결된 반복 뉴럴 네트워크이다.This RNN (Recurrent Neural Network) Vanila Layer is a Recurrent Neural Network layer, a fully connected recurrent neural network whose output is fed back to the input.
상기 'Units'는 출력 공간의 차원이며 유형은 정수이다.The above 'Units' is the dimension of the output space and the type is integer.
상기 'Activation'는 활성화 함수 유형을 선택할 수 있다.The above 'Activation' can select the activation function type.
상기 'Use Bias'는 레이어가 바이어스 벡터를 사용하는지 여부이며 유형은 부울이다.The above 'Use Bias' indicates whether the layer uses a bias vector and the type is boolean.
상기 'Kernel Initializer'는 커널 가중치 매트릭스의 초기화 유형을 선택할 수 있다.The above 'Kernel Initializer' can select the initialization type of the kernel weight matrix.
상기 'Recurrent Initializer'는 반복 커널 가중치 행렬의 초기화 유형을 선택할 수 있다. 반복 상태의 선형 변환에 사용된다.The above 'Recurrent Initializer' can select the initialization type of the recurrent kernel weight matrix. It is used for linear transformation of the recurrent state.
상기 'Bias Initializer'는 바이아스 벡터의 초기화 유형을 선택할 수 있다.The above 'Bias Initializer' can select the initialization type of the bias vector.
상기 'Kernel Regularizer'는 커널 가중치 매트릭스에 적용되는 레귤레이터 유형을 선택할 수 있다.The above 'Kernel Regularizer' can select the type of regularizer applied to the kernel weight matrix.
상기 'Recurrent Regularizer'는 반복 가중치 행렬에 적용되는 반복기 함수 유형을 선택할 수 있다. 반복 상태의 선형 변환에 사용된다.The above 'Recurrent Regularizer' can select the type of iterator function applied to the recurrent weight matrix. It is used for linear transformation of the recurrent state.
상기 'Bias Regularizer'는 바이아스 벡터에 적용되는 정규화 함수 유형을 선택할 수 있다.The above 'Bias Regularizer' can select the type of regularization function applied to the bias vector.
상기 'Activity Regularizer'는 레이어의 출력에 적용되는 정규 함수 유형을 선택할 수 있다.The above 'Activity Regularizer' can select the type of regularization function applied to the output of the layer.
상기 'Kernel Constraint'는 커널 가중치 매트릭스에 적용되는 제한함수 유형을 선택할 수 있다.The above 'Kernel Constraint' can select the type of constraint function applied to the kernel weight matrix.
상기 'Recurrent Constraint'는 반복 커널 가중치 매트릭스에 적용되는 제한함수가 드롭다운 메뉴로 활성화된다. 여기에서 'MaxNorm'은 각각의 숨겨진 유닛으로 적용되는 가중치가 요구하는 값 이하의 표준을 갖도록 제한한다. 또한 'NonNeg'은 가중치가 마이너스가 아닌 것으로 제한한다. 또한 'UnitNorm'은 각각의 숨겨진 유닛으로 적용되는 가중치를 제한하여 유닛의 표준을 가진다. 또한 'MinMaxNorm'은 하한과 상한선 사이의 표준을 가지도록 각각의 숨겨진 유닛에서 발생하는 가중치를 제한한다.The 'Recurrent Constraint' function applied to the recurrent kernel weight matrix is activated as a drop-down menu. Here, 'MaxNorm' constrains the weights applied to each hidden unit to have a norm less than the required value. 'NonNeg' also constrains the weights to be non-negative. 'UnitNorm' also constrains the weights applied to each hidden unit to have a unit norm. 'MinMaxNorm' also constrains the weights generated from each hidden unit to have a norm between the lower and upper bounds.
상기 'Bias Constraint'는 바이어스 벡터에 적용되는 제한 함수 유형을 선택할 수 있다.The above 'Bias Constraint' can select the type of constraint function applied to the bias vector.
상기 'DropOut'는 0과 1 사이의 부동의 소수점이며, 입력의 선형 변환을 위해 제거해야할 단위의 비율이다.The above 'DropOut' is a floating point number between 0 and 1, which is the fraction of units to be removed for linear transformation of the input.
상기 'Recurrent Dropout'는 0과 1 사이의 부동 소수점이며, 반복 상태의 선형 변환을 위해 제거해야할 단위의 비율이다.The above 'Recurrent Dropout' is a floating point number between 0 and 1, and is the fraction of units that should be removed for linear transformation of the recurrent state.
상기 'Return Sequences'는 출력 시퀀스에서 마지막 출력을 반환할지 아니면 전체 시퀀스를 반환할지를 결정하며 유형은 부울이다.The above 'Return Sequences' determines whether to return the last output in the output sequence or the entire sequence, and its type is boolean.
상기 'GoBackward'는 True인 경우, 입력 시퀀스를 뒤로 처리하고 반전된 시퀀스를 반환하며 유형은 부울이다.The above 'GoBackward', if True, processes the input sequence backwards and returns the reversed sequence, and its type is Boolean.
상기 'Stateful'은 True인 경우 배치에서 인덱스 I의 각 샘플에 대한 마지막 상태는 다음 배치에서 인덱스 I의 샘플에 대한 초기 상태로 사용된다.If the above 'Stateful' is True, the last state for each sample of index I in the batch is used as the initial state for the sample of index I in the next batch.
상기 'UnRoll'는 True이면 네트워크가 해제되며 그렇지 않으면 기호 루프가 사용된다.If the above 'UnRoll' is True, the network is released, otherwise a symbolic loop is used.
한편, 상기 모델 시각화 창(DT-2)의 좌측 하부에는 디자이너 모델의 디자인 중 발생하는 추가, 삭제, 로드, 연결과 같은 모든 로깅 정보를 확인할 수 있는 로깅 확인창(DT-4)이 배치된다.Meanwhile, a logging confirmation window (DT-4) is placed at the lower left of the model visualization window (DT-2) to check all logging information such as addition, deletion, load, and connection that occurs during the design of the designer model.
도 29를 참조하면, 상기 로깅 확인창(DT-4)은 디자이너 모델의 디자인 중 발생하는 로깅 정보를 편집할 수 있는 로깅 정보 편집창(DT-4-1)과 디자이너 모델의 디자인 중 발생하는 로깅 정보를 조회할 수 있는 로깅 정보 조회창(DT-4-2)으로 분할되어 구성된다.Referring to Fig. 29, the logging confirmation window (DT-4) is divided into a logging information editing window (DT-4-1) that can edit logging information generated during the design of the designer model, and a logging information inquiry window (DT-4-2) that can search for logging information generated during the design of the designer model.
상기 로깅 정보 편집창(DT-4-1)은 상기 로깅 확인창(DT-4)의 최상단에 배치되며, 디자이너 모델의 디자인 중 발생하는 모든 로깅 정보를 삭제할 수 있는 로깅 전체삭제 버튼과 모든 로깅 정보를 JSON 파일로 저장할 수 있는 로깅 전체저장 버튼이 구비된다.The above logging information editing window (DT-4-1) is positioned at the top of the above logging confirmation window (DT-4), and is equipped with a delete all logging button that can delete all logging information generated during the design of the designer model, and a save all logging button that can save all logging information as a JSON file.
상기 로깅 정보 조회창(DT-4-2)은 로깅 정보 편집창(DT-4-1)의 하부에 배치되며, 디자이너 모델의 디자인 중 발생하는 추가, 삭제, 연결 등의 모든 로깅 정보와 발생 시간을 조회할 수 있다.The above logging information inquiry window (DT-4-2) is placed below the logging information editing window (DT-4-1), and can inquire about all logging information and occurrence times, such as addition, deletion, and connection, that occur during the design of the designer model.
다시 도 4를 참조하면, 상기 로깅 확인창(DT-4)의 하부에는 디자인되고 있는 디자이너 모델을 편집할 수 있는 모델 작업창(DT-6)이 배치된다.Referring again to FIG. 4, a model work window (DT-6) is arranged at the bottom of the logging confirmation window (DT-4) for editing the designer model being designed.
상기 모델 작업창(DT-6)은 디자인되고 있는 현재 디자이너 모델을 JSON 파일로 저장할 수 있는 저장(Save) 버튼, 저장되어 있는 디자이너 모델을 JSON 파일로 불러올 수 있는 로드(Load) 버튼, 현재 모델 시각화 창(DT-2)의 상태를 그대로 이미지 파일로 저장할 수 있는 이미지 저장(Save Image) 버튼, 현재 모델 시각화 창(DT-2)에서 디자인되고 있는 디자이너 모델 전체를 삭제할 수 있는 모두 삭제(Clear All) 버튼이 구비된다.The above model work window (DT-6) is equipped with a Save button that can save the current designer model being designed as a JSON file, a Load button that can load the saved designer model as a JSON file, a Save Image button that can save the state of the current model visualization window (DT-2) as an image file, and a Clear All button that can delete the entire designer model being designed in the current model visualization window (DT-2).
또한 상기 모델 시각화 창(DT-2)의 하부에는 디자인되고 있는 모델 시각화 창(DT-2)을 확대, 축소, 스패닝시킬 수 있는 보기 제어창(DT-5)이 배치된다.Additionally, a view control window (DT-5) is placed at the bottom of the model visualization window (DT-2) to enlarge, reduce, and span the model visualization window (DT-2) being designed.
상기 보기 제어창(DT-5)에는 작업자가 디자이너 모델을 다각도로 편리하게 볼 수 있도록 현재 모델 시각화 창(DT-2)을 축소시킬 수 있는 줌아웃(Zoom Out) 버튼, 현재 모델 시각화 창(DT-2)을 확대할 수 있는 줌인(Zoom In) 버튼, 그리고 스패닝 기능을 사용할 수 있는 스패닝(Spanning) 버튼이 구비된다.The above view control window (DT-5) is equipped with a Zoom Out button that can reduce the current model visualization window (DT-2) so that the operator can conveniently view the designer model from various angles, a Zoom In button that can enlarge the current model visualization window (DT-2), and a Spanning button that can use the spanning function.
다음으로 상기 트레이닝 모듈(363)은 상기 디자이너 모듈(361)에서 설계되어 생성된 작업자의 디자이너 모델을 학습시키기 위한 시각화 도구이며, 트레인드 모델은 이 트레이닝 모듈(363)의 학습 결과물이다. 작업자가 디자이너 모듈(361)을 통해 설계한 디자이너 모델을 학습시키기 위한 하이퍼 파라미터를 구성할 수 있다.Next, the training module (363) is a visualization tool for training the designer model of the worker designed and generated in the designer module (361), and the trained model is the learning result of this training module (363). Hyperparameters for training the designer model designed by the worker through the designer module (361) can be configured.
상기 트레이닝 모듈(363)은 전문 프로그래밍 지식이 없는 작업자가 쉽고 간편하게 자신이 설계한 디자이너 모델을 학습시킬 수 있는 트레이닝 툴 화면(TT)을 제공하며, 이 트레이닝 툴 화면(TT)은 작업자가 자신이 설계한 디자이너 모델을 불러와 학습 진행을 위한 매개 변수를 설정해 학습시키고 시각적으로 학습된 모델의 성능을 직접 확인할 수 있도록 한다.The above training module (363) provides a training tool screen (TT) that allows a worker without specialized programming knowledge to easily and conveniently train a designer model that he or she has designed. This training tool screen (TT) allows the worker to load a designer model that he or she has designed, set parameters for training progress, train the model, and visually check the performance of the trained model.
상기 트레이닝 모듈(363)이 제공하는 트레이닝 툴 화면(TT)에는 도 30에 도시된 바와 같이 학습 설정창(TT-1), 그래프 뷰어창(TT-2), 로깅 확인창(TT-3), 학습 평가창(TT-4)으로 구성되며, 작업자가 쉽고 간편하게 자신이 설계한 디자이너 모델을 학습시켜 트레인드 모델을 만들 수 있도록 제공된다.The training tool screen (TT) provided by the above training module (363) is composed of a learning setting window (TT-1), a graph viewer window (TT-2), a logging confirmation window (TT-3), and a learning evaluation window (TT-4), as shown in FIG. 30, and is provided so that a worker can easily and conveniently train a designer model he or she designed to create a trained model.
트레이닝 툴 화면(TT)은 전체적으로 수평 길이가 긴 직사각형으로 형성된다.The training tool screen (TT) is formed as a long horizontal rectangle.
그리고 트레이닝 툴 화면(TT)의 좌측에는 대상 디자이너 모델의 학습 프로세스에 대한 학습 파라미터를 구성할 수 있도록 하는 직사각형의 학습 설정창(TT-1)이 배치된다.And on the left side of the training tool screen (TT), a rectangular learning settings window (TT-1) is placed to enable configuration of learning parameters for the learning process of the target designer model.
상기 학습 설정창(TT-1)은 학습에 필요한 학습 데이터셋과 모의 데이터셋을 불러오고, 디자이너 모듈(361)에서 설계되어 생성된 작업자의 디자이너 모델 파일을 불러오고, 학습 알고리즘을 선택하고, 학습 진행을 위한 매개 변수를 설정하고, 학습 스크립트를 선택할 수 있도록 구성된다. 즉 학습 설정창(TT-1)은 학습 데이터셋과 모의 데이터셋에 대한 매개 변수 및 하이퍼파라미터 설정을 포함한 학습 구성, 대상모델 지정, 학습 알고리즘 등을 설정할 수 있다.The above learning setup window (TT-1) is configured to load learning datasets and mock datasets required for learning, load the designer model file of the worker designed and created in the designer module (361), select a learning algorithm, set parameters for learning progress, and select a learning script. In other words, the learning setup window (TT-1) can set learning configurations, target model designation, learning algorithms, etc., including parameter and hyperparameter settings for learning datasets and mock datasets.
도 31을 참조하면, 상기 학습 설정창(TT-1)은 학습에 필요한 학습 데이터셋과 모의 데이터셋을 불러오는 데이터셋 설정창(TT-1-1)과, 학습할 디자이너 모델을 지정하는 모델 설정창(TT-1-2)과, 학습 진행을 위한 파라미터를 설정하는 파라미터 설정창(TT-1-3)과, 학습 스크립트를 구성하는 조기중지 설정창(TT-1-4)과, 학습에 필요한 옵션을 설정하는 옵션 설정창(TT-1-5)과, 학습 완료 후 지원될 수 있는 유틸리티를 설정하는 유틸리티 설정창(TT-1-6)과, 학습을 실행하는 학습 실행 버튼(TT-1-7)으로 분할되어 구성된다.Referring to FIG. 31, the learning setting window (TT-1) is divided into a dataset setting window (TT-1-1) for loading a learning dataset and a mock dataset required for learning, a model setting window (TT-1-2) for specifying a designer model to be learned, a parameter setting window (TT-1-3) for setting parameters for learning progress, an early stop setting window (TT-1-4) for configuring a learning script, an option setting window (TT-1-5) for setting options required for learning, a utility setting window (TT-1-6) for setting utilities that can be supported after learning is completed, and a learning execution button (TT-1-7) for executing learning.
상기 데이터셋 설정창(TT-1-1)은 상기 학습 설정창(TT-1)의 최상단에 배치되며, 학습에 필요한 학습 데이터셋(Training file)과 모의 데이터셋(Testing file)을 찾아 불러올 수 있고, 학습 데이터셋과 모의 데이터셋의 매개 변수(시퀀스 갯수, 함수 갯수, 클래스 갯수 및 합습/유효 셋 비율 등)를 설정할 수 있다.The above dataset setting window (TT-1-1) is located at the top of the above learning setting window (TT-1), and can search for and load the training dataset (Training file) and mock dataset (Testing file) required for learning, and can set the parameters of the training dataset and mock dataset (number of sequences, number of functions, number of classes, and training/valid set ratio, etc.).
여기에서, 'Training file' 입력란은 csv 파일 형태의 학습 데이터셋을 불러온다. 'Testing file' 입력란은 csv 파일 형태의 모의 데이터셋을 불러온다. 'Seq' 입력란은 시퀀스의 갯수를 입력할 수 있다. 'Features' 입력란은 학습 데이터에서의 특징의 갯수를 입력할 수 있다. 'Classes' 입력란은 클래스의 갯수를 입력할 수 있다. 'Training dataset' 입력란은 학습에 사용되는 데이터와 검증에 사용되는 데이터의 비율을 입력할 수 있다. 'Validation dataset' 입력란은 조기중지 옵션으로 학습 진행을 중지하는데 사용되는 유효성 검사 비율을 입력할 수 있다.Here, the 'Training file' input field loads a training dataset in CSV file format. The 'Testing file' input field loads a mock dataset in CSV file format. The 'Seq' input field allows you to enter the number of sequences. The 'Features' input field allows you to enter the number of features in the training data. The 'Classes' input field allows you to enter the number of classes. The 'Training dataset' input field allows you to enter the ratio of data used for training and data used for validation. The 'Validation dataset' input field allows you to enter the validation ratio used to stop training progress with the early stopping option.
상기 모델 설정창(TT-1-2)은 상기 데이터셋 설정창(TT-1-1)의 하부에 배치되며, 학습할 디자이너 모델을 지정할 수 있다.The above model setting window (TT-1-2) is placed below the above dataset setting window (TT-1-1) and can specify a designer model to be learned.
여기에서, 'Designer file' 입력란은 JSON 파일 기반의 설계된 디자이너 모델을 불러온다.Here, the 'Designer file' input field loads the designed designer model based on a JSON file.
상기 파라미터 설정창(TT-1-3)은 상기 모델 설정창(TT-1-2)의 하부에 배치되며, 학습 진행을 위한 하이퍼 파라미터를 설정할 수 있다.The above parameter setting window (TT-1-3) is placed below the above model setting window (TT-1-2) and can set hyper parameters for learning progress.
여기에서, 'Learning Rate' 입력란은 학습의 초기 속도와 각 학습 알고리즘 (SGD, Adam 등)마다 학습 속도를 변경할 수 있다. 'Batch Size' 입력란은 학습된 모델을 수행하고 업데이트하는 데 사용되는 데이터 샘플 수를 입력할 수 있다. 'Number of epochs' 입력란은 전체 훈련 데이터 세트가 모델에 의해 학습되는 횟수를 입력할 수 있다. 'UntilLastOne' 옵션의 경우 마지막 진행 시간까지 학습이 진행되거나 'EarlyStopping satify'의 조건이 있을 때 마지막 진행 이전에 중지된다. 'Loss function' 입력란은 최적화 목표로 사용되는 손실 함수 유형을 선택할 수 있다. 'Optimizer' 입력란은 학습된 모델을 업데이트하는데 사용되는 최적화 알고리즘 유형을 선택할 수 있다. 'Metric' 입력란은 학습된 모델의 성능을 계산하기 위해 메트릭 함수 유형을 선택할 수 있다.Here, the 'Learning Rate' input field allows you to change the initial learning rate and the learning rate for each learning algorithm (SGD, Adam, etc.). The 'Batch Size' input field allows you to enter the number of data samples used to train and update the trained model. The 'Number of epochs' input field allows you to enter the number of times the entire training data set is trained by the model. The 'UntilLastOne' option allows you to train until the last pass or to stop before the last pass if the 'EarlyStopping satisfies' condition is met. The 'Loss function' input field allows you to select the type of loss function used as the optimization objective. The 'Optimizer' input field allows you to select the type of optimization algorithm used to update the trained model. The 'Metric' input field allows you to select the type of metric function used to calculate the performance of the trained model.
상기 조기중지 설정창(TT-1-4)은 상기 파라미터 설정창(TT-1-3)의 하부에 배치되며, 학습 스크립트를 구성할 수 있다. 과도한 주기를 이용하여 뉴럴 네트워크 모델을 학습할 경우 학습 데이터 세트에 과도한 이슈를 야기시킨다. 따라서 학습 스크립트의 두번째 옵션으로 조기 중지를 사용할 수 있다. 조기 중지에는 일반적으로 학습 중 평가 콜백에 대한 유효성 검사 데이터 세트가 필요하다. 그러나, 소규모 데이터 세트의 경우 평가는 학습 데이터 세트에서 이루워질 수 있다. 조기 중지는 학습 세트의 한 부분을 검증 세트로 유지하는 일종의 교차 검증방식이다. 학습도중에, 검증 세트의 성능이 악화되고 있음을 인지하였을 경우에는 학습을 중단해야 한다.The early stopping settings window (TT-1-4) is located below the parameter settings window (TT-1-3) and can be used to configure a learning script. Training a neural network model using excessive cycles can cause excessive issues in the training data set. Therefore, early stopping can be used as a second option in the learning script. Early stopping typically requires a validation data set for the evaluation callback during training. However, for small data sets, evaluation can be performed on the training data set. Early stopping is a type of cross-validation method that retains a portion of the training set as a validation set. During training, if the performance of the validation set is detected to be deteriorating, training should be stopped.
상기 옵션 설정창(TT-1-5)은 상기 조기중지 설정창(TT-1-4)의 하부에 배치되며, 학습에 필요한 옵션을 설정할 수 있다.The above option setting window (TT-1-5) is located below the above early stop setting window (TT-1-4) and allows you to set options necessary for learning.
여기에서, 'Backend' 입력란은 텐서 기반 컴퓨팅 라이브러리를 선택할 수 있다. 'Device' 입력란은 기본(Default), CPU, CUDA 및 OpenCL을 포함하는 옵션을 가져 컴퓨팅을 수행할 옵션을 선택하도록 제공된다.Here, the 'Backend' field allows you to select a tensor-based computing library. The 'Device' field provides options including Default, CPU, CUDA, and OpenCL, allowing you to choose how to perform the computation.
상기 유틸리티 설정창(TT-1-6)은 상기 옵션 설정창(TT-1-5)의 하부에 배치되며, 훈련 과정이 완료된 후에 지원될 수 있는 유틸리티를 설정할 수 있다.The above utility setting window (TT-1-6) is located below the above option setting window (TT-1-5), and can set utilities that can be supported after the training process is completed.
여기에서, 'Summary' 설정버튼은 뉴런 네트워크 아케텍처를 볼 수 있다. 'Save graph' 설정버튼은 학습 추적 그래프를 이미지로 저장한다. 'Save Model' 설정버튼은 학습된 모델을 json 파일로 저장한다.Here, the 'Summary' settings button displays the neural network architecture. The 'Save graph' settings button saves the training trace graph as an image. The 'Save Model' settings button saves the trained model as a JSON file.
상기 학습 실행 버튼(TT-1-7)은 상기 유틸리티 설정창(TT-1-6)의 하부이면서 전체 학습 설정창(TT-1)의 최하단에 배치되며, 학습 설정창(TT-1)을 통해 모든 매개 변수를 구성한 사용자가 선택시 학습을 실행(Run Training)하게 된다.The above learning execution button (TT-1-7) is located at the bottom of the utility setting window (TT-1-6) and at the bottom of the entire learning setting window (TT-1), and when a user who has configured all parameters through the learning setting window (TT-1) selects it, learning is executed (Run Training).
그리고 트레이닝 툴 화면(TT)의 중심 부위에는 객관적인 함수 학습 알고리즘의 정확도를 그래프로 나타내는 그래프 뷰어창(TT-2)이 배치된다.And in the central part of the training tool screen (TT), a graph viewer window (TT-2) is placed to graphically display the accuracy of the objective function learning algorithm.
여기에서, 'Training Loss'는 파란색 선으로 표시된다. 학습 과정이 완벽하면 손실 함수(Training Loss)는 에폭(Epochs) 단위로 줄어들며, 이는 예측값과 실제 레이블 사이의 오류가 0에 근접 함을 의미한다. 이와 같은 경우, 학습된 모델이 컨버전스되었다고 한다. 학습된 모델이 컨버전스되지 않으면 적용하기에 적합하지 않은 상태이므로 새로운 모델을 재설계하고 매개 변수를 변경해야 한다.Here, the 'Training Loss' is indicated by the blue line. If the training process is perfect, the loss function (Training Loss) decreases with each epoch, meaning the error between the predicted value and the actual label approaches zero. In this case, the trained model is said to have converged. If the trained model does not converge, it is not suitable for application, so a new model must be redesigned and its parameters adjusted.
'Training Metric'은 붉은색 선으로 표시된다. 현재 학습된 모델의 정확도를 나타내며, 이 정확도가 100%에 근접해야 한다. 정확도 또는 손실 함수 그래프는 몇가지 이유로 인해 학습 진행 중에 변경 될 수 있다. 예를 들어, 학습 속도가 컨버전스 속도에 영향을 줄 경우 그래프 보기에서 마우스를 사용하여 지정된 시기에 손실값 또는 정확도값을 확인해야 한다.The 'Training Metric' is indicated by a red line. It represents the accuracy of the currently trained model, and this accuracy should be close to 100%. The accuracy or loss function graph may change during training for several reasons. For example, if the learning rate affects the convergence speed, you should use the mouse to check the loss or accuracy values at a specific point in the graph view.
그리고 트레이닝 툴 화면(TT)의 중심에서 상기 그래프 뷰어창(TT-2)의 하부에는 학습 로그창인 로깅 확인창(TT-3)이 배치된다. 이 창에서는 학습 프로세스 중 모든 시기에 대한 인덱스, 정확도값, 손실값 등에 대한 로깅 정보가 표시된다.In addition, at the center of the training tool screen (TT), a learning log window, the logging confirmation window (TT-3), is positioned below the graph viewer window (TT-2). This window displays logging information, such as indices, accuracy values, and loss values, for all periods during the learning process.
그래프 뷰어창(TT-2)과 마찬가지로 로깅 확인창(TT-3)을 사용하여 학습 프로세스를 추적할 수 있다. 여기에는 학습 샘플 및 유효성 검사 샘플에 대한 모든 학습 시기의 에폭, 손실값 및 정확도값(지수)에 대한 정보가 포함되어 있다.Similar to the Graph Viewer window (TT-2), you can track the learning process using the Logging Check window (TT-3). This window contains information on the epochs, loss values, and accuracy (index) for all training epochs for both training and validation samples.
그리고 트레이닝 툴 화면(TT)의 우측에는 테스트 데이터에서 학습된 모델의 성능을 확인하기 위한 학습 평가창(TT-4)이 배치된다. 평가되어진 모델(Trained Model)은 현재 학습된 모델이다. 테스팅 버튼을 클릭 후 혼동 매트릭스를 통해 성능이 표시된다.On the right side of the Training Tool screen (TT), a Learning Evaluation window (TT-4) is placed to check the performance of the model trained on test data. The evaluated model (Trained Model) is the currently trained model. After clicking the Testing button, the performance is displayed through a confusion matrix.
'Trained Model'에서, 'Model file'은 학습된 모델 파일 경로 이거나 기본값은 현재 학습된 모델이다. 'No classes'는 클래스의 수량이다.In 'Trained Model', 'Model file' is the path to the trained model file or the default is the currently trained model. 'No classes' is the number of classes.
'Performance'에서, 'Testing'은 테스트 데이터 세트에서 학습 프로세스를 실행 후 완료로 표시된다. 'Details'는 학습된 모델의 오차 행렬과 성능을 보여준다. 학습 프로세스가 완료된 후 알고리즘의 성능에 대한 세부 정보 버튼이 활성화되어 세부적인 성능을 확인할 수 있게 된다.In 'Performance,' 'Testing' indicates completion after the learning process is run on the test data set. 'Details' displays the error matrix and performance of the learned model. After the learning process is complete, the Details button for the algorithm's performance becomes active, allowing you to view detailed performance data.
다음으로 상기 어플리케이션 모듈(365)은 상기 트레이닝 모듈(363)에서 생성된 작업자의 트레인드 모델에 실시간 디바이스 데이터를 연동시켜 장비 관리 및 예지보전을 수행하게 된다. 이 어플리케이션 모듈(365)은 학습된 모델을 프로덕션에 적용할 때 사용할 수 있다.Next, the application module (365) links real-time device data to the worker's trained model generated by the training module (363) to perform equipment management and predictive maintenance. This application module (365) can be used when applying the learned model to production.
상기 어플리케이션 모듈(365)은 트레인드 모델을 통한 예측 작업의 데이터량이나 예측 작업의 난이도에 따라 작업 단말기(300)에서 바로 구동되거나 운영 서버(400)를 통해 외부 클라이언트 서버에 트레인드 모델을 전송하여 구동시킬 수 있다.The above application module (365) can be operated directly on the work terminal (300) or by transmitting the trained model to an external client server through the operation server (400) depending on the amount of data or difficulty of the prediction task through the trained model.
이때 어플리케이션 모듈(365)이 제공하는 어플리케이션 서비스 화면에는 도 32에 도시된 바와 같은 그래프 뷰(Graph View)를 통해 실시간 입력 및 출력 신호가 시계열 상의 그래프 형태로 표시되어 작업자가 실시간 데이터를 눈으로 확인할 수 있도록 한다. 또한 어플리케이션 모듈(365)이 제공하는 어플리케이션 서비스 화면에는 도 33에 도시된 바와 같은 통계 리포트(Statistical Report)를 통해 분석된 입력 데이터의 결과이며 예측 가능한 모델에 의해 수행될 수 있는 예측의 통계를 요약하여 표출시키게 된다. 작업자는 이 통계 리포트를 활용하여 특정 레벨 임계값을 경보 또는 경고 알림으로 인지할 수 있게 된다.At this time, the application service screen provided by the application module (365) displays real-time input and output signals in the form of a graph over a time series through a graph view as illustrated in FIG. 32, allowing the operator to visually check real-time data. In addition, the application service screen provided by the application module (365) summarizes and displays the statistics of predictions that can be performed by a predictable model and are the results of analyzed input data through a statistical report as illustrated in FIG. 33. The operator can utilize this statistical report to recognize a specific level threshold as an alarm or warning notification.
도 34는 본 발명의 실시예에 따른 장비 운영 데이터를 활용한 현장 장비의 인공지능 관리 방법을 설명하기 위한 흐름도이다.Figure 34 is a flowchart for explaining an artificial intelligence management method of field equipment using equipment operation data according to an embodiment of the present invention.
도 34를 참조하면, 먼저 상기 데이터 수집 서버(200)는 정보통신망을 통해 원거리의 설비 디바이스(100)에서 전송되는 디바이스 데이터를 수집하여 관리하게 된다(S100).Referring to Fig. 34, first, the data collection server (200) collects and manages device data transmitted from a remote equipment device (100) through an information and communication network (S100).
여기에서 상기 디바이스 데이터는 설비 현장에 설치되어 있는 수많은 자동화 설비 및 장비인 설비 디바이스(100)로부터 실시간으로 전달되어 데이터 수집 서버(200)에서 수집되는 디바이스의 상태 및 작업 데이터와 데이터베이스 정보이다.Here, the above device data is device status and operation data and database information that are transmitted in real time from numerous automated facilities and equipment (100) installed at the facility site and collected by the data collection server (200).
이후, 상기 작업 단말기(300)는 디자이너 모듈(320)을 실행시켜 장비 관리 및 예지보전의 수행을 위한 초기 디자이너 모델을 생성한다(S200).Thereafter, the above-mentioned work terminal (300) executes the designer module (320) to create an initial designer model for performing equipment management and predictive maintenance (S200).
이후, 상기 작업 단말기(300)는 트레이닝 모듈(330)을 실행시키고 상기 운영 서버(400)로 디자이너 모델의 학습을 위한 데이터를 요청하여 상기 데이터 수집 서버(200)로부터 모의 데이터와 학습 데이터를 수신해 디자이너 모델을 학습시켜 학습된 트레인드 모델을 생성한다(S300).Thereafter, the work terminal (300) executes the training module (330) and requests data for learning the designer model from the operation server (400), receives simulation data and learning data from the data collection server (200), trains the designer model, and generates a learned trained model (S300).
여기에서 상기 디자이너 모델의 학습 및 학습된 트레인드 모델의 생성은 모델의 학습 부하에 따라 작업 단말기(300)가 아닌 별도의 학습용 서버를 통해 이루어지도록 할 수 있으며, 상기 운영 서버(400)가 모델 학습 및 트레인드 모델의 생성 과정만을 담당할 수도 있다.Here, the learning of the designer model and the generation of the learned trained model can be performed through a separate learning server rather than the work terminal (300) depending on the learning load of the model, and the operation server (400) can be responsible only for the model learning and the generation process of the trained model.
이후, 상기 작업 단말기(300)는 상기 운영 서버(400)로 트레인드 모델의 현장 어플리케이션을 위한 데이터를 요청하고 상기 데이터 수집 서버(200)로부터 설비 디바이스(100)에 대한 실시간 디바이스 데이터를 수신해 이 트레인드 모델에 연동시켜 현장 데이터에 따른 장비 관리 및 예지보전을 수행하게 된다(S400).Thereafter, the above-mentioned work terminal (300) requests data for field application of the trained model from the above-mentioned operation server (400) and receives real-time device data for the equipment device (100) from the above-mentioned data collection server (200) and links it to the trained model to perform equipment management and predictive maintenance according to the field data (S400).
도 35는 본 발명의 실시예에 따른 시스템 지원용의 운영 서버의 세부 구성을 설명하기 위한 블럭 구성도이다.Figure 35 is a block diagram for explaining the detailed configuration of an operating server for system support according to an embodiment of the present invention.
작업 단말기(300)의 장비관리 구동 도구(360)를 구동하는 현장 작업자는 비록 자사 장비의 상태, 배치, 설정 등을 가장 잘 이해하고 있는 반면, 알고리즘을 설계하고 학습시키며 어플리케이션시키는 등의 프로그래밍 작업이 익숙치 않은 경우가 대부분이다. 이 같은 부조화는 결국 현장을 잘 반영하면서 높은 성능을 내는 모델을 기대하기 어렵게 하는 요인이 된다.While field workers who operate the equipment management tool (360) of the work terminal (300) have a thorough understanding of their equipment's status, layout, and settings, they are often unfamiliar with programming tasks such as designing, training, and implementing algorithms. This discrepancy ultimately makes it difficult to expect models that accurately reflect the field while also delivering high performance.
본 발명에서는 로컬의 작업 단말기(300)를 통해 이루어지는 알고리즘의 설계, 학습 및 어플리케이션까지 모든 과정을 원거리의 운영 서버(400)가 네트워킹을 통해 관리함으로써 고품질의 현장 장비 관리 및 예지보전이 이루어지도록 지원하게 된다.In the present invention, all processes, from designing, learning, and applying algorithms through a local work terminal (300), are managed by a remote operation server (400) through networking, thereby supporting high-quality field equipment management and predictive maintenance.
이를 위한 상기 운영 서버(400)는 도 35에 도시된 바와 같이 정보통신망에 접속하기 위한 통신부(410), 로컬에서 구동되는 장비관리 구동 도구(360)의 모델 관리부(362)와 연동되어 장비관리 구동 도구(360)의 디자이너 모듈(361)의 모델 디자인 작업을 지원하는 모델링 지원부(420), 로컬에서 구동되는 장비관리 구동 도구(360)의 트레이닝 관리부(364)와 연동되어 장비관리 구동 도구(360)의 트레이닝 모듈(363)의 모델 학습 작업을 지원하는 트레이닝 지원부(430), 로컬에서 구동되는 장비관리 구동 도구(360)의 어플리케이션 관리부(366)와 연동되어 장비관리 구동 도구(360)의 어플리케이션 모듈(365)의 모델 어플리케이션 작업을 지원하는 어플리케이션 지원부(440), 로컬에서 구동되는 장비관리 구동 도구(360)의 유저 관리부(367)와 연동되어 장비관리 구동 도구(360)의 작업 상황을 확인하는 유저 지원부(450) 및 이들을 제어하기 위한 서버 제어부(460)를 포함하여 구성될 수 있다.The above operation server (400) for this purpose is linked to a communication unit (410) for connecting to an information and communication network as shown in FIG. 35, a modeling support unit (420) that supports the model design work of the designer module (361) of the equipment management driving tool (360) in conjunction with a model management unit (362) of the equipment management driving tool (360) operated locally, a training support unit (430) that supports the model learning work of the training module (363) of the equipment management driving tool (360) in conjunction with a training management unit (364) of the equipment management driving tool (360) operated locally, an application support unit (440) that supports the model application work of the application module (365) of the equipment management driving tool (360) in conjunction with an application management unit (366) of the equipment management driving tool (360) operated locally, and a user management unit (367) of the equipment management driving tool (360) operated locally to check the work status of the equipment management driving tool (360). It can be configured to include a support unit (450) and a server control unit (460) for controlling them.
상기 운영 서버(400)는 통신부(410)로 로컬에서 구동하는 장비관리 구동 도구(360)와 연결되어 모델링 지원부(420), 트레이닝 지원부(430), 어플리케이션 지원부(440) 및 유저 지원부(450)를 통해 알고리즘을 설계하고 학습시키며 어플리케이션시키는 등의 프로그래밍 작업이 익숙치 않은 현장 작업자의 앱 작업을 지원하게 된다. 상기 운영 서버(400)는 현장 작업자가 수행한 단계별 작업 중간결과물을 작업 단말기(300)로부터 전송받고, 관리자 파트에서 작업 중간결과물을 변경/수정/삭제/추가한 작업 지원결과물을 작업 단말기(300)로 전달한다. 작업 단말기(300)는 전달되는 작업 지원결과물을 기존 작업 중간결과물에 반영함으로써 높은 수준의 모델을 운영할 수 있게 될 것이다.The above operation server (400) is connected to the equipment management operation tool (360) that runs locally through the communication unit (410) and supports the app work of unfamiliar field workers in programming tasks such as designing, training, and applying algorithms through the modeling support unit (420), the training support unit (430), the application support unit (440), and the user support unit (450). The operation server (400) receives the intermediate results of each step performed by the field worker from the work terminal (300), and transmits the work support results in which the intermediate results of the work are changed/modified/deleted/added in the management part to the work terminal (300). The work terminal (300) will be able to operate a high-level model by reflecting the transmitted work support results into the existing intermediate results of the work.
상기 모델링 지원부(420)는 로컬 작업 단말기(300)의 모델 관리부(362)를 통해 현장 작업자가 설계하여 생성한 디자이너 모델을 작업 중간결과물로서 수신하고, 전문적인 관리자가 모델 및 가중치를 변경/수정/삭제/추가한 디자이너 모델을 작업 지원결과물로서 로컬 작업 단말기(300)의 모델 관리부(362)로 전달하게 된다. 이를 전달받은 로컬 작업 단말기(300)의 모델 관리부(362)는 디자이너 모듈(361)로 전달해 기존 디자이너 모델에 반영하게 된다. 이에 따라 현장 작업자는 고도의 알고리즘 지식과 프로그래밍 노하우가 없더라도 현장 상황이 반영되면서도 수준 높은 성능의 디자이너 모델을 완성할 수 있게 될 것이다.The above modeling support unit (420) receives the designer model designed and created by the field worker as an intermediate work result through the model management unit (362) of the local work terminal (300), and transfers the designer model, in which the model and weights are changed/modified/deleted/added by a professional manager, as a work support result to the model management unit (362) of the local work terminal (300). The model management unit (362) of the local work terminal (300) that receives this transfers it to the designer module (361) to reflect it in the existing designer model. Accordingly, field workers will be able to complete a designer model with high performance while reflecting the field situation even without advanced algorithm knowledge and programming know-how.
상기 트레이닝 지원부(430)는 로컬 작업 단말기(300)의 트레이닝 관리부(364)를 통해 작업 중간결과물로서 디자이너 모델을 수신하고, 운영 서버(400)측에서 작업 중간결과물인 디자이너 모델을 직접 학습시켜 트레인드 모델을 생성해 작업 지원결과물로서 로컬 작업 단말기(300)의 트레이닝 관리부(364)로 전달하게 된다. 이를 전달받은 로컬 작업 단말기(300)의 트레이닝 관리부(364)는 트레이닝 모듈(363)로 전달해 트레인드 모델에 반영하게 된다. 이에 따라 현장 작업자는 고도의 알고리즘 학습의 절차를 알지 못하더라도 고도로 학습된 트레인드 모델을 완성할 수 있게 될 것이다. 결국 알고리즘 학습의 절차에 익숙치 않은 현장 작업자는 학습시킬 디자이너 모델의 학습 과정을 운영 서버(400)로부터 지원받을 수 있게 된다.The above training support unit (430) receives the designer model as an intermediate result of work through the training management unit (364) of the local work terminal (300), and directly trains the designer model, which is an intermediate result of work, on the operation server (400) side to create a trained model and transmits it as a work support result to the training management unit (364) of the local work terminal (300). The training management unit (364) of the local work terminal (300) that receives this transmits it to the training module (363) to reflect it in the trained model. Accordingly, field workers will be able to complete a highly trained trained model even if they do not know the procedure of highly advanced algorithm learning. Ultimately, field workers who are not familiar with the procedure of algorithm learning can receive support from the operation server (400) for the learning process of the designer model to be trained.
또한 상기 트레이닝 지원부(430)는 현장 작업자의 요청에 따라 관리자의 지정된 학습 절차 관리하에 로컬에서 디자이너 모델을 자동적으로 학습시킬 수 있다. 이때 데이터 학습은 운영 서버(400)측의 관리자에 의해 설정된 일정(시간과 주기)에 따라 운영 서버(400)의 제어하에 작업 단말기(300)의 트레이닝 모듈(363)에서 이루어지게 될 것이다.Additionally, the training support unit (430) can automatically train a designer model locally under the management of a designated learning procedure by an administrator at the request of a field worker. At this time, data training will be performed in the training module (363) of the work terminal (300) under the control of the operating server (400) according to a schedule (time and cycle) set by the administrator of the operating server (400).
상기 어플리케이션 지원부(440)는 현장 작업자의 요청에 따라 지정된 스케줄에 따른 트레인드 모델의 로컬 어플리케이션 과정을 제어하게 된다. 상기 어플리케이션 지원부(440)는 로컬 작업 단말기(300)의 어플리케이션 관리부(366)를 통해 작업 중간결과물로서 트레인드 모델 및 현장 스케줄 정보를 수신하고, 모델 운영 스케줄, 정확도, 신규 가중치 등을 작업 지원결과물로서 로컬 작업 단말기(300)의 어플리케이션 관리부(366)로 전달하게 된다. 이를 전달받은 로컬 작업 단말기(300)의 어플리케이션 관리부(366)는 어플리케이션 모듈(365)로 전달해 어플리케이션에 배포하게 된다.The above application support unit (440) controls the local application process of the trained model according to a specified schedule at the request of a field worker. The application support unit (440) receives the trained model and field schedule information as intermediate work results through the application management unit (366) of the local work terminal (300), and transmits the model operation schedule, accuracy, new weights, etc. as work support results to the application management unit (366) of the local work terminal (300). The application management unit (366) of the local work terminal (300) that receives this transmits it to the application module (365) for distribution to the application.
상기 유저 지원부(450)는 로컬 작업 단말기(300)에서 이루어지는 작업자 유저의 추가/제거 등의 과정을 작업 단말기(300)의 유저 관리부(367)로부터 확인하고 유저별 권한 정보와 어플리케이션의 운용 이력 정보(학습 결과, 시간 및 실행자)를 제공받게 된다.The above user support unit (450) confirms the process of adding/removing worker users, etc., performed on the local work terminal (300) from the user management unit (367) of the work terminal (300) and receives user-specific authority information and application operation history information (learning results, time, and executor).
이상과 같이 도면과 명세서에서 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, the best practice embodiments have been disclosed in the drawings and specifications. While specific terminology has been used herein, it is solely for the purpose of describing the present invention and is not intended to limit the scope of the invention as defined in the claims. Therefore, those skilled in the art will understand that various modifications and equivalent embodiments are possible. Therefore, the true scope of technical protection of the present invention should be determined by the technical spirit of the appended claims.
100 : 설비 디바이스 200 : 데이터 수집 서버
300 : 작업 단말기 310 : 제어부
320 : 통신부 330 : 입력부
340 : 표시부 350 : 저장부
360 : 장비관리 구동 도구 361 : 디자이너 모듈
362 : 모델 관리부 363 : 트레이닝 모듈
364 : 트레이닝 관리부 365 : 어플리케이션 모듈
366 : 어플리케이션 관리부 367 : 유저 관리부
400 : 운영 서버 500 : 라이브러리 서버100: Equipment device 200: Data collection server
300: Work terminal 310: Control unit
320: Communication section 330: Input section
340: Display section 350: Storage section
360: Equipment Management Operation Tool 361: Designer Module
362: Model Management Department 363: Training Module
364: Training Management Department 365: Application Module
366: Application Management Department 367: User Management Department
400: Operation Server 500: Library Server
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220130806AKR102843176B1 (en) | 2022-10-12 | 2022-10-12 | System and method for management of field equipment based on artificial intelligence using equipment data, and operating sever supporting the same |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220130806AKR102843176B1 (en) | 2022-10-12 | 2022-10-12 | System and method for management of field equipment based on artificial intelligence using equipment data, and operating sever supporting the same |
| Publication Number | Publication Date |
|---|---|
| KR20240050875A KR20240050875A (en) | 2024-04-19 |
| KR102843176B1true KR102843176B1 (en) | 2025-08-06 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220130806AActiveKR102843176B1 (en) | 2022-10-12 | 2022-10-12 | System and method for management of field equipment based on artificial intelligence using equipment data, and operating sever supporting the same |
| Country | Link |
|---|---|
| KR (1) | KR102843176B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180284747A1 (en)* | 2016-05-09 | 2018-10-04 | StrongForce IoT Portfolio 2016, LLC | Methods and systems for optimization of data collection and storage using 3rd party data from a data marketplace in an industrial internet of things environment |
| KR102254449B1 (en)* | 2019-04-29 | 2021-05-21 | 주식회사 알피네트웍스 | Production management service system capable of providng optimum management condition |
| US20220172844A1 (en)* | 2019-09-26 | 2022-06-02 | Fujifilm Corporation | Machine learning system and method, integration server, information processing apparatus, program, and inference model creation method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180284747A1 (en)* | 2016-05-09 | 2018-10-04 | StrongForce IoT Portfolio 2016, LLC | Methods and systems for optimization of data collection and storage using 3rd party data from a data marketplace in an industrial internet of things environment |
| KR102254449B1 (en)* | 2019-04-29 | 2021-05-21 | 주식회사 알피네트웍스 | Production management service system capable of providng optimum management condition |
| US20220172844A1 (en)* | 2019-09-26 | 2022-06-02 | Fujifilm Corporation | Machine learning system and method, integration server, information processing apparatus, program, and inference model creation method |
| Publication number | Publication date |
|---|---|
| KR20240050875A (en) | 2024-04-19 |
| Publication | Publication Date | Title |
|---|---|---|
| JP7439242B2 (en) | Visual creation and monitoring of machine learning models | |
| Lade et al. | Manufacturing analytics and industrial internet of things | |
| EP4028963B1 (en) | Methods, system and medium for predicting manufacturing process risks | |
| EP3005056B1 (en) | User interface for machine learning | |
| WO2023091275A1 (en) | Intelligence driven method and system for multi-factor optimization of schedules and resource recommendations for smart construction | |
| US7159208B2 (en) | Programming toolkit for use in the development of knowledge enhanced electronic logic programs | |
| CN116070712A (en) | Build and manage AI flows using long-running workflows for robotic process automation | |
| US12299427B1 (en) | Generating degree of development of structured processes using automatically calibrated queries | |
| US20230289623A1 (en) | Systems and methods for an automated data science process | |
| KR102588260B1 (en) | Intuitively improved infographic system | |
| Strickland | Data analytics using open-source tools | |
| KR102843176B1 (en) | System and method for management of field equipment based on artificial intelligence using equipment data, and operating sever supporting the same | |
| US7685528B2 (en) | Programming toolkit with aligning clipper windows for use in the development of knowledge enhanced electronic programs | |
| John | A control chart pattern recognition methodology for controlling information technology-enabled service (ITeS) process customer complaints | |
| Kummari et al. | Unifying Temporal Reasoning and Agentic Machine Learning: A Framework for Proactive Fault Detection in Dynamic, Data-Intensive Environments | |
| Kim et al. | Data-driven prognostics | |
| US7039623B1 (en) | Computer program and data structure for use in knowledge enhance electronic logic | |
| US12346544B2 (en) | Systems, methods, and graphical user interfaces for adaptive design exploration and model management | |
| US12393749B2 (en) | Interactive tool for specifying factor relationships in design structure | |
| Pamisetty et al. | Unifying Temporal Reasoning and Agentic Machine Learning: A Framework for Proactive Fault Detection in Dynamic, Data-Intensive Environments | |
| Challa et al. | Unifying Temporal Reasoning and Agentic Machine Learning: A Framework for Proactive Fault Detection in Dynamic, Data-Intensive Environments | |
| Wijesekara et al. | AI-driven Dashboards for Enterprise Decision Making. | |
| Nam et al. | Short-Long Policy Evaluation with Novel Actions | |
| Aydinoğlu | A Decision Support System Software for Intelligent Manufacturing | |
| Kim et al. | Prediction |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| D13-X000 | Search requested | St.27 status event code:A-1-2-D10-D13-srh-X000 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| E13-X000 | Pre-grant limitation requested | St.27 status event code:A-2-3-E10-E13-lim-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| PR1002 | Payment of registration fee | St.27 status event code:A-2-2-U10-U11-oth-PR1002 Fee payment year number:1 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 |