본 발명은 도로변에 설치되는 인프라에 구비되는 카메라 또는 라이더가 강풍이나 지진 또는 구조적 결함으로 인한 흔들림을 보정하는 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치 및 이를 이용한 방법에 관한 것이다.The present invention relates to a shake compensation device for an infrastructure sensor for autonomous cooperative driving that compensates for shaking caused by strong winds, earthquakes, or structural defects in a camera or lidar installed on infrastructure along a road, and a method using the same.
자율주행 차량 (이하 "자율차"라 함)은 센서와 카메라 같은 입력장치들을 이용하여 자동차 주위에 있는 사물의 종류, 위치 등 주행환경정보를 인식하고, 차량을 제어하여 자율주행을 하는 기능을 가지고 있다. 이와 같은 자율차의 자율주행환경 인식 기능을 도와주기 위해 도로변에 설치되는 시스템을 엣지 인프라 시스템(이하 "인프라 시스템"이라고 함) 이라 부르고, 이를 통해 추가로 자율차 사각지대의 동적객체 정보, 돌발상황 정보, 노면상태 정보, 사고정보 등을 인식하여 인근에서 주행하는 자율차에 C-V2X 통신장치를 통해서 전달하여 자율협력주행방식의 자율주행기술을 구현하는 방향으로 변화하고 있다.Autonomous vehicles (hereinafter referred to as "autonomous vehicles") have the function of recognizing driving environment information such as the type and location of objects around the vehicle using input devices such as sensors and cameras, and controlling the vehicle to drive autonomously. To assist this autonomous vehicle's autonomous driving environment recognition function, a system installed on the roadside is called an edge infrastructure system (hereinafter referred to as "infrastructure system"), and through this, dynamic object information, unexpected situation information, road condition information, accident information, etc. in the autonomous vehicle's blind spot are additionally recognized and transmitted to autonomous vehicles driving nearby through C-V2X communication devices, thereby implementing autonomous driving technology of autonomous cooperative driving.
이러한 인프라 시스템 기반의 도로 상황 인식 기술은 타 차량 및 인프라와의 협력을 통해 수집되는 도로 상태, 교통 흐름 및 날씨 패턴에 대한 데이터 및 인공지능의 조합을 사용하여 실시간으로 분석하고, 이를 통해 운전자에게 도로에서의 위험이나 장애물에 효과적으로 대비하여 보다 안전하고 효율적으로 자율 주행을 할 수 있다.These infrastructure-based road situation awareness technologies use a combination of artificial intelligence and real-time analysis of data on road conditions, traffic flow, and weather patterns collected through collaboration with other vehicles and infrastructure, enabling drivers to effectively prepare for road hazards and obstacles, enabling safer and more efficient autonomous driving.
도 1에 나타난 바와 같이 도로변에 설치된 종래의 인프라(10)는 폴대(11)와 폴대(11)에 연결되는 암(12)에 장착된 카메라(13), 라이다(14) 등과 같은 인프라 센서 및 측정된 센싱 데이터를 전송하는 통신 모듈(15)이 구비되어 있다.As shown in Fig. 1, a conventional infrastructure (10) installed on the roadside is equipped with a pole (11), an infrastructure sensor such as a camera (13) and a lidar (14) mounted on an arm (12) connected to the pole (11), and a communication module (15) for transmitting measured sensing data.
여기서, 인프라 센서는 주변의 차량, 보행자 등과 같은 동적 객체의 인지 및 돌발상황, 공사, 사고와 같은 도로상황을 인지하는데 사용되며, 인지 결과는 자율차에 전송되어 자율 협력주행에 활용된다.Here, infrastructure sensors are used to recognize dynamic objects such as surrounding vehicles and pedestrians, as well as road conditions such as emergencies, construction, and accidents, and the recognition results are transmitted to autonomous vehicles and utilized for autonomous cooperative driving.
그런데, 도 1에 나타난 바와 같이 폴대(11)나 암(12)이 강풍, 지진과 같은 자연현상이나 외부로부터의 충격, 기구물의 구조적인 결함 등으로 인해 흔들리게 될 경우, 장착된 인프라 센서(13,14)의 위치가 변경되게 되고, 이로 인해 인지된 객체 및 도로상황의 위치정보에 오차가 발생하게 된다.However, as shown in Fig. 1, if the pole (11) or the arm (12) shakes due to a natural phenomenon such as a strong wind or an earthquake, an external impact, or a structural defect in the device, the position of the installed infrastructure sensor (13, 14) changes, which causes an error in the position information of the recognized object and road conditions.
또한, 이러한 위치정보 오차가 보정되지 않고 자율차에 전송되어 자율 협력 주행에 사용되게 될 경우, 자율차의 주행 판단 알고리즘에 오류를 유발하여 사고가 발생할 수 있는 등 자율주행의 안전성을 저해하는 문제가 발생할 수 있다.In addition, if these location information errors are not corrected and transmitted to autonomous vehicles and used for autonomous cooperative driving, they may cause errors in the autonomous vehicle's driving judgment algorithm, which may lead to accidents and other problems that undermine the safety of autonomous driving.
자율차는 자율 협력주행을 위해 TM(Transverse Mercator) 좌표계와 같은 전역 좌표계(World Coordinate System) 상에서 인프라의 인지 정보와 자율차의 인지된 정보를 융합하고, 이를 자율주행시 판단에 활용한다.For autonomous cooperative driving, autonomous vehicles fuse the infrastructure's perception information and the autonomous vehicle's perception information in a world coordinate system such as the Transverse Mercator (TM) coordinate system, and use this to make decisions during autonomous driving.
전역 좌표계는 지구 전체의 지리적 위치를 표시하기 위한 좌표 시스템으로, 지구의 곡면을 고려하여 설계되어 있어서 지구 상의 어떤 지점도 정확하게 나타낼 수 있고 현재 가장 널리 사용되는 전역 좌표계에는 위도와 경도를 기반으로 하는 경위도(WGS84)가 있다.The global coordinate system is a coordinate system for displaying the geographic location of the entire Earth. It is designed to take into account the curvature of the Earth, so it can accurately represent any point on the Earth. Currently, the most widely used global coordinate system is the longitude and latitude (WGS84), which is based on latitude and longitude.
한편, 인프라에서 기본적으로 수집되는 좌표계는 지역 좌표계(Local Coordinate System)를 사용하는데, 이는 특정 지역, 도시와 같은 상대적으로 작은 지리적 범위 내에서 지리 정보를 나타낸다.Meanwhile, the coordinate system collected by default in the infrastructure uses a local coordinate system, which represents geographic information within a relatively small geographic range such as a specific region or city.
하지만 앞서 언급하였듯이, 인프라의 흔들림으로 인해 센서에 의해 측정된 특정 사물의 위치정보, 즉 지역 좌표계가 달라질 수 있고, 이를 전역 죄표계로 변경하는 과정에서 흔들림에 이한 위치 정보의 오차를 보정하여야 할 필요가 있다.However, as mentioned earlier, the location information of a specific object measured by a sensor, i.e. the local coordinate system, may change due to the shaking of the infrastructure, and in the process of changing this to a global coordinate system, it is necessary to correct the error in the location information due to the shaking.
도 2는 종래기술에 따른 인프라의 흔들림에 의한 위치정보의 보정 필요성을 설명하기위한 예시이다.Figure 2 is an example to explain the necessity of correcting location information due to shaking of infrastructure according to conventional technology.
도 2(a)에 나타난 바와 같이, 인프라 센서를 통해 인식된 객체는 초기에 센서 좌표계에 기반한 지역 좌표계 상에서의 위치정보를 가지고 있으며, 회전(R, Rotation) 및 이동(t, translation) 정보를 가지는 변환행렬을 통해 객체의 위치정보를 전역 좌표계로 변환하여 자율차에 전송함으로써, 자율차가 인프라의 인지 정보를 융합하여 사용할 수 있게 한다.As shown in Fig. 2(a), an object recognized through an infrastructure sensor initially has location information on a local coordinate system based on a sensor coordinate system, and the location information of the object is converted into a global coordinate system through a transformation matrix having rotation (R, Rotation) and translation (t, Translation) information and transmitted to the autonomous vehicle, thereby enabling the autonomous vehicle to integrate and use the infrastructure's recognition information.
또한 종래의 기술은 인프라 센서가 흔들리지 않을 것으로 가정하고, 센서를 폴대(11)에 장착한 시점에 한번 캘리브레이션을 수행하여 지역 좌표계에서 전역 좌표계로의 변환행렬을 생성하고, 이 변환행렬을 시스템 운영 시 수정 없이 사용함으로써, 도 2(b)에 나타난 바와 같이 센서가 흔들렸을 경우에 객체의 위치정보 오차를 보정하지 못하는 문제가 있다.In addition, the conventional technology assumes that the infrastructure sensor will not shake, and performs calibration once when the sensor is mounted on the pole (11) to generate a transformation matrix from the local coordinate system to the global coordinate system, and uses this transformation matrix without modification during system operation, so there is a problem in that the position information error of the object cannot be corrected when the sensor shakes, as shown in Fig. 2(b).
특허문헌 1은 박스형 교통시설물이 바람의 영향에 의하여 기울어질 때, 이를 감지하여 정위치로 복원시킴으로써 정확한 속도 감지와 촬영을 하도록 하는 흔들림 보정 장치가 구비된 교통시설물에 관한 것으로, 기울기 센서 및 레이저에 의해 변위를 측정하여 정위치에 위치하도록 하는 것을 특징으로 하고 있지만 본 발명에서의 영상을 통한 변위를 측정하는 기술적 특징은 개시되어 있지 않다.Patent Document 1 relates to a traffic facility equipped with a shake compensation device that detects when the box-shaped traffic facility is tilted due to the influence of wind and restores it to its original position, thereby enabling accurate speed detection and filming. It is characterized by measuring displacement using a tilt sensor and a laser to position it in the original position, but the technical feature of measuring displacement through an image in the present invention is not disclosed.
본 발명은 인프라 센서의 흔들림 보정 문제를 해결하기 위하여, 센서 데이터로부터 동적 객체의 특징점을 제거하고, 정적인 영역에 대해서만 특징점을 추출하여 기준점과 매칭하여 좌표계의 변환행렬을 이용하여 동적 객체의 위치정보를 보정하는 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치 및 이를 이용한 방법을 제공하는데 그 목적이 있다.The purpose of the present invention is to provide a shake correction device for an infrastructure sensor for autonomous cooperative driving and a method using the same, which corrects the position information of a dynamic object by removing feature points of a dynamic object from sensor data, extracting feature points only for a static area, matching them with a reference point, and using a transformation matrix of a coordinate system, in order to solve the shake correction problem of an infrastructure sensor.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치는, 인프라 센서로부터 수집된 복수의 영상으로부터 하나의 영상 데이터를 획득하는 영상획득부, 딥러닝 기반의 인공지능을 이용하여 상기 영상 데이터에 존재하는 동적 객체를 분리하고, 상기 동적 객체를 하나의 사각형의 박스로 표시하는 객체 인식부, 동적 객체의 영역을 제외한 상기 정적인 영역의 경계부분에 해당하는 특징점을 추출하는 특징점 추출부, 추출된 특징점에 대응되는 기준 영상에서의 기준 특징점을 매칭하는 특징점 매칭부, 추출된 특징점과 상기 기준 특징점의 좌표계에 기초하여 위치정보를 보정하는 위치보정부 및 동적 객체의 보정된 위치 좌표를 인프라 센서에 인접한 자율 주행 차량에 전송하는 위치 전송부를 포함하는 것을 특징으로 한다.In order to achieve the above object, the shake correction device of an infrastructure sensor for autonomous cooperative driving according to the present invention is characterized by including an image acquisition unit that acquires one image data from a plurality of images collected from an infrastructure sensor, an object recognition unit that separates a dynamic object existing in the image data using deep learning-based artificial intelligence and displays the dynamic object as a single rectangular box, a feature point extraction unit that extracts a feature point corresponding to a boundary portion of a static area excluding an area of a dynamic object, a feature point matching unit that matches a reference feature point in a reference image corresponding to the extracted feature point, a position correction unit that corrects position information based on a coordinate system of the extracted feature point and the reference feature point, and a position transmission unit that transmits the corrected position coordinates of the dynamic object to an autonomous vehicle adjacent to the infrastructure sensor.
또한 본 발명에 따른 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치에서, 객체 인식부는 상기 영상에 존재하는 상기 객체의 위치를 결정하는 객체 검출부, 객체 검출부에서 추정되는 복수의 박스에서 객체가 포함되는 확률을 계산하여 최종적으로 객체가 포함되는 박스를 결정하는 영역 검출부를 포함하는 것을 특징으로 한다.In addition, in the shake correction device of the infrastructure sensor for autonomous cooperative driving according to the present invention, the object recognition unit is characterized by including an object detection unit that determines the location of the object existing in the image, and an area detection unit that calculates the probability that the object is included in a plurality of boxes estimated by the object detection unit and ultimately determines the box that includes the object.
또한 본 발명에 따른 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치에서, 추출된 특징점은 차량, 보행자와 같은 동적 객체의 검출 영역에서 추출된 특징점을 제외하고, 횡단보도, 정지선과 같은 정적 영역에서 추출된 특징점인 것을 특징으로 한다.In addition, in the shake correction device of the infrastructure sensor for autonomous cooperative driving according to the present invention, the extracted feature points are characterized in that they are feature points extracted from a static area such as a crosswalk or a stop line, excluding feature points extracted from a detection area of a dynamic object such as a vehicle or a pedestrian.
또한 본 발명에 따른 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치에서, 기준 특징점은 흔들림이 없는 상태에서의 인프라 센서로부터 사전에 수집되어 저장된 것을 특징으로 한다.In addition, in the shake correction device of the infrastructure sensor for autonomous cooperative driving according to the present invention, the reference feature points are collected and stored in advance from the infrastructure sensor in a state of no shake.
또한 본 발명에 따른 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치에서, 인프라 센서는 카메라 또는 라이더 중 적어도 하나 인 것을 특징으로 한다.In addition, in the shake compensation device of the infrastructure sensor for autonomous cooperative driving according to the present invention, the infrastructure sensor is characterized in that at least one of a camera and a lidar.
또한 본 발명에 따른 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치에서, 위치 좌표는 지역 좌표계이고, 변환행렬을 이용하여 상기 지역 좌표계를 전역 좌표계 상의 객체 위치인 것을 특징으로 한다.In addition, in the shake compensation device of the infrastructure sensor for autonomous cooperative driving according to the present invention, the position coordinates are a local coordinate system, and the local coordinate system is characterized in that the object position on the global coordinate system is converted using a transformation matrix.
본 발명에 따른 자율 협력주행을 위한 인프라 센서의 흔들림 보정 방법은, 인프라 센서 데이터로부터 영상을 획득하는 제1 단계, 획득된 영상에서 동적 객체를 검출하는 제2 단계, 동적 객체의 검출 영역을 필터링하여 정적 영역에서의 특징점을 추출하는 제3 단계, 추출된 특징점과 기준 영상에서의 기준 특징점을 매칭하여 매칭점을 추출하는 제4단계, 매칭점을 이용하여 좌표계 변환행렬을 생성하는 제5 단계, 좌표계 변환행렬을 이용하여 검출된 상기 동적 객체의 위치정보를 보정하는 제6 단계 및 보정된 위치정보를 인프라 센서에 인접한 자율 주행 차량에 전송하는 제7 단계로 이루어지는 것을 특징으로 한다.A shake correction method of an infrastructure sensor for autonomous cooperative driving according to the present invention is characterized by comprising a first step of acquiring an image from infrastructure sensor data, a second step of detecting a dynamic object from the acquired image, a third step of filtering a detection area of the dynamic object to extract feature points in a static area, a fourth step of matching the extracted feature points with reference feature points in a reference image to extract matching points, a fifth step of generating a coordinate system transformation matrix using the matching points, a sixth step of correcting position information of the detected dynamic object using the coordinate system transformation matrix, and a seventh step of transmitting the corrected position information to an autonomous vehicle adjacent to the infrastructure sensor.
또한 본 발명에 따른 자율 협력주행을 위한 인프라 센서의 흔들림 보정 방법에서, 제3단계에서 상기 정적 영역에서의 특징점은 차량, 보행자와 같은 동적 객체의 검출 영역에서 추출된 특징점을 제외하고, 횡단보도, 정지선과 같은 정적 영역에서 추출된 특징점인 것을 특징으로 한다.In addition, in the shake correction method of an infrastructure sensor for autonomous cooperative driving according to the present invention, in the third step, the feature points in the static area are feature points extracted from a static area such as a crosswalk or a stop line, excluding feature points extracted from a detection area of a dynamic object such as a vehicle or a pedestrian.
이상에서 설명한 바와 같이, 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치 및 이를 이용한 방법에 의하면, 강풍, 지진과 같은 자연현상이나 외부로부터의 충격, 기구물의 구조적인 결함 등으로 인해 인프라 센서가 흔들리더라도 자동차와 사람의 정확한 위치를 보정할 수 있는 장점이 있다.As described above, the shaking compensation device of the infrastructure sensor for autonomous cooperative driving and the method using the same have the advantage of being able to correct the exact positions of vehicles and people even if the infrastructure sensor shakes due to natural phenomena such as strong winds or earthquakes, external impacts, or structural defects in the equipment.
도 1은 종래기술에 따른 도로에 설치되는 인프라의 구성도이다.
도 2는 종래기술에 따른 인프라의 흔들림에 의한 위치정보의 보정 필요성을 설명한 예시이다.
도 3은 본 발명의 일 실시예에 따른 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치를 구성하는 기능 블럭도를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상획득부에서 수집된 영상을 예시한도면이다.
도 5는 본 발명의 바람직한 일실시예에 따른 객체 인식부의 기능 블럭도이다.
도 6은 본 발명의 바람직한 일실시예에 따른 객체 인식부에 의해 추출된 객체를 예시한 영상이다.
도 7은 본 발명의 바람직한 일실시예에 따른 특징점 추출부에 의해 추출된 특징점을 예시한 영상이다.
도 8은 본 발명의 바람직한 일실시예에 따른 특징점 추출부에 의해 추출된 특징점을 기준 특징점과 매칭한 영상이다.
도 9는 본 발명의 바람직한 일실시예에 따른 좌표계 변환 행렬을 이용하여 검출 객체의 위치 정보를 설명하기 위한 도면이다.
도 10은 본 발명에 따른 바람직한 일실시예로 인프라 센서의 흔들림 보정 장치를 이용하여 인프라 센서의 흔들림을 보정하는 방법을 설명한 순서도이다.Figure 1 is a diagram of the configuration of infrastructure installed on a road according to conventional technology.
Figure 2 is an example explaining the need for correction of location information due to shaking of infrastructure according to conventional technology.
FIG. 3 is a functional block diagram showing a shake compensation device of an infrastructure sensor for autonomous cooperative driving according to one embodiment of the present invention.
FIG. 4 is a diagram illustrating an image collected by an image acquisition unit according to one embodiment of the present invention.
Figure 5 is a functional block diagram of an object recognition unit according to a preferred embodiment of the present invention.
FIG. 6 is an image illustrating an object extracted by an object recognition unit according to a preferred embodiment of the present invention.
Figure 7 is an image illustrating feature points extracted by a feature point extraction unit according to a preferred embodiment of the present invention.
Figure 8 is an image in which feature points extracted by a feature point extraction unit according to a preferred embodiment of the present invention are matched with reference feature points.
FIG. 9 is a drawing for explaining position information of a detected object using a coordinate system transformation matrix according to a preferred embodiment of the present invention.
FIG. 10 is a flowchart illustrating a method for compensating for shaking of an infrastructure sensor using a shake compensation device of the infrastructure sensor as a preferred embodiment according to the present invention.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail, so that those skilled in the art can easily implement the present invention. However, when describing the operating principles of preferred embodiments of the present invention in detail, if a detailed description of a related known function or configuration is judged to unnecessarily obscure the gist of the present invention, such detailed description will be omitted.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Additionally, the same drawing reference numerals are used for parts with similar functions and actions throughout the drawings. Throughout the specification, when a part is said to be connected to another part, this includes not only direct connections but also indirect connections with other elements intervening. Furthermore, inclusion of a component does not exclude other components unless specifically stated otherwise, but rather implies the inclusion of additional components.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the attached drawings.
도3은 본 발명의 일실시예에 따른 자율 협력주행을 위한 인프라 센서의 흔들림 보정 장치를 구성하는 기능 블럭도를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 영상 획득부(110)에서 수집된 영상을 예시한 도면이다.FIG. 3 is a functional block diagram of a shake correction device for an infrastructure sensor for autonomous cooperative driving according to an embodiment of the present invention, and FIG. 4 is a diagram illustrating an image collected by an image acquisition unit (110) according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 인프라 센서의 흔들림 보정 장치(100)는 영상 획득부(110), 객체 인식부(120), 특징점 추출부(130), 특징점 매칭부(140), 위치 보정부(150) 및 위치 전송부(160)로 구성된다.As illustrated in FIG. 3, the shake correction device (100) of the infrastructure sensor is composed of an image acquisition unit (110), an object recognition unit (120), a feature point extraction unit (130), a feature point matching unit (140), a position correction unit (150), and a position transmission unit (160).
흔들림 보정 장치(100)는 인프라(10)에 구비되는 통신 모듈(15)에 위치할 수 있고, 별도의 유무선 네트워크에 연결되는 하나의 컴퓨팅 서버에 위치할 수 있으므로 이에 제한을 두지 않고, 도 3에 나타난 기능들을 수행할 수 있는 프로세서가 구비되면 충분하다.The shake correction device (100) can be located in a communication module (15) provided in the infrastructure (10), and can be located in a single computing server connected to a separate wired or wireless network, and is not limited thereto. It is sufficient if a processor capable of performing the functions shown in FIG. 3 is provided.
먼저 영상 획득부(110)는 비디오 카메라(13) 또는 라이더(14)로부터 획득된 실시간 비디오 신호를 수집한다. 수집된 신호는 하나의 영상 프레임 단위로 분리하는데, 일반적으로 비디오 신호는 초당 30 개 이상의 영상 프레임으로 구성되나, 프로세서의 성능이나 동적 객체의 움직임에 따라 선택적으로 영상을 분리할 수 있으므로 초당 분리하는 영상 프레임의 수는 한정하지 않는다.First, the image acquisition unit (110) collects real-time video signals acquired from a video camera (13) or a lidar (14). The collected signals are separated into video frame units. Generally, a video signal is composed of 30 or more video frames per second. However, since the images can be selectively separated depending on the performance of the processor or the movement of a dynamic object, the number of video frames separated per second is not limited.
도 4를 참조하면, 도 4(a)는 흔들린 상태에서 획득된 도로의 영상을 나타낸 도면이고, 도 4(b)는 흔들림이 없는 초기 인프라 설치 당시에 획득된 기준 영상으로, 동일한 인프라 센서에 의해 획득된 영상이지만 두 영상이 서로 정확하게 일치하지 않는다는 것을 알 수 있다.Referring to Fig. 4, Fig. 4(a) is a drawing showing an image of a road acquired in a shaking state, and Fig. 4(b) is a reference image acquired at the time of initial infrastructure installation without shaking. Although the two images are acquired by the same infrastructure sensor, it can be seen that the two images do not exactly match each other.
객체 인식부(120)는 딥러닝 기반의 인공지능을 이용하여 영상 내의 객체(동적 객체 및 정적인 영역의 객체)를 부분적으로 분리 후 인식하여 하나의 박스로 표시하는 기능을 수행한다.The object recognition unit (120) performs the function of partially separating and recognizing objects (dynamic objects and objects in static areas) within an image using deep learning-based artificial intelligence and displaying them as a single box.
특징점 추출부(130)는 영상 내에서 객체가 존재하는 위치를 결정하는 것으로, 하나의 박스를 생성하고 영상의 크기를 필터를 통해 재구성하면서 객체가 위치할 영역을 특정하고, 추정되는 복수의 박스에서 객체가 포함되는 확률을 계산하여 최종적으로 동적 객체가 포함되는 박스를 결정한다.The feature point extraction unit (130) determines the location where an object exists within an image, creates a box, reconstructs the size of the image through a filter, specifies the area where the object is to be located, calculates the probability that the object is included in a plurality of estimated boxes, and ultimately determines the box that includes the dynamic object.
특징점 매칭부(140)는 인프라(10)의 설치 당시에 고정된 인프라 센서로부터 획득된 기준 영상에서 생성된 기준 특징점과 센서가 흔들린 상태의 센서 데이터에서 정적인 영역으로부터 추출된 특징점을 상호 매칭한다.The feature point matching unit (140) matches the reference feature points generated from the reference image acquired from the fixed infrastructure sensor at the time of installation of the infrastructure (10) with the feature points extracted from the static area in the sensor data of the sensor in a shaking state.
위치 보정부(150)는 센서가 흔들린 상태에서 검출된 동적 객체의 위치정보를 센서가 고정된 상태로의 기준 센서 좌표계로 위치정보를 보정하고, 보정된 동적 객체의 위치정보는 전역 좌표계 변환행렬을 이용하여 전역 좌표계 상의 위치로 변환한다.The position correction unit (150) corrects the position information of a dynamic object detected while the sensor is shaking to the reference sensor coordinate system while the sensor is fixed, and converts the corrected position information of the dynamic object to a position on the global coordinate system using a global coordinate system transformation matrix.
위치 전송부(160)는 변환된 전역 좌표계 상의 객체의 위치 좌표를 자율차에 전송하게 되며, 자율차는 이들 객체 검출 정보를 수신하여 자율 협력주행을 수행할 수 있다.The location transmission unit (160) transmits the location coordinates of an object on the transformed global coordinate system to the autonomous vehicle, and the autonomous vehicle can receive the object detection information and perform autonomous cooperative driving.
이하, 흔들림 보정 장치(100)의 세부 기능에 대해 도면을 참조하여 자세히 설명한다.Hereinafter, the detailed functions of the shake correction device (100) will be described in detail with reference to the drawings.
도 5는 본 발명의 바람직한 일실시예에 따른 객체 인식부(120)의 기능 블럭도이고, 도 6은 본 발명의 바람직한 일실시예에 따른 객체 인식부(120)에 의해 추출된 객체를 예시한 영상이다.FIG. 5 is a functional block diagram of an object recognition unit (120) according to a preferred embodiment of the present invention, and FIG. 6 is an image illustrating an object extracted by the object recognition unit (120) according to a preferred embodiment of the present invention.
도 5를 참조하면, 객체 인식부(120)는 영상 내에서 움직이는 동적 객체가 존재하는 위치를 결정하는 것으로, 객체 검출부(121) 및 영역 검출부(122)로 이루어진다.Referring to FIG. 5, the object recognition unit (120) determines the location where a moving dynamic object exists within an image, and is composed of an object detection unit (121) and an area detection unit (122).
객체 검출부(121)는 하나의 영상에서 객체가 위치할 가능성이 있는 위치에 하나의 박스를 생성하고 영상의 크기를 필터를 통해 재구성하면서 동적 객체가 위치할 영역을 특정할 수 있다.The object detection unit (121) can create a box in an image at a location where an object is likely to be located and specify an area where a dynamic object is to be located by reconstructing the size of the image through a filter.
영역 검출부(122)는 객체 검출부(121)에서 추정되는 복수의 박스에서 객체가 포함되는 확률을 계산하여 최종적으로 객체가 포함되는 박스를 결정하게 된다.The area detection unit (122) calculates the probability that an object is included in a plurality of boxes estimated by the object detection unit (121) and ultimately determines the box that includes the object.
이러한 일련의 과정을 위해 본 발명에서는 영상을 그리드 시스템으로 분할하는 객체 감지 알고리즘 중 하나인 파이토치(Pytorch)기반 딥러닝 프레임 워크에서 수행되는 YOLOv5를 사용하였다. YOLOv5는 별도의 전처리 과정 없이 하나의 영상을 컨볼루션 신경망(CNN)을 통해 가능하고 별도의 다른 분류기 기반의 접근 방식과 달리 손실함수에 대해 직접 대응해 훈련하여 처리시간 측면에서 실시간 객체 검출이 가능하다. 이러한 YOLOv5는 오픈소스이므로 자세한 동작 및 설명은 생략한다.For this series of processes, the present invention used YOLOv5, which is one of the object detection algorithms that divides an image into a grid system and is performed on a Pytorch-based deep learning framework. YOLOv5 can detect objects in real time in terms of processing time by directly responding to the loss function and training it through a convolutional neural network (CNN) on a single image without a separate preprocessing step, unlike other classifier-based approaches. Since YOLOv5 is open source, detailed operation and description are omitted.
또한, 인프라 센서 중 하나인 라이다로부터 획득된 영상은 라이다 포인트 클라우드 데이터 기반의 CenterPoint 모델을 이용할 수 있다.Additionally, images acquired from LiDAR, one of the infrastructure sensors, can utilize the CenterPoint model based on LiDAR point cloud data.
도 6(a)를 참조하면, 입력 영상 내에서 YOLOv5를 이용하여 객체로 추정되는 영역을 선정하여 하나의 박스로 표현한 예시를 나타내고 있고, 분리된 객체 특히, 입력 영상에서 배경을 나타내는 영역의 객체(예로 도로, 나무 등)들은 학습 과정에서 객체로 선정되지 않도록 가중치를 조정할 수 있으므로 배제가 가능하다.Referring to Fig. 6(a), an example is shown in which an area estimated to be an object is selected using YOLOv5 within an input image and expressed as a single box. Separated objects, especially objects in an area representing the background in the input image (e.g., roads, trees, etc.), can be excluded by adjusting their weights so that they are not selected as objects during the learning process.
도 6(b)은 CenterPoint 딥러닝 모델을 이용한 라이다 포인트 클라우드 데이터 기반의 3D 동적 객체 검출 예시한 도면이다.Figure 6(b) is a diagram illustrating an example of 3D dynamic object detection based on lidar point cloud data using the CenterPoint deep learning model.
도 7은 본 발명의 바람직한 일실시예에 따른 특징점 추출부에 의해 추출된 특징점을 예시한 영상으로, 동적 객체(R)의 특징점(Rp)과 정적인 영역의 특징점(Fp)으로 구분하여 추출할 수 있다.FIG. 7 is an image illustrating feature points extracted by a feature point extraction unit according to a preferred embodiment of the present invention, and can be extracted by distinguishing between feature points (Rp) of a dynamic object (R) and feature points (Fp) of a static area.
여기서, 특징점(Feature point)은 인프라 센서 데이터 내에서 구분이 용이한고유한 지점으로, 인프라 센서가 획득한 영상 내에서 주변 영역과 대비하여 보다 식별이 용이한 지점(영상 내 화소의 주변 색상과 휘도 중 적어도 하나 이상의 차이가 발생)을 의미한다.Here, a feature point is a unique point that is easily distinguishable within the infrastructure sensor data, and refers to a point that is more easily identifiable compared to the surrounding area within the image acquired by the infrastructure sensor (at least one difference occurs between the surrounding color and brightness of the pixel within the image).
이러한 특징점 추출을 위한 대표적인 알고리즘으로는 영상 데이터 기반의 SIFT(Scale-Invariant Feature Transform), SURF(Speeded-Up Robust Features) 및 포인트 클라우드 데이터 기반의 NARF(Normal Aligned Radial Feature) 등이 있고, 통상의 기술자 수준에서 이들 알고리즘 중 하나를 선택하여 쉽게 실시할 수 있으므로 자세한 설명은 생략한다.Representative algorithms for extracting these feature points include SIFT (Scale-Invariant Feature Transform), SURF (Speeded-Up Robust Features) based on image data, and NARF (Normal Aligned Radial Feature) based on point cloud data. Since one of these algorithms can be easily selected and implemented at the level of a typical technician, a detailed explanation is omitted.
도 8은 본 발명의 바람직한 일실시예에 따른 특징점 추출부에 의해 추출된 특징점을 기준 특징점과 매칭한 영상이다.Figure 8 is an image in which feature points extracted by a feature point extraction unit according to a preferred embodiment of the present invention are matched with reference feature points.
도 8에 도시된 바와 같이, 인프라(10)의 설치 당시에 고정된 인프라 센서로부터 획득된 기준 영상에서 생성된 기준 특징점은 정적인 영역으로부터 추출된 특징점을 의미한다.As illustrated in Fig. 8, the reference feature points generated from the reference image acquired from the fixed infrastructure sensor at the time of installation of the infrastructure (10) refer to feature points extracted from a static area.
도 8(a)는 센서가 흔들린 상태의 센서 데이터에서 정적인 영역으로부터 추출된 특징점을 나타내고 있고, 도 8(b)는 기준영상에서의 센서 데이터로부터 정적인 영역으로부터 추출된 기준 특징점이고, 서로 매칭되는 특징점의 쌍(M)들은 직선으로 되어 표시된다.Figure 8(a) shows feature points extracted from a static area in sensor data when the sensor is shaken, and Figure 8(b) shows reference feature points extracted from a static area in sensor data in a reference image, and pairs (M) of feature points that match each other are displayed as straight lines.
특징점들을 추출함에 있어, 차량, 보행자 등과 같은 이동이 가능한 동적 객체의 검출 영역에서 추출된 특징점을 제외하고, 횡단보도, 정지선, 차선, 도로안내선(도로면에 표시된 안내선)과 같은 정적인 영역에서 추출된 특징점만 매칭에 사용함으로써 매칭 정확도와 처리 속도를 향상시킬 수 있다.When extracting feature points, matching accuracy and processing speed can be improved by using only feature points extracted from static areas such as crosswalks, stop lines, lanes, and road guide lines (guide lines marked on the road surface) for matching, excluding feature points extracted from detection areas of moving dynamic objects such as vehicles and pedestrians.
즉, 동적 객체에서 특징점을 추출하여 매칭하는 경우, 동적 객체의 형태가 계속 변하고 다른 객체들 간의 중첩 등으로 인하여 매칭에 어려운 문제가 있으며, 또한 다수의 이동 객체가 화면에 존재하는 경우 매칭 정확도 및 처리 속도가 저하되어 실시간으로 특징점 매칭을 수행하기 어려움이 발생하기 때문에, 동적 객체 검출 영역을 필터링하여 정적인 영역에서만 특징점을 추출하여 매치함으로써 매칭 정확도와 처리 속도를 높이고자 하는 것이다.That is, when extracting and matching feature points from dynamic objects, there are problems with matching due to the shape of the dynamic objects constantly changing and overlapping with other objects, and also, when a large number of moving objects exist on the screen, matching accuracy and processing speed decrease, making it difficult to perform feature point matching in real time. Therefore, the goal is to filter the dynamic object detection area and extract and match feature points only in the static area, thereby increasing matching accuracy and processing speed.
도 9는 본 발명의 바람직한 일실시예에 따른 좌표계 변환 행렬을 이용하여 검출 객체의 위치 정보를 설명하기 위한 도면이다.FIG. 9 is a drawing for explaining position information of a detected object using a coordinate system transformation matrix according to a preferred embodiment of the present invention.
도 9(a)는 센서가 흔들린 상태에서 획득한 영상 데이터 및 차량 검출 예이고, 도 9(b)는 좌표계 변환행렬을 이용해 흔들린 영상과 기준 좌표계 영상을 정합 후 흔들린 센서 좌표계의 객체 검출 위치를 좌표계 변환행렬을 이용하여 보정한 예이다.Fig. 9(a) is an example of image data and vehicle detection obtained while the sensor is shaking, and Fig. 9(b) is an example of correcting the object detection position in the shaking sensor coordinate system using the coordinate system transformation matrix after matching the shaking image and the reference coordinate system image using the coordinate system transformation matrix.
도 9(a) 및 9(b)를 참조하면, 흔들린 센서의 좌표계 원점(A)을 기준으로 동적 객체의 위치 좌표 (Xc, Yc)는 기준 영상의 좌표계 원점(A')을 기준으로 좌측으로 일부 이동한 위치 좌표 (X'c, Y'c)에서 이동한 것임을 알 수 있다.Referring to FIGS. 9(a) and 9(b), it can be seen that the position coordinates (Xc, Yc) of the dynamic object relative to the coordinate system origin (A) of the shaken sensor have moved from the position coordinates (X'c, Y'c) that have moved slightly to the left relative to the coordinate system origin (A') of the reference image.
보정된 동적 객체의 위치 좌표는 도 9에서처럼 변환행렬을 이용하여 구할 수 있고, 이러한 좌표 변환행렬은 카메라 영상의 경우는 RANSAC(RANdom Sample Consensus) 알고리즘을 이용하여 호모그래피 행렬(Homography matrix)을 구하여 기준 센서 좌표계로의 좌표계 변환행렬을 생성할 수 있다.The position coordinates of the corrected dynamic object can be obtained using a transformation matrix as in Fig. 9, and in the case of a camera image, the coordinate transformation matrix can be obtained by using the RANSAC (RANdom Sample Consensus) algorithm to obtain a homography matrix and generate a coordinate transformation matrix to the reference sensor coordinate system.
RANSAC 알고리즘에서는 모든 경우의 수를 고려하는 것이 아니라 랜덤 샘플링을 이용해서 랜덤하게 선택되는 특징점들을 이용해서 호모그래피 행렬을 계산하는데, RANSAC 알고리즘을 이용하여 호모그래피 행렬을 계산하는 과정은 다음과 같다. 먼저, 기준 영상에 대응되는 특징점을 선택하여 호모그래피 행렬 계산한 후, 해당 행렬이 일정 값이상의 평가 값을 가질 경우 RANSAC 종료하는 방식으로 수행될 수 있다.The RANSAC algorithm does not consider all cases, but rather calculates a homography matrix using randomly selected feature points using random sampling. The process of calculating a homography matrix using the RANSAC algorithm is as follows. First, select feature points corresponding to the reference image, calculate a homography matrix, and then terminate RANSAC when the matrix has an evaluation value above a certain value.
라이다에 의해 획득된 포인트 클라우드 데이터의 경우는 ICP(Iterative Closest Point) 알고리즘을 이용하여 기준 영상과 인프라 센서에 의해 획득된 데이터를 서로 정합(registration)하여 기준 센서 좌표계로의 좌표계 변환행렬을 생성할 수 있다.In the case of point cloud data acquired by LiDAR, the ICP (Iterative Closest Point) algorithm can be used to register the data acquired by the reference image and the infrastructure sensor to generate a coordinate system transformation matrix into the reference sensor coordinate system.
이러한 변환행렬을 생성하는 절차는 통상의 기술자라면 쉽게 실시할 수 있으므로 자세한 설명은 생략한다.The procedure for generating this transformation matrix can be easily performed by ordinary technicians, so a detailed description is omitted.
도 10은 본 발명에 따른 바람직한 일실시예로 인프라 센서의 흔들림 보정 장치를 이용하여 인프라 센서의 흔들림을 보정하는 방법을 설명한 순서도이다.FIG. 10 is a flowchart illustrating a method for compensating for shaking of an infrastructure sensor using a shake compensation device of the infrastructure sensor as a preferred embodiment according to the present invention.
도 10에 도시된 바와 같이, 흔들림을 보정하는 방법은 인프라 센서 데이터로부터 영상을 획득하는 제1 단계(S100), 획득된 영상에서 동적 객체를 검출하는 제2 단계(S200), 동적 객체의 검출 영역을 필터링하여 정적인 영역에서의 특징점을 추출하는 제3 단계(S300)한다.As illustrated in Fig. 10, a method for compensating shaking includes a first step (S100) of acquiring an image from infrastructure sensor data, a second step (S200) of detecting a dynamic object in the acquired image, and a third step (S300) of filtering a detection area of the dynamic object to extract feature points in a static area.
또한 추출된 특징점과 기준 영상에서의 기준 특징점을 매칭하여 매칭점을 추출하는 제4단계(S400), 매칭점을 이용하여 좌표계 변환행렬을 생성하는 제5 단계(S500), 좌표계 변환행렬을 이용하여 검출된 동적 객체의 위치정보를 보정하는 제6 단계(S600) 및 보정된 위치정보를 인프라 센서에 인접한 자율 주행 차량에 전송하는 제7 단계(S700)로 이루어진다.In addition, it is composed of a fourth step (S400) of extracting matching points by matching the extracted feature points with the reference feature points in the reference image, a fifth step (S500) of generating a coordinate system transformation matrix using the matching points, a sixth step (S600) of correcting the location information of the detected dynamic object using the coordinate system transformation matrix, and a seventh step (S700) of transmitting the corrected location information to an autonomous vehicle adjacent to the infrastructure sensor.
제2 단계(S200)에서는 비디오 카메라(13) 또는 라이더(14)로부터 획득된 실시간 비디오 신호로부터 하나의 영상 프레임 단위로 분리하고, 딥러닝 기반의 인공지능을 이용하여 영상 내의 동적 객체만을 부분적으로 분리 후 인식하여 하나의 박스로 표시한다.In the second step (S200), a real-time video signal acquired from a video camera (13) or a rider (14) is separated into video frame units, and only dynamic objects in the image are partially separated and recognized using deep learning-based artificial intelligence, and then displayed as a single box.
지금까지 본 발명에 대해 구체적인 실시예들을 참고하여 설명하였다. 그러나, 본 발명이 속한 분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주내에서 다양한 응용 및 변형을 수행하는 것이 가능할 것이다.The present invention has been described with reference to specific embodiments. However, those skilled in the art will be able to make various applications and modifications within the scope of the present invention based on the above-described content.
10: 인프라
11: 폴대12: 암13: 카메라14: 라이다
15: 통신 모듈
100: 흔들림 보정 장치
110: 영상 획득부
120: 객체 인식부121: 객체 검출부122: 영역 검출부
130: 특징점 추출부
140: 특징점 매칭부
150: 위치 보정부
160: 위치 전송부
M: 매칭되는 특징점의 쌍
R: 동적 객체
Rp: 동적 객체의 특징점
Fp: 정적인 영역의 특징점10: Infrastructure
11: Pole 12: Arm 13: Camera 14: Lidar
15: Communication module
100: Image stabilization device
110: Image acquisition unit
120: Object recognition unit 121: Object detection unit 122: Area detection unit
130: Feature point extraction unit
140: Feature point matching section
150: Position correction unit
160: Location Transmission Unit
M: Pair of matching feature points
R: Dynamic Object
Rp: Feature points of dynamic objects
Fp: Feature point in static area
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230158597AKR102851691B1 (en) | 2023-11-15 | 2023-11-15 | Apparatus for stabilization of an infra for autonomous cooperative driving and method using the same |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230158597AKR102851691B1 (en) | 2023-11-15 | 2023-11-15 | Apparatus for stabilization of an infra for autonomous cooperative driving and method using the same |
| Publication Number | Publication Date |
|---|---|
| KR20250071729A KR20250071729A (en) | 2025-05-22 |
| KR102851691B1true KR102851691B1 (en) | 2025-09-02 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230158597AActiveKR102851691B1 (en) | 2023-11-15 | 2023-11-15 | Apparatus for stabilization of an infra for autonomous cooperative driving and method using the same |
| Country | Link |
|---|---|
| KR (1) | KR102851691B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010002225A1 (en) | 1988-03-10 | 2001-05-31 | Masayoshi Sekine | Image shake detecting device |
| KR102249380B1 (en) | 2019-12-02 | 2021-05-07 | 주식회사 스트리스 | System for generating spatial information of CCTV device using reference image information |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100947291B1 (en) | 2009-11-23 | 2010-03-12 | 주식회사 동해종합기술공사 | Traffic equipment with compensation apparatus for waving |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010002225A1 (en) | 1988-03-10 | 2001-05-31 | Masayoshi Sekine | Image shake detecting device |
| KR102249380B1 (en) | 2019-12-02 | 2021-05-07 | 주식회사 스트리스 | System for generating spatial information of CCTV device using reference image information |
| Publication number | Publication date |
|---|---|
| KR20250071729A (en) | 2025-05-22 |
| Publication | Publication Date | Title |
|---|---|---|
| CN115439424B (en) | Intelligent detection method for aerial video images of unmanned aerial vehicle | |
| EP2282295B1 (en) | Object recognizing device and object recognizing method | |
| JP4321821B2 (en) | Image recognition apparatus and image recognition method | |
| JP3780848B2 (en) | Vehicle traveling path recognition device | |
| CN107590470B (en) | Lane line detection method and device | |
| CN109034047A (en) | A kind of method for detecting lane lines and device | |
| WO2018153304A1 (en) | Map road mark and road quality collection apparatus and method based on adas system | |
| WO2018225446A1 (en) | Map points-of-change detection device | |
| CN109931939A (en) | Vehicle positioning method, apparatus, device, and computer-readable storage medium | |
| KR20190019840A (en) | Driver assistance system and method for object detection and notification | |
| JP2006209511A (en) | Image recognition device, image recognition method, position specifying device using the same, vehicle control device, and navigation device | |
| JPWO2009072507A1 (en) | Road marking recognition device, road marking recognition method, and road marking recognition program | |
| JP6278791B2 (en) | Vehicle position detection device, vehicle position detection method, vehicle position detection computer program, and vehicle position detection system | |
| JP6822427B2 (en) | Map change point detector | |
| JP6620175B2 (en) | Distance calculation device and vehicle control device | |
| KR20130053980A (en) | Obstacle detection method using image data fusion and apparatus | |
| JP4775658B2 (en) | Feature recognition device, vehicle position recognition device, navigation device, feature recognition method | |
| CN114091513A (en) | Situational awareness method and system for assisted remote control driving by ground unmanned platform | |
| WO2023108931A1 (en) | Vehicle model determining method based on video-radar fusion perception | |
| KR101818842B1 (en) | Driving assistant apparatus, distance detection method and width of lane detection method | |
| JP4762026B2 (en) | Road sign database construction device | |
| KR101651061B1 (en) | Method and device for lane detection | |
| KR102338912B1 (en) | Recognition method of vehicles license plate using super resolution | |
| Horani | Improved vision-based lane line detection in adverse weather conditions utilizing vehicle-to-infrastructure (V2I) communication | |
| US11417117B2 (en) | Method and device for detecting lanes, driver assistance system and vehicle |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| E13-X000 | Pre-grant limitation requested | St.27 status event code:A-2-3-E10-E13-lim-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| PR0701 | Registration of establishment | St.27 status event code:A-2-4-F10-F11-exm-PR0701 | |
| PR1002 | Payment of registration fee | St.27 status event code:A-2-2-U10-U11-oth-PR1002 Fee payment year number:1 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 |