KR102310845B1 - Cctv one body type smart street light based on artificial intelligence - Google Patents

Abstract

According to the present invention, a CCTV integrated smart street light based on artificial intelligence includes: a camera-integrated street light which is installed on a fixed frame installed on the ground, and includes a lighting lamp which irradiates light to the ground and a camera which captures the ground; an image analysis module which analyzes an image captured by the camera through an artificial intelligence image analysis algorithm to generate an image analysis result value; and a street light control module which detects an event based on an image analysis result of the image analysis module, and controls brightness of the lighting lamp or a lighting direction of the lighting lamp by interpreting a detected event. Through this, the present invention can prevent accidents by improving convenience of vehicle drivers and pedestrians, and provide differentiated services to the vehicle drivers and pedestrians.

Description

Translated fromKorean

인공지능 기반의 CCTV 일체형 스마트 가로등{CCTV ONE BODY TYPE SMART STREET LIGHT BASED ON ARTIFICIAL INTELLIGENCE}CCTV integrated smart street light based on artificial intelligence {CCTV ONE BODY TYPE SMART STREET LIGHT BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 차량 운전자 및 보행자의 편의를 향상시키고 사고를 예방할 수 있는 인공지능 기반의 CCTV 일체형 스마트 가로등에 관한 것이다.The present invention relates to an artificial intelligence-based CCTV integrated smart street light that can improve the convenience of vehicle drivers and pedestrians and prevent accidents.

일반적으로 가로등은 도로의 가장자리에 설치되고, 정해진 시간에 점등되어 해당 영역을 밝혀주며, 야간에 도로를 통행하는 차량이나 보행자가 안전하게 도로를 통행할 수 있게 한다.In general, street lamps are installed on the edge of a road, are turned on at a predetermined time to illuminate a corresponding area, and allow vehicles or pedestrians to safely pass on the road at night.

그리고, 최근에는 CCTV 카메라를 이용한 영상분석을 통한 관제시스템이 빠르게 발전하고 있다. 그리고, CCTV 또는 팬틸트줌(pan-tilt-zoon, PTZ) 카메라와 같은 영상 감시 시스템은 현대 사회에서 범죄 예방, 교통 안전, 및 시설 보안 등을 위한 목적으로 널리 사용되고 있다.And, recently, the control system through image analysis using a CCTV camera is rapidly developing. In addition, video surveillance systems such as CCTV or pan-tilt-zoon (PTZ) cameras are widely used in modern society for the purposes of crime prevention, traffic safety, and facility security.

또한, 최근에는 CCTV 영상 분석 기술을 가로등과 연계시켜 도로나 보도 상의 보행자나 야간 보행자의 안전을 보호하기 위한 다양한 기술이 개발되고 있다.In addition, in recent years, various technologies have been developed to protect the safety of pedestrians or pedestrians at night by linking CCTV image analysis technology with street lights.

하지만, 이러한 종래의 기술은 CCTV 카메라에서 촬영된 영상을 분석한 후에 단순히 객체를 감지하여 가로등의 밝기를 조정하는 것에 불과하기 때문에 차량 운전자나 보행자의 편의를 향상시킬 수 있는 다양한 서비스를 제공하기 어려운 문제점이 있었다.However, since this conventional technique merely adjusts the brightness of a street lamp by detecting an object after analyzing an image captured by a CCTV camera, it is difficult to provide various services that can improve the convenience of vehicle drivers or pedestrians. there was

또한, 종래의 기술은 CCTV와 가로등이 별도의 위치에 이격되어 설치되어 있으므로 카메라에서 인식된 객체에게 조명을 비추도록 컨트롤하기가 어려운 문제점이 있었다.In addition, the conventional technology has a problem in that it is difficult to control to illuminate the object recognized by the camera because the CCTV and the street lamp are installed spaced apart from each other.

이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.Matters described in this background section are prepared to enhance understanding of the background of the invention, and may include matters that are not already known to those of ordinary skill in the art to which this technology belongs.

본 발명은 CCTV에서 촬영된 영상을 분석하여 이벤트를 검출하고, 검출된 이벤트를 해석하여 조명등의 밝기 및 조명 방향을 제어하여 차량 운전자 및 보행자의 편의를 향상시키고 사고를 예방할 수 있는 인공지능 기반의 CCTV 일체형 스마트 가로등을 제안하고자 한다.The present invention is an artificial intelligence-based CCTV that can detect an event by analyzing an image captured by CCTV, and control the brightness and direction of lighting by interpreting the detected event to improve the convenience of vehicle drivers and pedestrians and prevent accidents. We would like to propose an integrated smart street light.

본 발명의 인공지능 기반의 CCTV 일체형 스마트 가로등은 지상에 설치된 고정 프레임에 설치되며, 지면에 빛을 조사하는 조명등과 상기 지면을 촬영하는 카메라를 포함하는 카메라 일체형 가로등, 인공지능 영상분석 알고리즘을 통해서 상기 카메라에서 촬영된 영상을 분석하여 영상분석 결과값을 생성하는 영상 분석 모듈, 그리고 상기 영상 분석 모듈의 영상 분석 결과값을 바탕으로 이벤트를 검출하고, 상기 검출된 이벤트를 해석하여 상기 조명등의 밝기 또는 상기 조명등의 조명 방향을 제어하는 가로등 제어 모듈을 포함한다.The artificial intelligence-based CCTV integrated smart street light of the present invention is installed on a fixed frame installed on the ground, and a camera-integrated street light including a lighting lamp that irradiates light on the ground and a camera that captures the ground, and an artificial intelligence image analysis algorithm. An image analysis module that analyzes an image captured by a camera to generate an image analysis result value, and detects an event based on the image analysis result value of the image analysis module, interprets the detected event to determine the brightness of the lighting lamp or the and a street light control module for controlling the lighting direction of the lighting lamp.

상기 영상 분석 모듈의 상기 영상 분석 결과값 또는 상기 이벤트의 메타데이터를 관제 서버 또는 사용자 단말로 전송하는 전송하는 통신 모듈을 더 포함할 수 있다.The method may further include a communication module for transmitting the image analysis result value of the image analysis module or the metadata of the event to a control server or a user terminal.

상기 카메라는, 180도 영역을 촬영하는 파노라마 카메라를 포함할 수 있다.The camera may include a panoramic camera that captures a 180 degree area.

상기 영상 분석 모듈은, 상기 파노라마 카메라에 촬영된 파노라마 영상의 곡면부분을 전처리하여 평면 이미지로 변환하고, 상기 평면 이미지를 분석하여 상기 영상분석 결과값을 생성할 수 있다.The image analysis module may pre-process a curved portion of the panoramic image captured by the panoramic camera to convert it into a flat image, and analyze the flat image to generate the image analysis result value.

상기 인공지능 영상분석 알고리즘은, 상기 카메라의 촬영 영역에 인식된 차량의 주정차 유무, 상기 촬영 영역에 위치한 주차장의 주차면 및 차량 운행 패턴, 상기 촬영 영역을 통행하는 차량의 카운팅을 통한 통행량 및 상기 통행량의 변화량, 상기 촬영 영역을 통행하는 차량의 막힘 상황, 상기 촬영 영역을 보행하는 보행자의 보행패턴, 또는 상기 촬영 영역 내에서 이동하는 이동객체의 이상행동 감지 여부 중 적어도 하나를 학습하여 분석할 수 있다.The artificial intelligence image analysis algorithm includes: whether the vehicle is parked or stopped in the photographing area of the camera; can be analyzed by learning at least one of the amount of change of , a blockage situation of a vehicle passing through the photographing area, a gait pattern of a pedestrian walking in the photographing area, or whether abnormal behavior of a moving object moving within the photographing area is detected. .

상기 가로등 제어 모듈은, 도로를 통행하는 차량의 교통량을 카운팅하여 관제 센터 또는 관리자 단말에 전송하도록 제어하되, 상기 도로 상에 정지된 정지 차량의 정차시간이 기설정된 설정시간 이상인 경우 사고로 감지하여 상기 정지 차량에 조사되는 조명등의 밝기를 조절하고, 해당 촬영 영상과 함께 알람을 생성하여 관제 센터 또는 관리자 단말에 전송하도록 제어할 수 있다.The street light control module counts the amount of traffic of vehicles passing on the road and controls it to be transmitted to the control center or the manager terminal, but if the stopping time of the vehicle stopped on the road is longer than a preset time, it is detected as an accident and the It is possible to control the brightness of the lighting lamp irradiated to the stationary vehicle, generate an alarm together with the corresponding captured image, and transmit it to the control center or the manager terminal.

상기 가로등 제어 모듈은, 도로 및 횡단보도를 촬영한 영상으로부터 상기 횡단보도를 보행하는 보행자를 감시하며, 상기 횡단보도가 아닌 도로를 횡단하는 보행자의 움직임이 감지된 경우, 상기 횡단보도가 아닌 도로를 횡단하는 보행자에 빛이 조사되도록 조명등의 밝기 및 조명 방향을 조절하고, 해당 촬영 영상과 함께 알람을 생성하여 관제 센터 또는 관리자 단말에 전송하도록 제어할 수 있다.The street light control module monitors a pedestrian walking in the crosswalk from the image taken of the road and the crosswalk, and when a movement of a pedestrian crossing the road other than the crosswalk is detected, the road other than the crosswalk It is possible to control the brightness and lighting direction of the lighting lamp so that light is irradiated to the pedestrians crossing it, and an alarm is generated along with the corresponding captured image and transmitted to the control center or the manager terminal.

상기 가로등 제어 모듈은, 야간 보행자의 움직임을 검출하여 상기 조명등의 밝기를 조절하되, 상기 야간 보행자의 움직임이 없는 경우에는 조명등의 밝기를 낮추고, 상기 야간 보행자의 움직임이 감지된 경우 상기 조명등의 밝기를 높이도록 제어할 수 있다.The street light control module detects the movement of the pedestrian at night and adjusts the brightness of the lighting lamp, when there is no movement of the night pedestrian, lowers the brightness of the lighting lamp, and when the movement of the night pedestrian is detected, the brightness of the lighting lamp height can be controlled.

상기 가로등 제어 모듈은, 상기 야간 보행자의 움직임을 따라 상기 조명등의 조명 방향을 조절하도록 제어하되, 인접하는 가로등이 상기 야간 보행자의 움직임을 따라 조명등의 밝기 및 조명 방향을 조절하도록 상기 야간 보행자의 이동 정보를 상기 인접하는 가로등에 전송할 수 있다.The street light control module controls to adjust the lighting direction of the lighting lamp according to the movement of the night pedestrian, but the adjacent street lamp adjusts the brightness and the lighting direction of the lighting lamp according to the movement of the night pedestrian movement information of the night pedestrian can be transmitted to the adjacent street lamp.

상기 영상 분석 모듈은, 상기 카메라에서 촬영된 영상을 분석하여 상기 카메라의 촬영 영역 내에 인식된 주차면을 분석하되, 총 주차면의 수 및 위치정보, 각각의 주차면에 주차된 차량의 주차시간정보, 및 차량이 주차되지 않은 빈주차면의 수 및 위치에 관한 빈주차면 정보를 분석할 수 있다.The image analysis module analyzes the image taken by the camera to analyze the parking surface recognized in the shooting area of the camera, the total number and location information of the parking surface, and parking time information of the vehicle parked in each parking surface , and vacant parking surface information regarding the number and location of vacant parking surfaces on which the vehicle is not parked may be analyzed.

상기 가로등 제어 모듈은, 상기 카메라의 촬영 영역 내에서 이동하는 이동객체를 검출하여 상기 조명등의 밝기를 조절하되, 상기 빈주차면 정보를 기초로 상기 빈주차면에 조사되는 조명등의 밝기를 조절하거나 상기 빈주차면에 빛을 조사하도록 상기 조명등의 조명 방향을 조절할 수 있다.The street light control module detects a moving object moving within the photographing area of the camera and adjusts the brightness of the lighting lamp, and adjusts the brightness of the lighting lamp irradiated to the empty parking surface based on the empty parking surface information or the empty parking surface It is possible to adjust the lighting direction of the lighting lamp to irradiate the light.

상기 가로등 제어 모듈은, 차량이 주차된 주차면에 조사되는 밝기보다 차량이 주차되지 않은 빈주차면에 조사되는 조명등의 밝기를 높이도록 상기 조명등의 밝기를 조절할 수 있다.The street light control module may adjust the brightness of the lighting lamp to increase the brightness of the lighting lamp irradiated on the empty parking surface where the vehicle is not parked than the brightness irradiated on the parking surface where the vehicle is parked.

본 발명에 따르면, 카메라에서 촬영된 영상을 분석하여 이벤트를 검출하고, 검출된 이벤트를 해석하여 조명등의 밝기 및 조명등의 조명 방향을 제어함으로써, 차량 운전자 및 보행자의 편의를 향상시키고 사고를 예방할 수 있는 환경을 제공한다.According to the present invention, by analyzing an image captured by a camera to detect an event, and interpreting the detected event to control the brightness of the lighting and the lighting direction of the lighting, it is possible to improve the convenience of vehicle drivers and pedestrians and prevent accidents. provide an environment

또한, 본 발명은 180도 영역을 촬영하는 파노라마 카메라에서 촬영된 파노라마 영상의 곡면부분을 전처리하여 평면 이미지로 변환하고, 상기 평면 이미지를 분석하여 영상분석 결과값을 생성함으로써, 영상분석의 정확도를 향상시키며, 영상 내의 차량이나 보행자 등의 이동객체 및 주차면등의 시설물을 보다 명확히 인식할 수 있는 환경을 제공한다.In addition, the present invention improves the accuracy of image analysis by preprocessing a curved portion of a panoramic image taken by a panoramic camera that shoots a 180-degree area, converting it into a flat image, and analyzing the flat image to generate an image analysis result value. It provides an environment in which moving objects such as vehicles and pedestrians in the image and facilities such as parking surfaces can be recognized more clearly.

또한, 본 발명은 인공지능 영상분석 알고리즘을 통해서 지면에 주차된 차량의 주정차 유무, 지면에 형성된 주차장의 주차면 및 차량 운행 패턴, 지면을 통행하는 차량의 카운팅을 통한 통행량 및 요일별/시간대별 상기 통행량의 변화량, 지면을 통행하는 차량의 막힘 상황, 지면을 보행하는 보행자의 보행패턴 및 무단 횡단 여부, 및 이동객체의 이상행동 감지 여부를 학습하여 분석하고, 분석 결과를 기초로 조명등의 밝기 및 조명등의 조명 방향을 제어함으로써, 차량 운전자와 보행자에게 차별화된 서비스를 제공할 수 환경을 제공한다.In addition, the present invention is through an artificial intelligence image analysis algorithm whether the vehicle parked on the ground is parked or stopped, the parking surface and vehicle operation pattern of the parking lot formed on the ground, the amount of traffic through counting of vehicles passing through the ground, and the amount of traffic by day/time It learns and analyzes the change amount of traffic, blockage of vehicles passing through the ground, gait patterns and trespassing of pedestrians walking on the ground, and whether abnormal behavior of moving objects is detected. By controlling the lighting direction, it provides an environment that can provide differentiated services to vehicle drivers and pedestrians.

또한, 본 발명은 도로를 통행하는 차량의 교통량을 카운팅하고, 도로 상에 정지된 정지 차량의 정차시간이 기설정된 설정시간 이상인 경우 사고로 감지하여 상기 정지 차량에 조사되는 조명등의 밝기를 조절하며, 해당 촬영 영상과 함께 알람을 생성하여 관제 센터 및 관리자 단말에 전송하도록 제어함으로써, 사고를 용이하게 감지하고 신속히 대처할 수 있는 환경을 제공한다.In addition, the present invention counts the amount of traffic of vehicles passing through the road, detects an accident when the stop time of a stopped vehicle stopped on the road is longer than a preset time, and adjusts the brightness of the lights irradiated to the stopped vehicle, By controlling the generation of an alarm together with the corresponding captured image and transmitting it to the control center and the manager terminal, an environment in which an accident can be easily detected and quickly dealt with is provided.

또한, 본 발명은 도로 및 횡단보도를 촬영한 영상으로부터 횡단보도를 보행하는 보행자를 감시하며, 횡단보도가 아닌 도로를 횡단하는 보행자의 움직임이 감지된 경우, 횡단보도가 아닌 도로를 횡단하는 보행자에 빛이 조사되도록 조명등의 밝기 및 조명 방향을 조절함으로써, 사고를 예방할 수 있는 환경을 제공한다.In addition, the present invention monitors a pedestrian walking in a crosswalk from an image taken from a road and a crosswalk, and when a movement of a pedestrian crossing a road other than a crosswalk is detected, the pedestrian crossing the road other than the crosswalk By adjusting the brightness and lighting direction of the lighting lamp so that light is irradiated, an environment in which accidents can be prevented is provided.

또한, 본 발명은 야간 보행자의 움직임을 검출하여 상기 조명등의 밝기 및 조명 방향을 조절하고, 인접하는 가로등이 상기 야간 보행자의 움직임을 따라 조명등의 밝기 및 조명 방향을 조절하도록 상기 야간 보행자의 이동 정보를 상기 인접하는 가로등에 전송함으로써, 야간 보행자의 안전을 보장하고 사고를 예방할 수 있는 환경을 제공한다. In addition, the present invention detects the movement of the pedestrian at night to adjust the brightness and the lighting direction of the lighting lamp, and the movement information of the night pedestrian so that the adjacent street lamp adjusts the brightness and lighting direction of the lighting lamp according to the movement of the night pedestrian By transmitting to the adjacent street light, it provides an environment that can ensure the safety of pedestrians at night and prevent accidents.

또한, 본 발명은 영상 내에 존재하는 빈주차면에 관한 정보를 분석하여 사용자 단말에 제공하며, 사용자의 주차예약 여부 및 영상 내에서 이동하는 차량의 이동패턴을 분석하여 상기 빈주차면에 조사되는 조명등의 밝기를 조절함으로써, 차량 운전자의 편의를 향상시킬 수 있는 환경을 제공한다.In addition, the present invention analyzes information on an empty parking surface existing in the image and provides it to the user terminal, analyzes whether the user has reserved a parking reservation and the movement pattern of a vehicle moving in the image, and the brightness of the lights irradiated to the empty parking surface By adjusting the , an environment capable of improving the convenience of the vehicle driver is provided.

도 1은 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등 시스템의 구성을 간략히 도시한 도면이다.
도 2는 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등의 개략적인 구성을 나타낸 블록도이다.
도 3은 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등이 도로상의 차량 흐름을 촬영하고, 사고 등의 이벤트를 검출하여 관제 서버에 제공하는 예를 나타내는 도면이다.
도 4는 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등이 도로 및 횡단보도를 촬영하고, 무단횡단 및 사고 등의 이벤트를 검출하여 관제 서버에 제공하는 예를 나타내는 도면이다.
도 5는 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등이 야간 보행자의 움직임을 감지하여 조명등의 밝기 및 조명등의 방향을 제어하는 예를 나타내는 도면이다.
도 6은 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등이 주차면을 촬영하여 빈주차면을 인식하고, 빈주차면에 비추는 조명등의 밝기 및 조명등의 방향을 제어하고, 빈주차면에 관한 정보를 사용자 단말에 제공하는 예를 나타내는 도면이다.
도 6은 본 발명의 한 실시예에 따라 앱을 통해서 주차면에 대한 정보를 표시하는 사용자 단말을 도시한 도면이다.1 is a diagram schematically illustrating the configuration of an artificial intelligence-based CCTV integrated smart street light system according to an embodiment of the present invention.
2 is a block diagram showing a schematic configuration of an artificial intelligence-based CCTV integrated smart street light according to an embodiment of the present invention.
3 is a diagram illustrating an example in which an AI-based CCTV integrated smart street light according to an embodiment of the present invention captures a vehicle flow on a road, detects an event such as an accident, and provides it to the control server.
4 is a view showing an example in which an AI-based CCTV integrated smart streetlight according to an embodiment of the present invention captures roads and crosswalks, detects events such as jaywalking and accidents, and provides them to the control server.
5 is a diagram illustrating an example in which an artificial intelligence-based CCTV integrated smart street lamp according to an embodiment of the present invention detects the movement of a pedestrian at night to control the brightness of the lighting and the direction of the lighting.
Figure 6 is an artificial intelligence-based CCTV integrated smart street light according to an embodiment of the present invention by photographing a parking surface to recognize an empty parking surface, control the brightness and direction of the lighting lamp illuminating the empty parking surface, and related to the empty parking surface It is a diagram showing an example of providing information to a user terminal.
6 is a diagram illustrating a user terminal displaying information about a parking surface through an app according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as “…unit”, “…group”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. have.

이제 도 1 내지 도 6을 참고하여 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등에 대하여 상세하게 설명한다.Now, with reference to FIGS. 1 to 6, an artificial intelligence-based CCTV integrated smart street light according to an embodiment of the present invention will be described in detail.

도 1은 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등 시스템의 구성을 간략히 도시한 도면이다. 이때, 인공지능 기반의 CCTV 일체형 스마트 가로등 시스템(10)은 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.1 is a diagram schematically illustrating the configuration of an artificial intelligence-based CCTV integrated smart street light system according to an embodiment of the present invention. At this time, the AI-based CCTV integrated smartstreet light system 10 only shows a schematic configuration necessary for description according to an embodiment of the present invention, but is not limited to this configuration.

도 1을 참조하면, 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등 시스템(10)은 카메라 일체형 가로등(100)의 카메라에서 영상을 촬영하고, 카메라 일체형 가로등(100)이 직접 상기 영상을 분석하거나 또는 별도의 영상 분석 장치(200)에서 상기 영상을 분석하여 이벤트를 검출한다. 그리고, 인공지능 기반의 CCTV 일체형 스마트 가로등 시스템(10)은 검출된 상기 이벤트를 해석하여 카메라 일체형 가로등(100)에 설치된 조명등의 밝기 및 조명등의 조명 방향을 제어할 수 있다. 여기서, 상기 카메라 일체형 가로등(100)은 지상에 설치된 고정 프레임에 설치되며, 지면에 빛을 조사하는 조명등과 상기 지면을 촬영하는 카메라를 포함할 수 있다.Referring to Figure 1, the CCTV integrated smartstreet light system 10 based on artificial intelligence according to an embodiment of the present invention takes an image from the camera of the camera integratedstreet light 100, and the camera integratedstreet light 100 is directly said An event is detected by analyzing the image or analyzing the image in a separateimage analysis apparatus 200 . And, the CCTV integrated smartstreet light system 10 based on artificial intelligence interprets the detected event to control the brightness of the lighting lamp installed in the camera integratedstreet lamp 100 and the lighting direction of the lighting lamp. Here, the camera-integratedstreet lamp 100 is installed on a fixed frame installed on the ground, and may include a lighting lamp for irradiating light on the ground and a camera for photographing the ground.

그리고, 상기 카메라 일체형 가로등(100) 및 상기 영상 분석 장치(200)는 인공지능 영상분석 알고리즘을 통해서 지면에 주차된 차량의 주정차 유무, 상기 촬영 영역에 위치한 주차장의 주차면 및 차량 운행 패턴, 상기 촬영 영역을 통행하는 차량의 카운팅을 통한 통행량 및 요일별/시간대별 상기 통행량의 변화량, 상기 촬영 영역을 통행하는 차량의 막힘 상황, 상기 촬영 영역을 보행하는 보행자의 보행패턴 및 무단 횡단 여부, 또는 이동객체의 이상행동 감지 여부 중 적어도 하나를 학습하여 분석할 수 있다.In addition, the camera-integratedstreet lamp 100 and theimage analysis device 200 use an artificial intelligence image analysis algorithm to determine whether a vehicle parked on the ground is parked or stopped, a parking surface of a parking lot located in the photographing area and a vehicle operation pattern, and the photographing. The amount of traffic through the counting of vehicles passing through the area and the change in the amount of traffic by day/time period, the blockage of vehicles passing through the photographing area, the gait pattern of pedestrians walking in the photographing area and whether or not to cross without permission, or of a moving object At least one of whether abnormal behavior is detected may be learned and analyzed.

또한, 상기 카메라 일체형 가로등(100) 및 상기 영상 분석 장치(200)는 영상 분석 결과값 또는 이벤트의 메타데이터를 차량 운전자와 보행자 등의 사용자 단말(400)에 전송함으로써, 차량 운전자와 보행자에게 차별화된 서비스(예를 들어, 교통량 정보, 사고 정보, 도로 무단횡단 경고, 주차장의 빈주차면 정보 등)를 용이하게 제공할 수 있다.In addition, the camera-integratedstreet lamp 100 and theimage analysis device 200 transmit the image analysis result value or event metadata to theuser terminal 400 such as the vehicle driver and the pedestrian, so that the vehicle driver and the pedestrian are differentiated from each other. Services (eg, traffic volume information, accident information, road jaywalking warning, empty parking space information of a parking lot, etc.) can be easily provided.

그리고, 상기 카메라 일체형 가로등(100) 및 상기 영상 분석 장치(200)는 영상 분석 결과값 또는 이벤트의 메타데이터를 관제 서버(300) 및 관리자 단말(500)에 전송하여 각종 사고를 용이하게 감지하고 신속히 대처할 수 있는 환경을 제공한다.In addition, the camera-integratedstreet lamp 100 and theimage analysis device 200 transmit an image analysis result value or event metadata to thecontrol server 300 and themanager terminal 500 to easily detect and quickly detect various accidents. Provide an environment conducive to coping.

상기 관제 서버(300)는 사용자 단말(400)로부터 사용자 단말(400)의 위치 정보(예를 들어, GPS 정보)를 수신하고, 수신된 사용자 단말(400)의 위치 정보를 기초로 상기 사용자 단말(400)과 인접하는 카메라 일체형 가로등(100)의 조명등 및 카메라를 제어할 수 있다.Thecontrol server 300 receives the location information (eg, GPS information) of theuser terminal 400 from theuser terminal 400, and based on the received location information of theuser terminal 400, the user terminal ( 400) and the camera-integratedstreet lamp 100 adjacent to the lighting lamp and the camera may be controlled.

예를 들어, 사용자 단말(400)은 특정 앱을 실행한 경우 사고 정보나 구조신호 등과 함께 사용자 단말(400)의 위치 정보를 관제 서버(300)에 전송할 수 있다. 그리고, 상기 관제 서버(300)는 상기 위치 정보를 전송한 사용자 단말(400)의 주변에 배치된 카메라 일체형 가로등(100)이 상기 위치 정보를 전송한 사용자 단말(400)의 주변을 비추도록 상기 조명등의 조명 방향을 제어할 수 있고, 상기 조명등의 조도를 높이도록 제어할 수 있다.For example, when a specific app is executed, theuser terminal 400 may transmit the location information of theuser terminal 400 together with accident information or a rescue signal to thecontrol server 300 . In addition, thecontrol server 300 is configured such that the camera-integratedstreet lamp 100 disposed around theuser terminal 400 that has transmitted the location information illuminates the vicinity of theuser terminal 400 that has transmitted the location information. It is possible to control the lighting direction of the lighting, and control to increase the illuminance of the lighting lamp.

또한, 상기 관제 서버(300)는 상기 카메라 일체형 가로등(100)이 상기 위치 정보를 전송한 사용자 단말(400)의 주변을 촬영하도록 상기 카메라의 촬영 방향을 제어할 수 있으며, 상기 카메라 일체형 가로등(100)으로부터 사용자 단말(400)의 주변을 촬영한 영상을 획득할 수 있다.In addition, thecontrol server 300 may control the shooting direction of the camera so that the camera-integratedstreet lamp 100 shoots the surroundings of theuser terminal 400 that has transmitted the location information, and the camera-integrated street lamp 100 ), an image captured around theuser terminal 400 may be acquired.

도 2는 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등의 개략적인 구성을 나타낸 블록도이다. 이때, 인공지능 기반의 CCTV 일체형 스마트 가로등(100)은 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.2 is a block diagram showing a schematic configuration of an artificial intelligence-based CCTV integrated smart street light according to an embodiment of the present invention. At this time, the CCTV integratedsmart street light 100 based on artificial intelligence only shows a schematic configuration necessary for description according to an embodiment of the present invention and is not limited to this configuration.

도 2를 참조하면, 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등(100)은 가로등 제어 모듈(110), 영상 분석 모듈(120), 이벤트 검출 모듈(130), 카메라 제어 모듈(140), 조명등 제어 모듈(150), 그리고 통신 모듈(160)을 포함한다.Referring to FIG. 2 , a CCTV integratedsmart street light 100 based on artificial intelligence according to an embodiment of the present invention includes a streetlight control module 110 , animage analysis module 120 , anevent detection module 130 , and a camera control module. 140 , alighting control module 150 , and acommunication module 160 .

상기 가로등 제어 모듈(110)은 카메라(170)에서 촬영된 영상을 분석하여 이벤트를 검출하고, 검출된 이벤트를 해석하여 조명등(180)의 밝기 및 조명등의 조명 방향을 제어하거나, 영상 분석 결과값 또는 이벤트의 메타데이터를 관제 서버(300), 사용자 단말(400), 및 관리자 단말(500)에 전송하도록 상기 각부의 동작을 제어할 수 있다.The streetlight control module 110 analyzes the image captured by thecamera 170 to detect an event, interprets the detected event to control the brightness of thelighting lamp 180 and the lighting direction of the lighting lamp, or an image analysis result value or The operation of each unit may be controlled to transmit event metadata to thecontrol server 300 , theuser terminal 400 , and themanager terminal 500 .

상기 조명등(180)은 지상에 설치된 고정 프레임(미도시)에 설치되어 지면에 빛을 조사할 수 있고, 상기 카메라(170)는 상기 조명등(180)과 일체형으로 형성되어 상기 지면을 촬영할 수 있다. 그리고, 상기 카메라(170)는 180도 영역을 촬영하여 파노라마 영상을 생성하는 파노라마 카메라를 포함할 수 있다.Thelighting 180 may be installed on a fixed frame (not shown) installed on the ground to irradiate light to the ground, and thecamera 170 may be integrally formed with thelighting 180 to photograph the ground. In addition, thecamera 170 may include a panoramic camera that generates a panoramic image by photographing a 180 degree area.

상기 영상 분석 모듈(120)은 상기 카메라(170)에서 촬영된 파노라마 영상의 곡면부분을 전처리하여 평면 이미지로 변환하고, 상기 인공지능 영상분석 알고리즘을 통해서 상기 평면 이미지를 분석하여 영상분석 결과값을 생성할 수 있다.Theimage analysis module 120 pre-processes the curved portion of the panoramic image captured by thecamera 170 to convert it into a flat image, and generates an image analysis result by analyzing the flat image through the artificial intelligence image analysis algorithm. can do.

또한, 상기 영상 분석 모듈(120)은 상기 카메라(180)에서 촬영된 영상을 분석하여 촬영 영역에 형성된 주차면을 분석하되, 총 주차면의 수 및 위치정보, 각각의 주차면에 주차된 차량의 주차시간정보, 및 차량이 주차되지 않은 빈주차면의 수 및 위치에 관한 빈주차면 정보를 분석할 수 있다. 여기서, 빈주차면은 상기 카메라(170)에서 촬영된 촬영 영역의 분석 결과, 지면 상에 주차라인이 형성되어 차량의 주차가 가능한 주차면으로 인식되었으나, 촬영 순간에 차량이 주차되어 있지 않고 비어 있는 주차면을 포함한다.In addition, theimage analysis module 120 analyzes the image taken by thecamera 180 to analyze the parking surface formed in the shooting area, the total number of parking surfaces and location information, It is possible to analyze the parking time information and the empty parking surface information regarding the number and location of the empty parking surface on which the vehicle is not parked. Here, as a result of the analysis of the photographing area photographed by thecamera 170, the empty parking surface was recognized as a parking surface where a parking line was formed on the ground and a vehicle could be parked. includes cotton.

그리고, 상기 영상 분석 모듈(120)은 본 발명의 한 실시예에 따라 전처리부(122), 그리고 인공지능 영상분석 알고리즘(124)를 포함한다.In addition, theimage analysis module 120 includes apreprocessor 122 and an artificial intelligenceimage analysis algorithm 124 according to an embodiment of the present invention.

상기 전처리부(122)는 상기 카메라(170)에서 촬영된 파노라마 영상의 곡면부분을 전처리하여 평면 이미지로 변환할 수 있다. 이를 통해서 본 발명은 영상분석의 정확도를 향상시키며, 영상 내에서 이동하는 이동객체(예를 들어, 차량, 보행자 등) 및 시설물(예를 들어, 도로, 건물, 주차면 등)을 보다 명확히 인식할 수 있는 환경을 제공한다.Thepreprocessor 122 may preprocess the curved portion of the panoramic image captured by thecamera 170 to convert it into a flat image. Through this, the present invention improves the accuracy of image analysis, and more clearly recognizes moving objects (eg, vehicles, pedestrians, etc.) and facilities (eg, roads, buildings, parking surfaces, etc.) moving within the image. provide an environment where

그리고, 상기 인공지능 영상분석 알고리즘(124)은 상기 전처리부(122)에서 전처리된 상기 평면 이미지를 분석하여 영상분석 결과값을 생성할 수 있다. 예를 들어, 상기 인공지능 영상분석 알고리즘(124)은 상기 카메라(170)의 촬영 영역에서 인식된 차량의 주정차 유무, 상기 촬영 영역에 위치한 주차장의 주차면 및 차량 운행 패턴, 상기 촬영 영역을 통행하는 차량의 카운팅을 통한 통행량 및 요일별/시간대별 상기 통행량의 변화량, 상기 촬영 영역을 통행하는 차량의 막힘 상황, 상기 촬영 영역을 보행하는 보행자의 보행패턴 및 무단 횡단 여부, 및 이동객체의 이상행동 감지 여부 등을 학습하여 분석할 수 있다.In addition, the artificial intelligenceimage analysis algorithm 124 may analyze the plane image preprocessed by thepreprocessor 122 to generate an image analysis result value. For example, the AIimage analysis algorithm 124 determines whether the vehicle is parked or stopped in the photographing area of thecamera 170, the parking surface and vehicle driving pattern of the parking lot located in the photographing area, and passing the photographing area. The amount of traffic through counting of vehicles and the amount of change in the amount of traffic by day/time period, congestion of vehicles passing through the photographing area, gait pattern and trespassing of pedestrians walking in the photographing area, and whether abnormal behavior of moving objects is detected You can learn and analyze.

그리고, 상기 이벤트 검출 모듈(120)은 상기 인공지능 영상분석 알고리즘(124)의 영상 분석 결과를 기초로 상기 카메라(170)에서 촬영된 영상 내에서 발생되거나 발생될 것으로 예상되는 이벤트(예를 들어, 차량 및 보행자 움직임, 교통량 변화, 사고 발생 여부, 도로 무단횡단 여부, 주차장의 빈주차면 정보 등)를 검출할 수 있다.And, theevent detection module 120 is an event that occurs or is expected to occur in the image captured by thecamera 170 based on the image analysis result of the artificial intelligence image analysis algorithm 124 (eg, It is possible to detect vehicle and pedestrian movements, changes in traffic volume, whether an accident has occurred, whether or not to cross the road, information about empty parking spaces in parking lots, etc.).

그리고, 상기 카메라 제어 모듈(130)은 상기 이벤트 검출 모듈(120)에서 검출된 이벤트를 해석하여 상기 카메라(170)의 동작을 제어할 수 있다. 예를 들어, 상기 카메라 제어 모듈(130)은 상기 이벤트의 해석 결과에 따라 이벤트가 발생된 위치에 상기 카메라(170)의 촬영 영역을 포커싱하거나, 이벤트가 발생될 것으로 예상되는 지역으로 상기 카메라(170)의 촬영 영역을 이동시킬 수 있다.In addition, thecamera control module 130 may interpret the event detected by theevent detection module 120 to control the operation of thecamera 170 . For example, thecamera control module 130 may focus a photographing area of thecamera 170 to a location where an event occurs, or thecamera 170 to an area where an event is expected to occur according to the analysis result of the event. ) can be moved.

상기 조명등 제어 모듈(150)은 상기 이벤트 검출 모듈(120)에서 검출된 이벤트를 해석하여 조명등(180)의 조도를 조절하거나, 조명등(180)의 조명 방향을 조절할 수 있다. 예를 들어, 상기 조명등 제어 모듈(150)은 도로 상에 차량이 기설정된 설정시간 이상 정차하여 사고로 감지된 경우에 사고 차량에 조명을 조사하고, 상기 사고 차량에 조사되는 조명등의 밝기를 조절할 수 있다.Thelighting control module 150 may interpret the event detected by theevent detection module 120 to adjust the illuminance of thelighting lamp 180 or adjust the lighting direction of thelighting lamp 180 . For example, thelighting control module 150 illuminates the accident vehicle when the vehicle is stopped on the road for more than a preset time and is detected as an accident, and can adjust the brightness of the lighting lamp irradiated to the accident vehicle. have.

또한, 상기 조명등 제어 모듈(150)은 횡단보도가 아닌 도로를 횡단하는 보행자의 움직임이 감지된 경우, 상기 횡단보도가 아닌 도로를 횡단하는 보행자에 빛이 조사되도록 조명등의 밝기 및 조명 방향을 조절할 수 있다.In addition, when a movement of a pedestrian crossing a road other than a crosswalk is detected, thelighting control module 150 may adjust the brightness and lighting direction of the lighting lamp so that light is irradiated to the pedestrian crossing the road other than the crosswalk. have.

또한, 상기 조명등 제어 모듈(150)은 상기 카메라(170)의 촬영 영역 내에서 이동하는 야간 보행자의 움직임을 검출하여 상기 조명등의 밝기를 조절하며, 상기 야간 보행자의 움직임이 없는 경우에는 조명등의 밝기를 낮추고, 상기 야간 보행자의 움직임이 감지된 경우 상기 조명등의 밝기를 높이도록 제어할 수 있다.In addition, thelighting control module 150 detects the movement of a pedestrian at night moving within the photographing area of thecamera 170 and adjusts the brightness of the lighting lamp, and when there is no movement of the night pedestrian, the brightness of the lighting lamp lower, and when the movement of the pedestrian at night is sensed, it is possible to control to increase the brightness of the lighting lamp.

상기 조명등 제어 모듈(150)은 상기 야간 보행자의 움직임을 따라 상기 조명등의 조명 방향을 조절하도록 제어하되, 인접하는 가로등이 상기 야간 보행자의 움직임을 따라 조명등의 밝기 및 조명 방향을 조절하도록 상기 야간 보행자의 이동 정보를 상기 인접하는 가로등에 전송할 수 있다.Thelighting control module 150 controls to adjust the lighting direction of the lighting lamp according to the movement of the night pedestrian, but adjacent street lamps adjust the brightness and lighting direction of the lighting lamp according to the movement of the night pedestrian. Movement information may be transmitted to the adjacent street lamp.

또한, 상기 조명등 제어 모듈(150)은 상기 카메라(170)의 촬영 영역 내에서 이동하는 이동객체를 검출하여 상기 조명등(180)의 밝기를 조절하고, 상기 빈주차면에 조사되는 조명등의 밝기를 조절하거나 상기 빈주차면에 빛을 조사하도록 상기 조명등의 조명 방향을 조절할 수 있다.In addition, thelighting control module 150 detects a moving object moving within the photographing area of thecamera 170 and adjusts the brightness of thelighting lamp 180, adjusts the brightness of the lighting lamp irradiated to the empty parking surface, or The lighting direction of the lighting lamp may be adjusted to irradiate light to the empty parking surface.

이때, 상기 조명등 제어 모듈(150)은 차량이 주차된 주차면에 조사되는 밝기보다 차량이 주차되지 않은 빈주차면에 조사되는 조명등의 밝기를 높이도록 상기 조명등(180)의 밝기를 조절할 수 있다.At this time, thelighting control module 150 may adjust the brightness of thelighting lamp 180 to increase the brightness of the lighting lamp irradiated on the empty parking surface where the vehicle is not parked than the brightness irradiated on the parking surface where the vehicle is parked.

또한, 상기 조명등 제어 모듈(150)은 차량의 움직임을 따라 상기 조명등의 조명 방향을 조절하도록 제어하되, 주차장에 복수개의 가로등이 설치되어 있는 경우, 인접하는 가로등이 상기 빈주차면에 주차하려는 차량의 움직임을 따라 조명등의 밝기 및 조명 방향을 조절할 수 있도록 상기 빈주차면에 주차하려는 차량의 이동 정보를 상기 인접하는 가로등에 전송할 수 있다.In addition, thelighting control module 150 controls to adjust the lighting direction of the lighting lamp according to the movement of the vehicle, but when a plurality of street lamps are installed in the parking lot, the adjacent street lamp moves the vehicle to be parked on the empty parking surface. movement information of a vehicle to be parked on the empty parking surface may be transmitted to the adjacent street lamp so as to adjust the brightness and lighting direction of the lighting lamp according to the .

상기 통신 모듈(160)은 상기 영상 분석 모듈(120)에서 분석된 상기 영상 분석 결과값 또는 상기 상기 이벤트 검출 모듈(120)에서 검출된 이벤트의 메타데이터를 관제 서버(300), 사용자 단말(400), 및 관리자 단말(500)에 전송할 수 있다. 예를 들어, 상기 통신 모듈(160)은 LTE cat M1을 이용해 영상 분석 결과를 전송하거나, 카메라에서 촬영된 스냅샷을 전송할 수 있다. 또한, 상기 통신 모듈(160)은 카메라(170)의 상태 및 상태 정보를 전송하거나, 조명등(180)의 밝기 정보 등을 전송할 수 있다.Thecommunication module 160 transmits the image analysis result value analyzed by theimage analysis module 120 or metadata of the event detected by theevent detection module 120 to thecontrol server 300 and theuser terminal 400 . , and may be transmitted to themanager terminal 500 . For example, thecommunication module 160 may transmit an image analysis result using LTE cat M1 or may transmit a snapshot taken by a camera. Also, thecommunication module 160 may transmit the state and state information of thecamera 170 , or transmit brightness information of thelighting lamp 180 .

그리고, 상기 통신 모듈(160)은 관제 서버(300), 사용자 단말(400), 및 관리자 단말(500)로부터 각종 데이터를 수신할 수 있고, 상기 가로등 제어 모듈(110)이 상기 통신 모듈(160)에서 수신된 데이터를 이용하여 상기 카메라(170) 및 상기 조명등(180)을 제어할 수 있다. 그리고, 상기 가로등 제어 모듈(110)은 IoT LoRa 통신을 이용해 데이터를 수신하고, 수신된 데이터를 기초로 가로등의 소등 동작 등을 컨트롤할 수 있다.In addition, thecommunication module 160 may receive various data from thecontrol server 300 , theuser terminal 400 , and themanager terminal 500 , and the streetlight control module 110 is thecommunication module 160 . Thecamera 170 and thelighting lamp 180 can be controlled by using the data received from the . In addition, the streetlight control module 110 may receive data using IoT LoRa communication, and control an operation of turning off the street light based on the received data.

도 3은 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등이 도로상의 차량 흐름을 촬영하고, 사고 등의 이벤트를 검출하여 관제 서버에 제공하는 예를 나타내는 도면이다.3 is a diagram illustrating an example in which an AI-based CCTV integrated smart street light according to an embodiment of the present invention captures a vehicle flow on a road, detects an event such as an accident, and provides it to the control server.

도 3을 참조하면, 본 발명의 한 실시예에 따른 카메라 일체형 가로등(100)은 카메라(170)를 이용하여 파노라마 영상을 촬영하고, 도로 상의 차량 흐름을 촬영할 수 있다. 그리고, 상기 카메라 일체형 가로등(100) 또는 상기 영상 분석 장치(200)는 카메라(170)에서 촬영된 영상을 기초로 차량의 흐름을 분석하고, 해당 분석 결과를 관제 센터(300) 및 관리자 단말(500)에 제공할 수 있다.Referring to FIG. 3 , the camera-integratedstreet lamp 100 according to an embodiment of the present invention may use thecamera 170 to photograph a panoramic image and photograph a vehicle flow on the road. And, the camera integratedstreet lamp 100 or theimage analysis device 200 analyzes the flow of the vehicle based on the image captured by thecamera 170, and thecontrol center 300 and themanager terminal 500 of the analysis result ) can be provided.

이를 통해서, 상기 관제 센터(300)는 차량이 예상시간보다 오랫동안 멈춰있을 경우 사고로 의심하여 관리자에게 알람을 통보할 수 있고, 알람을 통보받은 관리자는 카메라 영상을 실시간으로 확인할 수 있다.Through this, when the vehicle is stopped for a longer time than the expected time, thecontrol center 300 may notify the manager of an alarm by suspecting an accident, and the manager notified of the alarm may check the camera image in real time.

또한, 본 발명의 한 실시예에 따른 카메라 일체형 가로등(100)은 도로 상에 차량이 설정시간 이상 정차하여 사고로 감지된 경우에 사고 차량에 조명을 조사하고, 상기 사고 차량에 조사되는 조명등의 밝기를 조절할 수 있다.In addition, the camera-integratedstreet lamp 100 according to an embodiment of the present invention irradiates lighting to the accident vehicle when the vehicle is stopped on the road for a set time or more and an accident is detected, and the brightness of the lighting lamp irradiated to the accident vehicle can be adjusted.

도 4는 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등이 도로 및 횡단보도를 촬영하고, 무단횡단 및 사고 등의 이벤트를 검출하여 관제 서버에 제공하는 예를 나타내는 도면이다.4 is a view showing an example in which an AI-based CCTV integrated smart streetlight according to an embodiment of the present invention captures roads and crosswalks, detects events such as jaywalking and accidents, and provides them to the control server.

도 4를 참조하면, 본 발명의 한 실시예에 따른 카메라 일체형 가로등(100)은 카메라(170)를 이용하여 파노라마 영상을 촬영하고, 도로 및 횡단보도의 보행자를 인식할 수 있다. 그리고, 상기 카메라 일체형 가로등(100) 또는 상기 영상 분석 장치(200)는 횡단보도를 보행하는 보행자의 이동을 감시하고, 횡단보도가 아닌 도로에서 보행자(20)가 움직임이 감지될 경우 경우에 관제 센터(300) 및 관리자 단말(500)로 알람을 전달할 수 있다. 그리고, 본 발명의 한 실시예에 따른 카메라 일체형 가로등(100)은 상기 횡단보도가 아닌 도로를 횡단하는 보행자(20)에 조사되도록 조명등의 밝기 및 조명 방향을 조절할 수 있다.Referring to FIG. 4 , the camera-integratedstreet lamp 100 according to an embodiment of the present invention may take a panoramic image using thecamera 170 and recognize a pedestrian in a road and a crosswalk. In addition, the camera-integratedstreet lamp 100 or theimage analysis device 200 monitors the movement of a pedestrian walking in a crosswalk, and when a movement of thepedestrian 20 is detected on a road other than the crosswalk, the control center An alarm may be transmitted to 300 and themanager terminal 500 . In addition, the camera-integratedstreet lamp 100 according to an embodiment of the present invention can adjust the brightness and lighting direction of the lighting lamp to be irradiated to thepedestrian 20 crossing the road, not the crosswalk.

도 5는 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등이 야간 보행자의 움직임을 감지하여 조명등의 밝기 및 조명등의 방향을 제어하는 예를 나타내는 도면이다.5 is a diagram illustrating an example in which an artificial intelligence-based CCTV integrated smart street lamp according to an embodiment of the present invention detects the movement of a pedestrian at night to control the brightness of the lighting and the direction of the lighting.

도 5를 참조하면, , 본 발명의 한 실시예에 따른 카메라 일체형 가로등(100)은 카메라(170)를 이용하여 야간 보행자(30)의 움직임을 감지하고, 조명등(180)의 밝기 또는 조명등(180)의 조명 방향을 조절할 수 있다. 예를 들어, 본 발명의 한 실시예에 따른 카메라 일체형 가로등(100)은 야간 보행자(30)의 움직임이 없을 때에는 조명등(180)을 꺼서 절전모드로 전환하고, 야간 보행자(30)의 움직임이 발생하면 조명등(180)을 켜서 밝기를 조절할 수도 있다.Referring to FIG. 5 , the camera-integratedstreet lamp 100 according to an embodiment of the present invention detects the movement of thepedestrian 30 at night using thecamera 170 , and the brightness of thelighting lamp 180 or the lighting lamp 180 ) can be adjusted. For example, in the camera-integratedstreet lamp 100 according to an embodiment of the present invention, when there is no movement of thepedestrian 30 at night, the light 180 is turned off to switch to a power saving mode, and the movement of thepedestrian 30 at night occurs. Then, the brightness can be adjusted by turning on thelighting 180 .

또한, 본 발명의 한 실시예에 따른 카메라 일체형 가로등(100)은 상기 야간 보행자(30)의 움직임을 따라 상기 조명등(180)의 조명 방향을 조절하도록 제어하되, 인접하는 가로등(미도시)이 상기 야간 보행자(30)의 움직임을 따라 조명등의 밝기 및 조명 방향을 조절하도록 상기 야간 보행자(30)의 이동 정보를 상기 인접하는 가로등에 전송할 수 있다.In addition, the camera-integratedstreet lamp 100 according to an embodiment of the present invention controls to adjust the lighting direction of thelighting lamp 180 according to the movement of thepedestrian 30 at night, but an adjacent street lamp (not shown) The movement information of thenight pedestrian 30 may be transmitted to the adjacent street lamp so as to adjust the brightness and lighting direction of the lighting lamp according to the movement of thenight pedestrian 30 .

도 6은 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등이 주차면을 촬영하여 빈주차면을 인식하고, 빈주차면에 비추는 조명등의 밝기 및 조명등의 방향을 제어하고, 빈주차면에 관한 정보를 사용자 단말에 제공하는 예를 나타내는 도면이다.Figure 6 is an artificial intelligence-based CCTV integrated smart street light according to an embodiment of the present invention by photographing a parking surface to recognize an empty parking surface, control the brightness and direction of the lighting lamp illuminating the empty parking surface, and related to the empty parking surface It is a diagram showing an example of providing information to a user terminal.

도 6을 참조하면, 본 발명의 한 실시예에 따른 카메라 일체형 가로등(100)은 카메라(170)로 파노라마 영상을 촬영하고, 촬영 영역 내에 있는 주차장의 주차면을 인식할 수 있다. 여기서, 상기 카메라 일체형 가로등(100)은 상기 주차장의 주차면에 주차하는 차량의 움직임을 AI로 학습할 수 있다.Referring to FIG. 6 , a camera-integratedstreet lamp 100 according to an embodiment of the present invention may photograph a panoramic image with acamera 170 and recognize a parking surface of a parking lot within a photographing area. Here, the camera-integratedstreet lamp 100 may learn the movement of a vehicle parked on the parking surface of the parking lot by AI.

그리고, 상기 카메라 일체형 가로등(100)은 상기 주차장의 총주차면의 수, 차량이 주차된 차량의 주차면의 수, 차량이 주차되지 않은 빈주차면(40)의 수를 계산하여 주차면 정보를 생성하고, 생성된 주차면 정보를 사용자 단말(400) 또는 관라자 단말(500)에 제공할 수 있다.And, the camera-integratedstreet lamp 100 calculates the total number of parking surfaces of the parking lot, the number of parking surfaces of the vehicle on which the vehicle is parked, and the number of empty parking surfaces 40 where the vehicle is not parked to generate parking surface information. And, the generated parking surface information may be provided to theuser terminal 400 or thevisitor terminal 500 .

또한, 상기 카메라 일체형 가로등(100)은 상기 카메라(170)의 촬영 영역 내에서 이동하는 이동객체를 검출하여 상기 조명등(180)의 밝기를 조절하되, 상기 빈주차면(40)에 조사되는 조명등(180)의 밝기를 조절하거나 상기 빈주차면(40)에 빛을 조사하도록 상기 조명등(180)의 조명 방향을 조절할 수 있다.In addition, the camera-integratedstreet lamp 100 detects a moving object moving within the shooting area of thecamera 170 and adjusts the brightness of thelighting lamp 180 , but thelighting lamp 180 irradiated to theempty parking surface 40 . ), or the direction of illumination of thelighting lamp 180 may be adjusted to irradiate light to theempty parking surface 40 .

그리고, 상기 카메라 일체형 가로등(100)은 차량이 주차된 주차면에 조사되는 밝기보다 차량이 주차되지 않은 빈주차면(40)에 조사되는 조명등(180)의 밝기를 높이도록 상기 조명등(180)의 조도를 조절할 수 있다.In addition, the camera-integratedstreet lamp 100 increases the brightness of thelighting lamp 180 irradiated to theempty parking surface 40 where the vehicle is not parked than the brightness irradiated to the parking surface where the vehicle is parked. can be adjusted.

이와 같이, 본 발명의 한 실시예에 따른 인공지능 기반의 CCTV 일체형 스마트 가로등은 카메라에서 촬영된 영상을 분석하여 이벤트를 검출하고, 검출된 이벤트를 해석하여 조명등의 밝기 및 조명등의 조명 방향을 제어함으로써, 차량 운전자 및 보행자의 편의를 향상시키고 사고를 예방할 수 있는 환경을 제공한다.As such, the AI-based CCTV integrated smart street light according to an embodiment of the present invention detects an event by analyzing the image captured by the camera, and interprets the detected event to control the brightness of the lighting and the lighting direction of the lighting. , providing an environment that can improve the convenience of vehicle drivers and pedestrians and prevent accidents.

또한, 본 발명은 180도 영역을 촬영하는 파노라마 카메라에서 촬영된 파노라마 영상의 곡면부분을 전처리하여 평면 이미지로 변환하고, 상기 평면 이미지를 분석하여 영상분석 결과값을 생성함으로써, 영상분석의 정확도를 향상시키며, 영상 내의 차량이나 보행자 등의 이동객체 및 주차면등의 시설물을 보다 명확히 인식할 수 있는 환경을 제공한다.In addition, the present invention improves the accuracy of image analysis by preprocessing a curved portion of a panoramic image taken by a panoramic camera that shoots a 180-degree area, converting it into a flat image, and analyzing the flat image to generate an image analysis result value. It provides an environment in which moving objects such as vehicles and pedestrians in the image and facilities such as parking surfaces can be recognized more clearly.

또한, 본 발명은 인공지능 영상분석 알고리즘을 통해서 지면에 주차된 차량의 주정차 유무, 지면에 형성된 주차장의 주차면 및 차량 운행 패턴, 지면을 통행하는 차량의 카운팅을 통한 통행량 및 요일별/시간대별 상기 통행량의 변화량, 지면을 통행하는 차량의 막힘 상황, 지면을 보행하는 보행자의 보행패턴 및 무단 횡단 여부, 및 이동객체의 이상행동 감지 여부를 학습하여 분석하고, 분석 결과를 기초로 조명등의 밝기 및 조명등의 조명 방향을 제어함으로써, 차량 운전자와 보행자에게 차별화된 서비스를 제공할 수 환경을 제공한다.In addition, the present invention is through an artificial intelligence image analysis algorithm whether the vehicle parked on the ground is parked or stopped, the parking surface and vehicle operation pattern of the parking lot formed on the ground, the amount of traffic through counting of vehicles passing through the ground, and the amount of traffic by day/time It learns and analyzes the change amount of traffic, blockage of vehicles passing through the ground, gait patterns and trespassing of pedestrians walking on the ground, and whether abnormal behavior of moving objects is detected. By controlling the lighting direction, it provides an environment that can provide differentiated services to vehicle drivers and pedestrians.

또한, 본 발명은 도로를 통행하는 차량의 교통량을 카운팅하고, 도로 상에 정지된 정지 차량의 정차시간이 기설정된 설정시간 이상인 경우 사고로 감지하여 상기 정지 차량에 조사되는 조명등의 밝기를 조절하며, 해당 촬영 영상과 함께 알람을 생성하여 관제 센터 및 관리자 단말에 전송하도록 제어함으로써, 사고를 용이하게 감지하고 신속히 대처할 수 있는 환경을 제공한다.In addition, the present invention counts the amount of traffic of vehicles passing through the road, detects an accident when the stop time of a stopped vehicle stopped on the road is longer than a preset time, and adjusts the brightness of the lights irradiated to the stopped vehicle, By controlling the generation of an alarm together with the corresponding captured image and transmitting it to the control center and the manager terminal, an environment in which an accident can be easily detected and quickly dealt with is provided.

또한, 본 발명은 도로 및 횡단보도를 촬영한 영상으로부터 횡단보도를 보행하는 보행자를 감시하며, 횡단보도가 아닌 도로를 횡단하는 보행자의 움직임이 감지된 경우, 횡단보도가 아닌 도로를 횡단하는 보행자에 빛이 조사되도록 조명등의 밝기 및 조명 방향을 조절함으로써, 사고를 예방할 수 있는 환경을 제공한다.In addition, the present invention monitors a pedestrian walking in a crosswalk from an image taken from a road and a crosswalk, and when a movement of a pedestrian crossing a road other than a crosswalk is detected, the pedestrian crossing the road other than the crosswalk By adjusting the brightness and lighting direction of the lighting lamp so that light is irradiated, an environment in which accidents can be prevented is provided.

또한, 본 발명은 야간 보행자의 움직임을 검출하여 상기 조명등의 밝기 및 조명 방향을 조절하고, 인접하는 가로등이 상기 야간 보행자의 움직임을 따라 조명등의 밝기 및 조명 방향을 조절하도록 상기 야간 보행자의 이동 정보를 상기 인접하는 가로등에 전송함으로써, 야간 보행자의 안전을 보장하고 사고를 예방할 수 있는 환경을 제공한다. In addition, the present invention detects the movement of the pedestrian at night to adjust the brightness and the lighting direction of the lighting lamp, and the movement information of the night pedestrian so that the adjacent street lamp adjusts the brightness and lighting direction of the lighting lamp according to the movement of the night pedestrian By transmitting to the adjacent street light, it provides an environment that can ensure the safety of pedestrians at night and prevent accidents.

또한, 본 발명은 영상 내에 존재하는 빈주차면에 관한 정보를 분석하여 사용자 단말에 제공하며, 사용자의 주차예약 여부 및 영상 내에서 이동하는 차량의 이동패턴을 분석하여 상기 빈주차면에 조사되는 조명등의 밝기를 조절함으로써, 차량 운전자의 편의를 향상시킬 수 있는 환경을 제공한다.In addition, the present invention analyzes information on an empty parking surface existing in the image and provides it to the user terminal, analyzes whether the user has reserved a parking reservation and the movement pattern of a vehicle moving in the image, and the brightness of the lights irradiated to the empty parking surface By adjusting the , an environment capable of improving the convenience of the vehicle driver is provided.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. 이러한 기록 매체는 서버뿐만 아니라 사용자 단말에서도 실행될 수 있다.The embodiment of the present invention described above is not implemented only through the apparatus and method, and may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded. Such a recording medium may be executed not only in the server but also in the user terminal.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improved forms of the present invention are also provided by those skilled in the art using the basic concept of the present invention as defined in the following claims. is within the scope of the right.

Claims (12)

Translated fromKorean

지상에 설치된 고정 프레임에 설치되며, 지면에 빛을 조사하는 조명등과 상기 지면을 촬영하는 카메라를 포함하는 카메라 일체형 가로등,
상기 카메라의 촬영 영역에 인식된 차량의 주정차 유무, 상기 촬영 영역에 위치한 주차장의 주차면 및 차량 운행 패턴, 상기 촬영 영역을 통행하는 차량의 카운팅을 통한 통행량 및 상기 통행량의 변화량, 상기 촬영 영역을 통행하는 차량의 막힘 상황, 상기 촬영 영역을 보행하는 보행자의 보행패턴, 및 상기 촬영 영역 내에서 이동하는 이동객체의 이상행동 감지 여부를 학습하여 분석하는 인공지능 영상분석 알고리즘을 통해서 상기 카메라에서 촬영된 영상을 분석하여 영상분석 결과값을 생성하는 영상 분석 모듈,
상기 영상 분석 모듈의 영상 분석 결과값을 바탕으로 차량 및 보행자 움직임, 교통량 변화, 사고 발생 여부, 도로 무단횡단 여부 및 주차장이 빈주차면 정보를 포함하는 이벤트를 검출하고, 상기 검출된 이벤트를 해석하여 상기 조명등의 밝기 또는 상기 조명등의 조명 방향을 제어하는 가로등 제어 모듈, 그리고
상기 영상 분석 모듈에서 분석된 상기 영상 분석 결과값 및 이벤트 검출 모듈에서 검출된 이벤트의 메타데이터를 관제 서버, 관리자 단말, 및 차량 운전자와 보행자의 사용자 단말에 전송하는 통신 모듈을 포함하며,
상기 가로등 제어 모듈은,
도로 상에 정지된 정지 차량의 정차시간이 기설정된 설정시간 이상인 경우 사고로 감지하여 상기 정지 차량에 조사되는 조명등의 밝기를 조절하고, 해당 촬영 영상과 함께 알람을 생성하여 관제 센터 및 관리자 단말에 전송하도록 제어하되, 차량 운전자의 사용자 단말이 특정 앱을 실행하여 관제 서버가 사고 정보 및 구조신호와 함께 상기 사용자 단말의 위치 정보를 수신한 경우, 상기 관제 서버에 의해 상기 사용자 단말의 주변을 비추도록 상기 카메라 일체형 가로등의 조명 방향을 제어하여 조명등의 조도를 높이고, 카메라가 상기 사용자 단말의 주변을 촬영하고 촬영된 영상을 상기 관제 서버에 전송하도록 제어하는 것을 특징으로 하는 인공지능 기반의 CCTV 일체형 스마트 가로등.A camera-integrated street lamp installed on a fixed frame installed on the ground, comprising a lighting lamp irradiating light on the ground and a camera photographing the ground;
The presence or absence of parking and stopping of the vehicle recognized in the photographing area of the camera, the parking surface and vehicle driving pattern of the parking lot located in the photographing area, the amount of traffic through counting of vehicles passing through the photographing area and the amount of change in the amount of traffic, passing the photographing area The image captured by the camera through an artificial intelligence image analysis algorithm that learns and analyzes the blocking situation of a vehicle, the gait pattern of a pedestrian walking in the photographing area, and whether abnormal behavior of a moving object is detected in the photographing area An image analysis module that analyzes and generates an image analysis result value,
Based on the image analysis result of the image analysis module, it detects an event including vehicle and pedestrian movement, traffic volume change, accident occurrence, road trespassing, and vacant parking space information in a parking lot, and interprets the detected event. A street light control module for controlling the brightness of the lighting lamp or the lighting direction of the lighting lamp, and
A communication module for transmitting the image analysis result value analyzed by the image analysis module and metadata of the event detected by the event detection module to a control server, a manager terminal, and a user terminal of a vehicle driver and a pedestrian,
The street light control module,
When the stopping time of a stopped vehicle stopped on the road is longer than a preset time, it detects an accident and adjusts the brightness of the lights irradiated to the stopped vehicle, generates an alarm along with the captured image, and transmits it to the control center and the manager terminal However, when the user terminal of the vehicle driver executes a specific app and the control server receives the location information of the user terminal along with accident information and rescue signal, the control server illuminates the surroundings of the user terminal by the control server. An artificial intelligence-based CCTV integrated smart street lamp, characterized in that it controls the lighting direction of the camera-integrated street lamp to increase the illuminance of the lighting lamp, and controls the camera to photograph the surroundings of the user terminal and transmit the captured image to the control server.삭제delete제1항에서,
상기 카메라는,
180도 영역을 촬영하는 파노라마 카메라를 포함하는 것을 특징으로 하는 인공지능 기반의 CCTV 일체형 스마트 가로등.In claim 1,
The camera is
CCTV integrated smart street light based on artificial intelligence, characterized in that it includes a panoramic camera that shoots a 180-degree area.제3항에서,
상기 영상 분석 모듈은,
상기 파노라마 카메라에 촬영된 파노라마 영상의 곡면부분을 전처리하여 평면 이미지로 변환하고, 상기 평면 이미지를 분석하여 상기 영상분석 결과값을 생성하는 것을 특징으로 하는 인공지능 기반의 CCTV 일체형 스마트 가로등.In claim 3,
The image analysis module,
An artificial intelligence-based CCTV integrated smart street lamp, characterized in that the curved portion of the panoramic image captured by the panoramic camera is pre-processed to convert it into a flat image, and the image analysis result is generated by analyzing the flat image.삭제delete삭제delete제1항에서,
상기 가로등 제어 모듈은,
도로 및 횡단보도를 촬영한 영상으로부터 상기 횡단보도를 보행하는 보행자를 감시하며, 상기 횡단보도가 아닌 도로를 횡단하는 보행자의 움직임이 감지된 경우, 상기 횡단보도가 아닌 도로를 횡단하는 보행자에 빛이 조사되도록 조명등의 밝기 및 조명 방향을 조절하고, 해당 촬영 영상과 함께 알람을 생성하여 관제 센터 또는 관리자 단말에 전송하도록 제어하는 것을 특징으로 하는 인공지능 기반의 CCTV 일체형 스마트 가로등.In claim 1,
The street light control module,
A pedestrian crossing the crosswalk is monitored from the images taken from the road and the crosswalk, and when a movement of a pedestrian crossing the road other than the crosswalk is detected, light is applied to the pedestrian crossing the road other than the crosswalk. A CCTV integrated smart street lamp based on artificial intelligence, characterized in that it controls the brightness and direction of lighting to be irradiated, generates an alarm along with the corresponding captured image, and transmits it to a control center or a manager terminal.제1항에서,
상기 가로등 제어 모듈은,
야간 보행자의 움직임을 검출하여 상기 조명등의 밝기를 조절하되, 상기 야간 보행자의 움직임이 없는 경우에는 조명등의 밝기를 낮추고, 상기 야간 보행자의 움직임이 감지된 경우 상기 조명등의 밝기를 높이도록 제어하는 것을 특징으로 하는 인공지능 기반의 CCTV 일체형 스마트 가로등.In claim 1,
The street light control module,
Controlling the brightness of the lighting lamp by detecting the movement of the pedestrian at night, but lowering the brightness of the lighting lamp when there is no movement of the night pedestrian, and increasing the brightness of the lighting lamp when the movement of the night pedestrian is detected CCTV integrated smart street light based on artificial intelligence.제8항에서,
상기 가로등 제어 모듈은,
상기 야간 보행자의 움직임을 따라 상기 조명등의 조명 방향을 조절하도록 제어하되, 인접하는 가로등이 상기 야간 보행자의 움직임을 따라 조명등의 밝기 및 조명 방향을 조절하도록 상기 야간 보행자의 이동 정보를 상기 인접하는 가로등에 전송하는 것을 특징으로 하는 인공지능 기반의 CCTV 일체형 스마트 가로등.In claim 8,
The street light control module,
Control to adjust the lighting direction of the lighting lamp according to the movement of the night pedestrian, but the adjacent street lamp to adjust the brightness and lighting direction of the lighting lamp according to the movement of the night pedestrian movement information of the night pedestrian to the adjacent street lamp CCTV integrated smart street light based on artificial intelligence, characterized in that it transmits.제1항에서,
상기 영상 분석 모듈은,
상기 카메라에서 촬영된 영상을 분석하여 상기 카메라의 촬영 영역 내에 인식된 주차면을 분석하되, 총 주차면의 수 및 위치정보, 각각의 주차면에 주차된 차량의 주차시간정보, 및 차량이 주차되지 않은 빈주차면의 수 및 위치에 관한 빈주차면 정보를 분석하는 것을 특징으로 하는 인공지능 기반의 CCTV 일체형 스마트 가로등.In claim 1,
The image analysis module,
Analyze the image taken by the camera to analyze the parking surface recognized within the shooting area of the camera, but the total number and location information of the parking surface, the parking time information of the vehicle parked in each parking surface, and the vehicle is not parked CCTV integrated smart street light based on artificial intelligence, characterized in that it analyzes vacant parking surface information on the number and location of unoccupied empty parking spaces.제10항에서,
상기 가로등 제어 모듈은,
상기 카메라의 촬영 영역 내에서 이동하는 이동객체를 검출하여 상기 조명등의 밝기를 조절하되, 상기 빈주차면 정보를 기초로 상기 빈주차면에 조사되는 조명등의 밝기를 조절하거나 상기 빈주차면에 빛을 조사하도록 상기 조명등의 조명 방향을 조절하는 것을 특징으로 하는 인공지능 기반의 CCTV 일체형 스마트 가로등.In claim 10,
The street light control module,
Detect a moving object moving within the photographing area of the camera and adjust the brightness of the lighting lamp, and adjust the brightness of the lighting lamp irradiated on the empty parking surface based on the empty parking surface information or irradiate light to the empty parking surface. A CCTV integrated smart street light based on artificial intelligence, characterized in that it adjusts the lighting direction of the lighting.제11항에서,
상기 가로등 제어 모듈은,
차량이 주차된 주차면에 조사되는 밝기보다 차량이 주차되지 않은 빈주차면에 조사되는 조명등의 밝기를 높이도록 상기 조명등의 밝기를 조절하는 것을 특징으로 하는 인공지능 기반의 CCTV 일체형 스마트 가로등.In claim 11,
The street light control module,
Artificial intelligence-based CCTV integrated smart street light, characterized in that the brightness of the lighting lamp is adjusted to increase the brightness of the lighting lamp irradiated on the empty parking surface where the vehicle is not parked than the brightness irradiated on the parking surface where the vehicle is parked.

Images