KR20240083264A

Movatterモバイル変換

Info

Publication number: KR20240083264A
Application number: KR1020220166902A
Authority: KR
Inventors: 김현범
Original assignee: 주식회사 에이치엘클레무브
Priority date: 2022-12-02
Filing date: 2022-12-02
Publication date: 2024-06-12
Also published as: US20240182052A1; CN118124586A

Abstract

운전자 보조 장치는, 상기 차량 주변의 시야를 가지며, 이미지 데이터를 획득하는 카메라; 상기 차량에 설치되어, 상기 차량 주변의 감지 시야를 가지며, 레이더 데이터를 획득하는 레이더; 및 상기 이미지 데이터 및 레이더 데이터를 처리하는 제어부;를 포함하고, 상기 제어부는, 상기 차량의 주행모드가 자율 주행 모드이면, 상기 이미지 데이터 및 레이더 데이터를 처리한 것에 응답하여, 상기 차량 주변의 객체와의 충돌이 예측되는지 결정하고, 상기 객체와의 충돌이 예측되면 충돌위험에 대한 경고를 출력하고, 상기 경고 출력 후, 조향, 가속 또는 감속 중 적어도 하나에 대한 운전자의 조작이 감지되면 상기 감지된 운전자의 조작에 따라 상기 조향, 가속 또는 감속 중 적어도 하나를 제어할 수 있다.

Description

운전자 보조 장치 및 운전자 보조 방법 {driver assistance apparatus and driver assistance method}

개시된 발명은 차량의 자율 주행 중에 주변 객체와의 충돌 위험을 예측하여 경고할 수 있는 운전자 보조 장치 및 운전자 보조 방법에 관한 것이다.

현대 사회에서 차량은 가장 보편적인 이동 수단으로서 차량을 이용하는 사람들의 수는 증가하고 있다. 차량 기술의 발전으로 인해 장거리의 이동이 용이하고, 생활이 편해지는 등의 장점도 있지만, 우리나라와 같이 인구밀도가 높은 곳에서는 도로 교통 사정이 악화되어 교통 정체가 심각해지는 문제가 자주 발생한다.

최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및/또는 주변 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 보조 시스템(Advanced Driver Assist System; ADAS)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.

차량에 탑재되는 첨단 운전자 보조 시스템의 일 예로, 차선 이탈 경고(Lane Departure Warning, LDW), 차선 유지 보조(Lane Keeping Assist, LKA), 상향등 보조(High Beam Assist, HBA), 자동 긴급 제동(Autonomous Emergency Braking, AEB), 교통 표지판 인식(Traffic Sign Recognition, TSR), 크루즈 컨트롤(Adaptive Cruise Control, ACC), 또는 사각지대 감지(Blind Spot Detection, BSD) 등이 있다.

운전자 보조 시스템은 주변 환경의 정보를 수집하고, 수집된 정보를 처리할 수 있다. 또한, 운전자 보조 시스템은, 수집된 정보를 처리한 결과에 기초하여, 사물을 인식하고 차량이 주행할 경로를 설계할 수 있다.

다만, 종래의 운전자 보조 시스템은, 자율 주행 중 돌발 상황이 발생할 경우 운전에 대한 제어권을 운전자에게 이양하지 못하여 급작스런 위험 발생 시 충돌의 위험에 노출되는 문제가 있다.

개시된 발명의 일 측면은, 차량의 주변에 위치하는 객체와의 충돌 가능성을 예측하여 운전자에게 경고하고 운전자의 주행에 대한 조작이 감지되면 운전자에게 운전의 제어권을 이양하는 운전자 보조 장치 및 운전자 보조 방법을 제공하고자 한다.

개시된 발명의 일 측면에 따른 운전자 보조 장치는, 차량에 설치되어, 상기 차량 주변의 시야를 가지며, 이미지 데이터를 획득하는 카메라; 상기 차량에 설치되어, 상기 차량 주변의 감지 시야를 가지며, 레이더 데이터를 획득하는 레이더; 및 상기 이미지 데이터 및 레이더 데이터를 처리하는 제어부;를 포함하고, 상기 제어부는, 상기 차량의 주행모드가 자율 주행 모드이면, 상기 이미지 데이터 및 레이더 데이터를 처리한 것에 응답하여, 상기 차량 주변의 객체와의 충돌이 예측되는지 결정하고, 상기 객체와의 충돌이 예측되면 충돌위험에 대한 경고를 출력하고, 상기 경고 출력 후, 조향, 가속 또는 감속 중 적어도 하나에 대한 운전자의 조작이 감지되면 상기 감지된 운전자의 조작에 따라 상기 조향, 가속 또는 감속 중 적어도 하나를 제어할 수 있다.

또한, 제어부는, 미리 정해진 제1시간내에 상기 객체와의 충돌이 예측되면 상기 충돌위험에 대한 제1경고를 출력할 수 있다.

또한, 제어부는 상기 제1경고 출력 후, 자율주행에 대한 운전자의 개입이 감지되지 않으면, 상기 제1시간보다 짧은 제2시간내에 상기 객체와의 충돌이 예측되는지 결정할 수 있다.

또한, 제어부는 상기 제2시간내에 상기 객체와의 충돌이 예측되면 상기 운전자에게 충돌위험에 대한 제2경고를 출력할 수 있다.

또한, 제어부는, 상기 제2경고 출력 후, 조향, 가속 또는 감속 중 적어도 하나에 대한 운전자의 조작이 감지되면, 자율주행을 해제할 수 있다.

또한, 제어부는, 상기 제2경고 출력 후, 자율주행에 대한 운전자의 개입이 감지되지 않으면, 상기 객체와의 충돌을 피하기 위해 조향, 가속 또는 감속 중 적어도 하나를 제어할 수 있다.

또한, 제어부는, 상기 이미지 데이터를 처리한 것에 응답하여, 상기 차량 주변의 객체를 식별할 수 있다.

또한 제어부는, 상기 레이더 데이터를 처리한 것에 응답하여, 상기 객체의 종방향 속도 또는 횡방향 속도를 포함하는 상기 객체의 움직임을 예측할 수 있다.

또한, 제어부는, 자차량의 속도, 요레이트 또는 조향각 중 적어도 하나를 포함하는 자차량의 주행정보에 기초하여 자차량의 주행 경로를 예측할 수 있다.

또한, 제어부는, 상기 자차량의 주행 경로에 상기 객체가 진입하여 상기 객체와의 충돌이 예측되는지 결정할 수 있다.

개시된 발명의 일 측면에 따른 운전자 보조 방법은, 차량 주변의 시야를 가지는 카메라를 통하여 이미지 데이터를 획득하고; 상기 차량 주변의 감지 시야를 가지는 레이더를 통하여 레이더 데이터를 획득하고; 상기 이미지 데이터 및 레이더 데이터를 처리하고; 상기 차량의 주행모드가 자율 주행 모드이면, 상기 이미지 데이터 및 레이더 데이터를 처리한 것에 응답하여, 상기 차량 주변의 객체와의 충돌이 예측되는지 결정하고; 상기 객체와의 충돌이 예측되면 충돌위험에 대한 경고를 출력하고; 상기 경고 출력 후, 조향, 가속 또는 감속 중 적어도 하나에 대한 운전자의 조작이 감지되면 상기 감지된 운전자의 조작에 따라 상기 조향, 가속 또는 감속 중 적어도 하나를 제어하는 것;을 포함할 수 있다.

또한, 경고를 출력하는 것은, 미리 정해진 제1시간내에 상기 객체와의 충돌이 예측되면 상기 충돌위험에 대한 제1경고를 출력하는 것;을 포함할 수 있다.

또한, 제1경고 출력 후, 자율주행에 대한 운전자의 개입이 감지되지 않으면, 상기 제1시간보다 짧은 제2시간내에 상기 객체와의 충돌이 예측되는지 결정하는 것;을 더 포함할 수 있다.

또한, 제2시간내에 상기 객체와의 충돌이 예측되면 상기 운전자에게 충돌위험에 대한 제2경고를 출력하는 것;을 더 포함할 수 있다.

또한, 제2경고 출력 후, 조향, 가속 또는 감속 중 적어도 하나에 대한 운전자의 조작이 감지되면, 자율주행을 해제하는 것;을 더 포함할 수 있다.

또한, 제2경고 출력 후, 자율주행에 대한 운전자의 개입이 감지되지 않으면, 상기 객체와의 충돌을 피하기 위해 조향, 가속 또는 감속 중 적어도 하나를 제어하는 것;을 더 포함할 수 있다.

또한, 객체와의 충돌이 예측되는지 결정하는 것은, 상기 이미지 데이터를 처리한 것에 응답하여, 상기 차량 주변의 객체를 식별하는 것;을 포함할 수 있다.

또한, 객체와의 충돌이 예측되는지 결정하는 것은, 상기 레이더 데이터를 처리한 것에 응답하여, 상기 객체의 종방향 속도 또는 횡방향 속도를 포함하는 상기 객체의 움직임을 예측하는 것;을 포함할 수 있다.

또한, 객체와의 충돌이 예측되는지 결정하는 것은, 자차량의 속도, 요레이트 또는 조향각 중 적어도 하나를 포함하는 자차량의 주행정보에 기초하여 자차량의 주행 경로를 예측하는 것;을 포함할 수 있다.

또한, 객체와의 충돌이 예측되는지 결정하는 것은, 상기 자차량의 주행 경로에 상기 객체가 진입하여 상기 객체와의 충돌이 예측되는지 결정하는 것;을 포함할 수 있다.

개시된 발명의 일 측면에 따르면, 사전에 돌발 위험 요소를 감지하여 운전자에게 많은 정보를 전달하고 운전자가 위험 요소를 상시 주시하여 즉각적으로 개입할 수 있도록 한다.

또한, 잠재 위험 요소에 대한 결정을 사람이 판단하게 하므로 자율주행의 오판단으로 인한 위험성을 줄일 수 있다.

도 1은 일 실시예에 의한 차량 및 운전자 보조 장치의 구성을 도시한다.
도 2은 일 실시예에 의한 운전자 보조 장치에 포함된 카메라, 레이더 및 라이다의 시야를 도시한다.
도 3은 일 실시예에 의한 운전자 보조 장치에 포함된 제어부의 기능 모듈을 도시한다.
도 4는 도 3에 도시된 충돌 예측 모듈을 구체화환 도면이다.
도 5는 차량의 예측된 주행 경로와 차량 주변의 객체를 도시한다.
도 6은 차량의 예측된 주행 경로에 차량 주변의 객체가 침입하는 것을 도시한다.
도 7 및 도 8은 객체와의 충돌이 예측되는 경우 경고를 출력하는 것을 도시한다.
도 9 및 도 10은 일 실시예에 의한 운전자 보조 장치의 동작을 도시한다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.

이하 첨부된 도면들을 참고하여 개시된 발명의 작용 원리 및 실시예들에 대해 설명한다.

도 1은 일 실시예에 의한 차량의 구성을 도시한다. 도 2은 일 실시예에 의한 운전자 보조 장치에 포함된 카메라, 레이더 및 라이다의 시야를 도시한다.

도 1에 도시된 바와 같이, 차량(1)은 내비게이션 장치(10), 구동 장치(20), 제동 장치(30), 조향 장치(40), 디스플레이 장치(50), 오디오 장치(60) 및/또는 운전자 보조 장치(100)를 포함할 수 있다.

또한, 차량(1)은 차량(1)의 움직임(dynamic)을 감지하는 센서들(91, 92, 93)를 더 포함할 수 있다. 예를 들어, 차량(1)은 차량(1)의 종방향 속도를 감지하는 차속 센서(91), 차량(1)의 종방향 가속도 및 횡방향 가속도를 감지하는 가속도 센서(92), 및/또는 차량(1)의 요 각속도(yaw rate), 롤 각속도(roll rate) 및 피치 각속도(pitch rate)를 감지하는 자이로 센서(93)를 더 포함할 수 있다.

이들은 차량용 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 예를 들어, 차량(1)에 포함된 전기 장치들(10, 20, 30, 40, 50, 60, 91, 92, 93, 100)은 이더넷(Ethernet), 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(Flexray), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등을 통하여 데이터를 주고 받을 수 있다.

내비게이션 장치(10)는 운전자가 입력한 목적지까지의 경로를 생성하고, 생성된 경로를 운전자에게 제공할 수 있다. 내비게이션 장치(10)는 글로벌 항법 위성 시스템(Global Navigation Satellite System, GNSS)에서 GNSS 신호를 수신하고, GNSS 신호에 기초하여 차량(1)의 절대 위치(좌표)를 식별할 수 있다. 내비게이션 장치(10)는 운전자가 입력한 목적지의 위치(좌표)와 차량(1)의 현재 위치(좌표)에 기초하여 목적지까지의 경로를 생성할 수 있다.

내비게이션 장치(10)는 지도 데이터 및 차량(1)의 위치 정보를 운전자 보조 장치(100)에 제공할 수 있다. 또한, 내비게이션 장치(10)는 목적지까지의 경로에 관한 정보를 운전자 보조 장치(100)에 제공할 수 있다. 예를 들어, 내비게이션 장치(10)는 차량(1)이 새로운 도로에 진입하기 위한 진입로까지의 거리 또는 차량(1)이 현재 주행 중인 도로에서 진출하기 위한 진출로까지의 거리 등의 정보를 운전자 보조 장치(100)에 제공할 수 있다.

구동 장치(20)는 차량(1)을 이동시키며, 예를 들어 엔진과, 엔진 관리 시스템(Engine Management System, EMS)과, 변속기와 변속기 제어 유닛(Transmission Control Unit, TCU)를 포함할 수 있다.

엔진은 차량(1)이 주행하기 위한 동력을 생성하며, 엔진 관리 시스템은 가속 페달을 통한 운전자의 가속 의지 또는 운전자 보조 장치(100)의 요청에 응답하여 엔진을 제어할 수 있다. 변속기는 엔진에 의하여 생성된 동력을 차륜까지 감속-전달하며, 변속기 제어 유닛은 변속 레버를 통한 운전자의 변속 명령 및/또는 운전자 보조 장치(100)의 요청에 응답하여 변속기를 제어할 수 있다.

제동 장치(30)는 차량(1)을 정지시키며, 예를 들어 브레이크 캘리퍼와 제동 제어 모듈(Brake Control Module, EBCM)을 포함할 수 있다. 브레이크 캘리퍼는 브레이크 디스크와의 마찰을 이용하여 차량(1)을 감속시키거나 차량(1)을 정지시킬 수 있으며, 전자 제동 제어 모듈은 브레이크 페달을 통한 운전자의 제동 의지 및/또는 운전자 보조 장치(100)의 요청에 응답하여 브레이크 캘리퍼를 제어할 수 있다. 예를 들어, 전자 제동 제어 모듈은 운전자 보조 장치(100)로부터 감속도를 포함하는 감속 요청을 수신하고, 요청된 감속도에 의존하여 차량(1)이 감속하도록 전기적으로 또는 유압을 통하여 브레이크 캘리퍼를 제어할 수 있다.

조향 장치(40)은 전동 조향 제어 모듈(Electronic Power Steering Control Module, EPS)를 포함할 수 있다. 조향 장치(40)는 차량(1)의 주행 방향을 변경시킬 수 있으며, 전자 조향 제어 모듈은 스티어링 휠을 통한 운전자의 조향 의지에 응답하여 운전자가 쉽게 스티어링 휠을 조작할 수 있도록 조향 장치(40)의 동작을 보조할 수 있다.

또한, 전자 조향 제어 모듈은 운전자 보조 장치(100)의 요청에 응답하여 조향 장치를 제어할 수 있다. 예를 들어, 전자 조향 제어 모듈은 운전자 보조 장치(100)으로부터 조향 토크를 포함하는 조향 요청을 수신하고, 요청된 조향 토크에 의존하여 차량(1)이 조향되도록 조향 장치를 제어할 수 있다.

디스플레이 장치(50)는 클러스터, 헤드 업 디스플레이, 센터페시아 모니터 등을 포함할 수 있으며, 영상과 음향을 통하여 운전자에게 다양한 정보와 엔터테인먼트를 제공할 수 있다. 예를 들어, 디스플레이 장치(50)는 차량(1)의 주행 정보, 경고 메시지 등을 운전자에게 제공할 수 있다.

오디오 장치(60)는 복수의 스피커들을 포함할 수 있으며, 음향을 통하여 운전자에게 다양한 정보와 엔터테인먼트를 제공할 수 있다. 예를 들어, 오디오 장치(60)는 차량(1)의 주행 정보, 경고 메시지 등을 운전자에게 제공할 수 있다.

운전자 보조 장치(100)는 차량용 통신 네트워크를 통하여 내비게이션 장치(10), 복수의 센서들(91, 92, 93), 구동 장치(20), 제동 장치(30), 조향 장치(40), 디스플레이 장치(50) 및 오디오 장치(60)와 통신할 수 있다.

운전자 보조 장치(100)는 내비게이션 장치(10)로부터 목적지까지의 경로에 관한 정보 및 차량(1)의 위치 정보를 수신할 수 있으며, 복수의 센서들(91, 92, 93)로부터 차량(1)의 차속, 가속도 및/또는 각속도에 관한 정보를 획득할 수 있다.

운전자 보조 장치(100)은 운전자에게 안전을 위한 다양한 기능을 제공할 수 있다. 예를 들어, 운전자 보조 장치(100)은 차선 이탈 경고(Lane Departure Warning, LDW)와, 차선 유지 보조(Lane Keeping Assist, LKA)와, 상향등 보조(High Beam Assist, HBA)와, 자동 긴급 제동(Autonomous Emergency Braking, AEB)과, 교통 표지판 인식(Traffic Sign Recognition, TSR)과, 크루즈 컨트롤(Adaptive Cruise Control, ACC)과, 사각지대 감지(Blind Spot Detection, BSD) 등을 제공할 수 있다.

운전자 보조 장치(100)은 운전자 보조 장치(100)은 카메라(110)와, 레이더(120)와, 라이다(130)와, 제어부(140)를 포함할 수 있다. 운전자 보조 장치(100)은 도 1에 도시된 바에 한정되지 아니한다. 예를 들어, 도 1에 도시된 운전자 보조 장치(100)에서, 카메라(110), 레이더(120) 및 라이다(130) 중에 적어도 하나의 감지 수단이 생략되거나 또는 차량(1)의 주변 객체를 감지할 수 있는 다양한 감지 수단이 추가될 수 있다.

카메라(110)와, 레이더(120)와, 라이다(130)와, 제어부(140)는 서로 분리되어 마련될 수 있다. 예를 들어, 제어부(140)는 카메라(110)의 하우징, 레이더(120)의 하우징 및 라이다(130)의 하우징과 분리된 하우징에 설치될 수 있다. 제어부(140)는 광대역폭의 네트워크를 통하여 카메라(110), 레이더(120) 또는 라이다(130)와 데이터를 주고 받을 수 있다.

뿐만 아니라, 카메라(110)와 레이더(120)와 라이다(130)와 제어부(140) 중 적어도 일부가 통합되어 마련될 수 있다. 예를 들어, 카메라(110)와 제어부(140)가 하나의 하우징에 마련되거나, 또는 레이더(120)와 제어부(140)가 하나의 하우징에 마련되거나 또는 라이다(130)와 제어부(140)가 하나의 하우징에 마련될 수 있다.

카메라(110)는 차량(1)의 주변을 촬영하고 차량(1) 주변의 이미지 데이터를 획득할 수 있다. 예를 들어, 카메라(110)는 도 2에 도시된 바와 같이 차량(1)의 프론트 윈드 쉴드에 설치될 수 있으며, 차량(1)의 전방을 향하는 시야(field of view) (110a)를 가질 수 있다.

카메라(110)는 복수의 렌즈들과 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.

이미지 데이터는 차량(1) 주변에 위치하는 다른 차량 또는 보행자 또는 사이클리스트 또는 차선(차로를 구별하는 마커)에 관한 정보를 포함할 수 있다.

운전자 보조 장치(100)는 카메라(110)의 이미지 데이터를 처리하는 이미지 프로세서를 포함할 수 있으며, 이미지 프로세서는 예를 들어 카메라(110)와 일체로 마련되거나 또는 제어부(140)와 일체로 마련될 수 있다.

이미지 프로세서는 카메라(110)의 이미지 센서로부터 이미지 데이터를 획득하고, 이미지 데이터의 처리에 기초하여 차량(1)의 주변 객체를 검출하고 식별할 수 있다. 예를 들어 이미지 프로세서는 이미지 프로세싱을 이용하여 차량(1) 주변의 객체가 다른 차량인지, 또는 보행자인지, 또는 사이클리스트인지 등인지를 식별할 수 있다.

이미지 프로세서는 차량(1) 주변의 식별된 객체에 대한 정보를 제어부(140)로 전달할 수 있다.

레이더(120)는 차량(1)의 주변을 향하여 송신 전파를 발신하고 주변 객체로부터 반사된 반사 전파에 기초하여 차량(1)의 주변 객체를 검출할 수 있다. 예를 들어, 레이더(120)는 도 2에 도시된 바와 같이 차량(1)의 그릴(grille) 또는 범퍼(bumper)에 설치될 수 있으며, 차량(1)의 전방을 향하는 감지 시야(field of sensing) (120a)을 가질 수 있다.

레이더(120)는 차량(1)의 주변을 향하여 송신 전파를 방사하는 송신 안테나(또는 송신 안테나 어레이)와, 객체에 반사된 반사 전파를 수신하는 수신 안테나(또는 수신 안테나 어레이)를 포함할 수 있다.

레이더(120)는 송신 안테나에 의한 송신된 송신 전파와 수신 안테나에 의하여 수신된 반사 전파로부터 레이더 데이터를 획득할 수 있다. 레이더 데이터는 차량(1) 전방에 위치하는 객체들의 위치 정보(예를 들어, 거리 정보) 및/또는 속도 정도를 포함할 수 있다.

운전자 보조 장치(100)는 레이더(120)의 레이더 데이터를 처리하는 시그널 프로세서를 포함할 수 있으며, 시그널 프로세서는 예를 들어 레이더(120)와 일체로 마련되거나 또는 제어부(140)와 일체로 마련될 수 있다.

시그널 프로세서는 레이더(120)의 수신 안테나로부터 레이더 데이터를 획득하고, 반시 신호의 반사 포인트를 클러스팅(clustering)함으로써 객체의 움직임에 대한 데이터를 생성할 수 있다.

시그널 프로세서는 예를 들어 송신 전파의 송신 시각과 반사 전파의 수신 시각 사이의 시간 차이에 기초하여 객체와의 거리를 획득하고, 송신 전파의 주파수와 반사 전파의 주파수 사이의 차이에 기초하여 객체의 속도를 획득할 수 있다.

시그널 프로세서는 레이더 데이터로부터 획득된 차량(1) 주변의 객체의 움직임에 관한 데이터를 제어부(140)로 전달할 수 있다.

라이다(130)는 차량(1)의 주변을 향하여 광(예를 들어, 적외선)을 발신하고 주변 객체로부터 반사된 반사 광에 기초하여 차량(1)의 주변 객체를 검출할 수 있다. 예를 들어, 라이다(130)는 도 2에 도시된 바와 같이 차량(1)의 루프(roof)에 설치될 수 있으며, 차량(1)의 주변의 모든 방향을 향하는 시야(130a)를 가질 수 있다.

라이다(130)는 광(예를 들어, 적외선 등)을 발신하는 광원(예를 들어, 발광 다이오드, 발광 다이오드 어레이, 레이저 다이오드 또는 레이저 다이오드 어레이)과, 광(예를 들어, 적외선 등)을 수신하는 광 센서(예를 들어, 포토 다이오드 또는 포토 다이오드 어레이)를 포함할 수 있다. 또한, 필요에 따라, 라이다(130)는 광원 및/또는 광 센서를 회전시키는 구동 장치를 더 포함할 수 있다.

라이다(130)는, 광원 및/또는 광 센서가 회전하는 동안, 광원을 통하여 광을 방출하고 객체에서 반사된 광을 광 센서를 통하여 수신할 수 있으며, 그에 의하여 라이다 데이터를 획득할 수 있다.

라이다 데이터는 차량(1)의 주변 객체들의 상대 위치(주변 객체의 거리 및/또는 주변 객체의 방향) 및/또는 상대 속도를 포함할 수 있다.

운전자 보조 장치(100)는 라이다(130)의 라이다 데이터를 처리할 수 있는 시그널 프로세서를 포함할 수 있으며, 시그널 프로세서는 예를 들어 라이다(130)와 일체로 마련되거나 또는 제어부(140)와 일체로 마련될 수 있다.

시그널 프로세서는 반사 광에 의한 반사 포인트를 클러스팅함으로써 객체의 움직임에 대한 데이터를 생성할 수 있다. 시그널 프로세서는 예를 들어 광 발신 시각과 광 수신 시각 사이의 시간 차이에 기초하여 객체까지의 거리를 획득할 수 있다. 또한, 시그널 프로세서는 광 센서가 반사 광을 수신할 때 광원이 광을 발신한 방향에 기초하여, 차량(1)의 주행 방향에 대한 객체의 방향(또는 각도)을 획득할 수 있다.

시그널 프로세서는 라이다 데이터로부터 획득된 차량(1) 주변의 객체의 움직임에 관한 데이터를 제어부(140)로 전달할 수 있다.

제어부(140)는 카메라(110), 레이더(120) 및/또는 라이다(130)와 전기적으로 연결될 수 있다. 또한, 제어부(140)는 차량용 통신 네트워크(NT)를 통하여 내비게이션 장치(10), 구동 장치(20), 제동 장치(30), 조향 장치(40), 디스플레이 장치(50), 오디오 장치(60) 및/또는 복수의 센서들(91, 92, 93)과 연결될 수 있다.

제어부(140)는 카메라(110)의 이미지 데이터, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리하고, 구동 장치(20), 제동 장치(30) 및/또는 조향 장치(40)에 제어 신호를 제공할 수 있다.

제어부(140)는 프로세서(141)와 메모리(142)를 포함할 수 있다..

메모리(142)는 이미지 데이터, 레이더 데이터 및/또는 라이다 데이터를 처리하기 위한 프로그램 및/또는 데이터를 저장할 수 있다. 또한, 메모리(142)는 구동/제동/조향 신호를 생성하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.

메모리(142)는 카메라(110)로부터 수신된 이미지 데이터, 레이더(120)로부터 수신된 레이더 데이터 및/또는 라이다(130)로부터 수신된 라이다 데이터를 임시로 기억하고, 프로세서(141)의 이미지 데이터, 레이더 데이터 및/또는 라이다 데이터의 처리 결과를 임시로 기억할 수 있다.

또한, 메모리(142)는 고정밀 지도(High Definition Map, HD Map)를 포함할 수 있다. 고정밀 지도는 일반적인 지도와 달리 차선, 신호등, 교차로, 도로 표지판 등 도로나 교차로의 표면에 대한 세부적인 정보를 포함할 수 있다. 특히, 고정밀 지도에는 차량이 주행하는 중에 마주치는 랜드 마크(예를 들어, 차선, 신호등, 교차로, 도로 표지판 등)가 3차원으로 구현되어 있다.

메모리(142)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리 뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.

프로세서(141)는 카메라(110)의 이미지 데이터, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리할 수 있다. 예를 들어, 프로세서(141)는 이미지 데이터, 레이더 데이터 및/또는 라이다 데이터를 융합하고, 퓨전 데이터를 출력할 수 있다.

프로세서(141)는, 퓨전 데이터를 처리하는 것에 기초하여, 구동 장치(10), 제동 장치(20) 및/또는 조향 장치(30)을 각각 제어하기 위한 구동 신호, 제동 신호 및/또는 조향 신호를 생성할 수 있다. 예를 들어, 프로세서(141)는 퓨전 트랙들과 차량(1) 사이의 충돌 위험을 평가할 수 있다. 프로세서(141)는 퓨전 데이터를 이용하여 차량(1) 주변 객체와의 충돌을 예측할 수 있고 그에 따라 차량(1)을 조향하거나 또는 제동하도록 구동 장치(10), 제동 장치(20) 및/또는 조향 장치(30)을 제어할 수 있다.

프로세서(141)는 카메라(110)의 이미지 데이터를 처리하는 이미지 프로세서, 레이더(120)의 레이더 데이터 및/또는 라이다(130)의 라이다 데이터를 처리하는 시그널 프로세서, 또는 구동/제동/조향 신호를 생성하는 마이크로 컨트롤 유닛(Micro Control Unit, MCU)를 포함할 수 있다.

이상에서 설명된 바와 같이 제어부(140)는, 카메라(110)의 이미지 데이터, 레이더(120)의 레이더 데이터 또는 라이다(130)의 라이다 데이터에 기초하여, 구동 신호, 제동 신호 또는 조향 신호를 제공할 수 있다.

운전자 보조 장치(100)의 구체적인 동작은 아래에서 더욱 자세하게 설명된다.

도 3은 일 실시예에 의한 운전자 보조 장치에 포함된 제어부의 기능 모듈을 도시한다. 도 4는 도 3에 도시된 충돌 예측 모듈을 구체화환 도면이다. 도 5는 차량의 예측된 주행 경로와 차량 주변의 객체를 도시한다. 도 6은 차량의 예측된 주행 경로에 차량 주변의 객체가 침입하는 것을 도시한다. 도 7 및 도 8은 객체와의 충돌이 예측되는 경우 경고를 출력하는 것을 도시한다.

제어부(140)는 기능적으로, 복수의 모듈들을 포함할 수 있다. 모듈들 각각은 프로세서(141)에 포함된 하드웨어 모듈(예를 들어, ASIC 또는 FPGA)이거나 또는 메모리(142)에 저장된 소프트웨어 모듈(예를 들어 어플리케이션 프로그램 또는 데이터)일 수 있다.

제어부(140)는 도 3에 도시된 바와 같이 충돌 예측 모듈(Collision Prediction Module) (210)과, 경고 출력 모듈(Warning Output Module) (220)과, 제어 모듈(Control Module) (250)을 포함할 수 있다.

제어부(140)의 충돌 예측 모듈(210)은, 카메라(110)의 이미지 데이터와 레이더(120)의 레이더 데이터와 라이다(130)의 라이다 데이터를 융합하여 차량(1)의 주변 객체(2)를 식별할 수 있다(221).

충돌 예측 모듈(210)은 카메라의 이미지 데이터를 이용하여 차량(1) 주변의 돌발 위험을 일으킬 수 있는 객체(2)를 식별한다. 예를 들어, 충돌 예측 모듈(210)은 이미지 데이터를 이용하여 객체(2)가 다른 차량인지, 또는 보행자인지, 또는 사이클리스트인지, 또는 오토바이인지, 또는 가드레일인지 등을 식별할 수 있다.

충돌 예측 모듈(210)은 식별된 객체(2)가 돌발 움직임을 통해 차량(1)과 충돌을 일으킬 수 위험요소를 갖고 있는 객체(2)인지 분류할 수 있다. 예를 들면, 차량(1)과의 거리, 속도, 가감속 정도, 움직임의 방향 등을 기초로 차량(1)과의 충돌 가능성이 있는 객체(2)인지 식별할 수 있다.

충돌 예측 모듈(210)은 도 5 및 도 6에 도시된 것처럼, 식별된 객체(2) 중에 차량(1)과 충돌 위험이 있는 객체(2)가 있을 경우, 레이더 데이터 또는 라이다 데이터를 이용하여 해당 객체(2)의 움직임 예를 들면, 차량의 종/횡속도, 주행방향 등과 같은 움직임을 예측한다.

또한, 충돌 예측 모듈(210)은 차량(1)의 센서들(91, 92, 93)로부터 차량(1)의 속도, 요레이트, 조향각 등에 대한 데이터를 획득하고 이를 기초로 차량(1)의 주행 경로(P)를 예측할 수 있다(231). 또한, 충돌 예측 모듈(210)은 차량(1)의 주행 경로(P)를 예측함에 있어 내비게이션 장치에서 제공되는 차량(1)의 위치 등에 대한 데이터를 이용할 수도 있다.

충돌 예측 모듈(210)은 예측된 객체(2)의 움직임에 기초하여 도 6에 도시된 것처럼 차량(1)의 주행 경로(P)에 객체(2)가 침입하여 차량(1)과 충돌할 가능성이 있는지 결정한다(241). 즉, 충돌 예측 모듈(210)은 객체(2)가 차량(1)의 예측된 주행 경로(P)에 침입하여 제1시간내에 차량(1)과 충돌할 것으로 예측되는지 결정한다.

보다 구체적으로, 도 7 에 도시된 것처럼, 충돌 예측 모듈(210)은 객체(2)의 위치(거리)와 상대 속도에 기초하여 차량(1)과 객체(2) 사이의 충돌까지 의 시간(Time to Collision, TTC1)을 산출하고, 충돌까지의 시간(TTC1)과 미리 정해진 제1시간의 비교에 기초하여 객체(2)와의 충돌이 예상되는지를 판단할 수 있다. 즉, 충돌 예측 모듈(210)은 제1시간 예를 들면, 3초 이내에 객체(2)와의 충돌이 예측되는지 결정할 수 있다. 충돌 예측 모듈(210)은 제1시간 이내에 객체(2)와의 충돌이 예측되면, 경고 출력 모듈(220)에 이를 제공한다.

경고 출력 모듈(220)은 제1시간 이내에 객체(2)와의 충돌이 예측되면, 제1경고(S1)를 출력한다. 경고 출력 모듈(220)은, 운전자가 시각, 청각, 촉각 등을 통해 경고를 인지할 수 있도록 디스플레이, 스피커, 스티어링휠, 안전벨트, 시트 등을 통해 미리 정해진 경고 메시지를 출력할 수 있다.

제1경고가 출력된 후, 차량(1) 주행에 대한 운전자의 조작이 감지되면, 제어 모듈(250)은 감지된 운전자의 조작에 따라, 가속, 감속, 조향 등 차량(1) 주행과 관련된 주요요소 중 운전자의 조작이 감지된 요소에 대해 운전자의 조작에 따른다.

예를 들면, 제1경고 출력 후, 운전자가 브레이크 페달을 조작하여 감속 주행을 시도하면, 제어 모듈(250)은 자율 주행 중 운전자의 조작이 감지된 차량(1)의 속도와 관련하여 운전자의 조작에 대응하는 감속을 위해 제동장치를 제어한다. 즉, 제1경고 출력 후 운전자의 조작이 감지되면 자율주행을 전면적으로 해제하는 것이 아니라, 운전자의 조작이 감지된 주행요소에 대해서만 차량(1) 주행의 제어권을 운전자에게 이양하는 것이다.

제1경고가 출력된 후, 차량(1) 주행에 대한 운전자의 조작이 감지되지 않으면, 충돌 예측 모듈(210)은 객체(2)가 제2시간내에 차량(1)과 충돌할 것으로 예측되는지 결정한다.

보다 구체적으로, 도 8 에 도시된 것처럼, 충돌 예측 모듈(210)은 객체(2)의 위치(거리)와 상대 속도에 기초하여 차량(1)과 객체(2) 사이의 충돌까지 의 시간(Time to Collision, TTC2)을 산출하고, 충돌까지의 시간(TTC2)과 미리 정해진 제2시간의 비교에 기초하여 객체(2)와의 충돌이 예상되는지를 판단할 수 있다. 즉, 충돌 예측 모듈(210)은 제2시간 예를 들면, 1초 이내에 객체(2)와의 충돌이 예측되는지 결정할 수 있다. 충돌 예측 모듈(210)은 제2시간 이내에 객체(2)와의 충돌이 예측되면, 경고 출력 모듈(220)에 이를 제공한다.

경고 출력 모듈(220)은 제2시간 이내에 객체(2)와의 충돌이 예측되면, 제2경고(S2)를 출력한다. 경고 출력 모듈(220)은, 운전자가 시각, 청각, 촉각 등을 통해 경고를 인지할 수 있도록 디스플레이, 스피커, 스티어링휠, 안전벨트, 시트 등을 통해 미리 정해진 경고 메시지를 출력할 수 있다.

경고 출력 모듈(220)은 제2경고를 출력할 때, 제1경고에 비해, 시각, 청각, 촉각 등 운전자가 인지할 수 있는 감각의 정도를 더 강하게 출력할 수 있다. 즉, 경고 출력 모듈(220)은 시각적으로 더 밝고 더 큰 경고 메시지, 더 큰 소리의 경고 메시지, 더 강한 진동 등을 통한 경고 메시지를 제2경고로서 출력할 수 있다.

제2경고가 출력된 후, 차량(1) 주행에 대한 운전자의 조작이 감지되면, 제어 모듈(250)은 자율 주행을 해제하고, 차량(1) 주행을 운전자의 조작에 따른다. 예를 들면, 제1경고 출력 후, 운전자가 브레이크 페달을 조작하여 감속 주행을 시도하면, 제어 모듈(250)은 자율 주행을 해제하고 차량(1)의 주행과 관련된 모든 요소를 운전자의 조작에 따른다.

즉, 제1경고 출력 후 운전자의 조작이 감지되면 운전자의 조작이 감지된 주행요소에 대해서만 차량(1) 주행의 제어권을 운전자에게 이양하는 것과 달리, 제2경고 출력 후 운전자의 조작이 감지되면 자율 주행을 해제하고 차량(1) 주행에 대한 제어권을 운전자에게 이양하여 운전자의 의지대로 차량(1)이 운행될 수 있도록 한다.

제2경고가 출력된 후에도, 운전자의 조작이 감지되지 않으면, 제어 모듈(250)은 이미지 데이터, 레이더 데이터, 라이다 데이터, 차량(1)의 각종 센서들(91, 92, 93)로부터 수신되는 데이터를 처리하여, 객체(2)와의 충돌을 회피하기 위해 차량(1)의 가속, 감속, 조향 등 차량(1)의 주행을 제어한다.

도 9 및 도 10은 일 실시예에 의한 운전자 보조 장치의 동작을 도시한다.

도 9 및 도 10을 참조하면, 제어부(140)는, 카메라(110)의 이미지 데이터와 레이더(120)의 레이더 데이터와 라이다(130)의 라이다 데이터를 융합하여 차량(1)의 주변 객체(2)를 식별할 수 있다(400).

제어부(140)는 카메라의 이미지 데이터를 이용하여 차량(1) 주변의 돌발 위험을 일으킬 수 있는 객체(2)를 식별한다. 예를 들어, 제어부(140)는 이미지 데이터를 이용하여 객체(2)가 다른 차량인지, 또는 보행자인지, 또는 사이클리스트인지, 또는 오토바이인지, 또는 가드레일인지 등을 식별할 수 있다.

제어부(140)는 식별된 객체(2)가 돌발 움직임을 통해 차량(1)과 충돌을 일으킬 수 위험요소를 갖고 있는 객체(2)인지 분류할 수 있다. 예를 들면, 차량(1)과의 거리, 속도, 가감속 정도, 움직임의 방향 등을 기초로 차량(1)과의 충돌 가능성이 있는 객체(2)인지 식별할 수 있다.

제어부(140)는 도 5 및 도 6에 도시된 것처럼, 식별된 객체(2) 중에 차량(1)과 충돌 위험이 있는 객체(2)가 있을 경우, 레이더 데이터 또는 라이다 데이터를 이용하여 해당 객체(2)의 움직임 예를 들면, 차량의 종/횡속도, 주행방향 등과 같은 움직임을 예측한다(410).

또한, 제어부(140)는 차량(1)의 센서들(91, 92, 93)로부터 차량(1)의 속도, 요레이트, 조향각 등에 대한 데이터를 획득하고 이를 기초로 차량(1)의 주행 경로(P)를 예측할 수 있다(420). 또한, 제어부(140)는 차량(1)의 주행 경로(P)를 예측함에 있어 내비게이션 장치에서 제공되는 차량(1)의 위치 등에 대한 데이터를 이용할 수도 있다.

제어부(140)는 예측된 객체(2)의 움직임에 기초하여 도 6에 도시된 것처럼 차량(1)의 주행 경로(P)에 객체(2)가 침입하여 차량(1)과 충돌할 가능성이 있는지 결정한다. 즉, 제어부(140)는 객체(2)가 차량(1)의 예측된 주행 경로(P)에 침입하여 제1시간내에 차량(1)과 충돌할 것으로 예측되는지 결정한다(430).

보다 구체적으로, 도 7 에 도시된 것처럼, 제어부(140)는 객체(2)의 위치(거리)와 상대 속도에 기초하여 차량(1)과 객체(2) 사이의 충돌까지 의 시간(Time to Collision, TTC1)을 산출하고, 충돌까지의 시간(TTC1)과 미리 정해진 제1시간의 비교에 기초하여 객체(2)와의 충돌이 예상되는지를 판단할 수 있다. 즉, 제어부(140)는 제1시간 예를 들면, 3초 이내에 객체(2)와의 충돌이 예측되는지 결정할 수 있다.

제어부(140)는 제1시간 이내에 객체(2)와의 충돌이 예측되면, 제1경고(S1)를 출력한다(440). 제어부(140)는, 운전자가 시각, 청각, 촉각 등을 통해 경고를 인지할 수 있도록 디스플레이, 스피커, 스티어링휠, 안전벨트, 시트 등을 통해 미리 정해진 경고 메시지를 출력할 수 있다.

제1경고가 출력된 후, 차량(1) 주행에 대한 운전자의 조작이 감지되면(450), 제어부(140)는 감지된 운전자의 조작에 따라, 가속, 감속, 조향 등 차량(1) 주행과 관련된 주요요소 중 운전자의 조작이 감지된 요소에 대해 운전자의 조작에 따른다(455).

예를 들면, 제1경고 출력 후, 운전자가 브레이크 페달을 조작하여 감속 주행을 시도하면, 제어부(140)는 자율 주행 중 운전자의 조작이 감지된 차량(1)의 속도와 관련하여 운전자의 조작에 대응하는 감속을 위해 제동장치를 제어한다.

즉, 제1경고 출력 후 운전자의 조작이 감지되면 자율주행을 전면적으로 해제하는 것이 아니라, 운전자의 조작이 감지된 주행요소에 대해서만 차량(1) 주행의 제어권을 운전자에게 이양하는 것이다.

제1경고가 출력된 후, 차량(1) 주행에 대한 운전자의 조작이 감지되지 않으면, 제어부(140)는 객체(2)가 제2시간내에 차량(1)과 충돌할 것으로 예측되는지 결정한다(460).

보다 구체적으로, 도 8 에 도시된 것처럼, 제어부(140)는 객체(2)의 위치(거리)와 상대 속도에 기초하여 차량(1)과 객체(2) 사이의 충돌까지 의 시간(Time to Collision, TTC2)을 산출하고, 충돌까지의 시간(TTC2)과 미리 정해진 제2시간의 비교에 기초하여 객체(2)와의 충돌이 예상되는지를 판단할 수 있다. 즉, 제어부(140)는 제2시간 예를 들면, 1초 이내에 객체(2)와의 충돌이 예측되는지 결정할 수 있다.

제어부(140)는 제2시간 이내에 객체(2)와의 충돌이 예측되면, 제2경고(S2)를 출력한다(470). 제어부(140)는, 운전자가 시각, 청각, 촉각 등을 통해 경고를 인지할 수 있도록 디스플레이, 스피커, 스티어링휠, 안전벨트, 시트 등을 통해 미리 정해진 경고 메시지를 출력할 수 있다.

즉, 제어부(140)는 제2경고를 출력할때, 제1경고에 비해, 시각, 청각, 촉각 등 운전자가 인지할 수 있는 감각의 정도를 더 강하게 출력할 수 있다. 즉, 제어부(140)는 시각적으로 더 밝고 더 큰 경고 메시지, 더 큰 소리의 경고 메시지, 더 강한 진동 등을 통한 경고 메시지를 제2경고로서 출력할 수 있다.

제2경고가 출력된 후, 차량(1) 주행에 대한 운전자의 조작이 감지되면(480), 제어부(140)는 자율 주행을 해제하고, 차량(1) 주행을 운전자의 조작에 따른다(482). 예를 들면, 제1경고 출력 후, 운전자가 브레이크 페달을 조작하여 감속 주행을 시도하면, 제어부(140)는 자율 주행을 해제하고 차량(1)의 주행과 관련된 모든 요소를 운전자의 조작에 따른다.

제2경고가 출력된 후에도, 운전자의 조작이 감지되지 않으면, 제어부(140)는 이미지 데이터, 레이더 데이터, 라이다 데이터, 차량(1)의 각종 센서들(91, 92, 93)로부터 수신되는 데이터를 처리하여, 객체(2)와의 충돌을 회피하기 위해 차량(1)의 가속, 감속, 조향 등 차량(1)의 주행을 제어한다(485).

전술한 것처럼, 개시된 실시예에 따른 운전자 보조 장치는 사전에 돌발 위험 요소를 감지하여 운전자에게 많은 정보를 전달하고 운전자가 위험 요소를 상시 주시하여 즉각적으로 개입할 수 있도록 한다. 또한, 잠재 위험 요소에 대한 결정을 운전자가 판단하게 하므로 자율주행의 오판단의 위험성을 줄일 수 있다. 또한, 충돌 가능성이 있는 위험 요소를 운전자에게 적극적으로 알림으로 자율주행 차량의 안정성 측면에서 운전자에게 신뢰를 줄 수 있다.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다.

기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체'는가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로 , '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

1: 차량10: 내비게이션 장치
20: 구동 장치30: 제동 장치
40: 조향 장치100: 운전자 보조 장치
110: 카메라120: 레이더
130: 라이다140: 제어부
210: 충돌 예측 모듈220: 경고 출력 모듈
221: 객체 식별231: 주행 경로 예측
241: 주행 경로 침입 예측 250: 제어 모듈

Claims

차량 주변의 시야를 가지며, 이미지 데이터를 획득하는 카메라;
상기 차량 주변의 감지 시야를 가지며, 레이더 데이터를 획득하는 레이더; 및
상기 이미지 데이터 및 레이더 데이터를 처리하는 제어부;를 포함하고,
상기 제어부는,
상기 차량의 주행모드가 자율 주행 모드이면, 상기 이미지 데이터 및 레이더 데이터를 처리한 것에 응답하여, 상기 차량 주변의 객체와의 충돌이 예측되는지 결정하고,
상기 객체와의 충돌이 예측되면 충돌위험에 대한 경고를 출력하고,
상기 경고 출력 후, 조향, 가속 또는 감속 중 적어도 하나에 대한 운전자의 조작이 감지되면 상기 감지된 운전자의 조작에 따라 상기 조향, 가속 또는 감속 중 적어도 하나를 제어하는 운전자 보조 장치.
제1항에 있어서,
상기 제어부는,
미리 정해진 제1시간내에 상기 객체와의 충돌이 예측되면 상기 충돌위험에 대한 제1경고를 출력하는 운전자 보조 장치.
제2항에 있어서,
상기 제어부는,
상기 제1경고 출력 후, 자율주행에 대한 운전자의 개입이 감지되지 않으면, 상기 제1시간보다 짧은 제2시간내에 상기 객체와의 충돌이 예측되는지 결정하는 운전자 보조 장치.
제3항에 있어서,
상기 제어부는,
상기 제2시간내에 상기 객체와의 충돌이 예측되면 상기 운전자에게 충돌위험에 대한 제2경고를 출력하는 운전자 보조 장치.
제4항에 있어서,
상기 제어부는,
상기 제2경고 출력 후, 조향, 가속 또는 감속 중 적어도 하나에 대한 운전자의 조작이 감지되면, 자율주행을 해제하는 운전자 보조 장치.
제5항에 있어서,
상기 제어부는,
상기 제2경고 출력 후, 자율주행에 대한 운전자의 개입이 감지되지 않으면, 상기 객체와의 충돌을 피하기 위해 조향, 가속 또는 감속 중 적어도 하나를 제어하는 운전자 보조 장치.
제1항에 있어서,
상기 제어부는,
상기 이미지 데이터를 처리한 것에 응답하여, 상기 차량 주변의 객체를 식별하는 운전자 보조 장치.
제1항에 있어서,
상기 제어부는,
상기 레이더 데이터를 처리한 것에 응답하여, 상기 객체의 종방향 속도 또는 횡방향 속도를 포함하는 상기 객체의 움직임을 예측하는 운전자 보조 장치.
제1항에 있어서,
상기 제어부는,
자차량의 속도, 요레이트 또는 조향각 중 적어도 하나를 포함하는 자차량의 주행정보에 기초하여 자차량의 주행 경로를 예측하는 운전자 보조 장치.
제9항에 있어서,
상기 제어부는,
상기 자차량의 주행 경로에 상기 객체가 진입하여 상기 객체와의 충돌이 예측되는지 결정하는 운전자 보조 장치.
차량 주변의 시야를 가지는 카메라를 통하여 이미지 데이터를 획득하고;
상기 차량 주변의 감지 시야를 가지는 레이더를 통하여 레이더 데이터를 획득하고;
상기 이미지 데이터 및 레이더 데이터를 처리하고;
상기 차량의 주행모드가 자율 주행 모드이면, 상기 이미지 데이터 및 레이더 데이터를 처리한 것에 응답하여, 상기 차량 주변의 객체와의 충돌이 예측되는지 결정하고;
상기 객체와의 충돌이 예측되면 충돌위험에 대한 경고를 출력하고;
상기 경고 출력 후, 조향, 가속 또는 감속 중 적어도 하나에 대한 운전자의 조작이 감지되면 상기 감지된 운전자의 조작에 따라 상기 조향, 가속 또는 감속 중 적어도 하나를 제어하는 것;을 포함하는 운전자 보조 방법.
제11항에 있어서,
상기 경고를 출력하는 것은,
미리 정해진 제1시간내에 상기 객체와의 충돌이 예측되면 상기 충돌위험에 대한 제1경고를 출력하는 것;을 포함하는 운전자 보조 방법.
제12항에 있어서,
상기 제1경고 출력 후, 자율주행에 대한 운전자의 개입이 감지되지 않으면, 상기 제1시간보다 짧은 제2시간내에 상기 객체와의 충돌이 예측되는지 결정하는 것;을 더 포함하는 운전자 보조 방법.
제13항에 있어서,
상기 제2시간내에 상기 객체와의 충돌이 예측되면 상기 운전자에게 충돌위험에 대한 제2경고를 출력하는 것;을 더 포함하는 운전자 보조 방법.
제14항에 있어서,
상기 제2경고 출력 후, 조향, 가속 또는 감속 중 적어도 하나에 대한 운전자의 조작이 감지되면, 자율주행을 해제하는 것;을 더 포함하는 운전자 보조 방법.
제15항에 있어서,
상기 제2경고 출력 후, 자율주행에 대한 운전자의 개입이 감지되지 않으면, 상기 객체와의 충돌을 피하기 위해 조향, 가속 또는 감속 중 적어도 하나를 제어하는 것;을 더 포함하는 운전자 보조 방법.
제11항에 있어서,
상기 객체와의 충돌이 예측되는지 결정하는 것은,
상기 이미지 데이터를 처리한 것에 응답하여, 상기 차량 주변의 객체를 식별하는 것;을 포함하는 운전자 보조 방법.
제11항에 있어서,
상기 객체와의 충돌이 예측되는지 결정하는 것은,
상기 레이더 데이터를 처리한 것에 응답하여, 상기 객체의 종방향 속도 또는 횡방향 속도를 포함하는 상기 객체의 움직임을 예측하는 것;을 포함하는 운전자 보조 방법.
제11항에 있어서,
상기 객체와의 충돌이 예측되는지 결정하는 것은,
자차량의 속도, 요레이트 또는 조향각 중 적어도 하나를 포함하는 자차량의 주행정보에 기초하여 자차량의 주행 경로를 예측하는 것;을 포함하는 운전자 보조 방법.
제19항에 있어서,
상기 객체와의 충돌이 예측되는지 결정하는 것은,
상기 자차량의 주행 경로에 상기 객체가 진입하여 상기 객체와의 충돌이 예측되는지 결정하는 것;을 포함하는 운전자 보조 방법.