본원은 2021년 10월 29일에 중국 특허청에 제출된, 출원 번호 202111273194.9, 발명의 명칭 「차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법, 장치 및 차량」의 중국 특허 출원의 우선권을 주장하고, 그 개시의 전부가 참조에 의해 본 발명에 포함된다.This application claims priority of the Chinese patent application for application number 202111273194.9, titled "Method, device and vehicle for detecting body parts of vehicle occupants taken out of window", filed with the Chinese Intellectual Property Office on October 29, 2021, and , the entire disclosure of which is incorporated herein by reference.
본 발명은 컴퓨터의 기술 분야에 관한 것으로, 특히 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법, 장치 및 차량에 관한 것이다.The present invention relates to the field of computer technology, and more particularly to methods, devices, and vehicles for detecting that a vehicle occupant's body part has been removed from a window.
차량의 운전 중에 운전자나 승객의 사지를 창에서 꺼내는 것은 매우 위험한 행위이며, 주행의 안전을 위협하고 교통사고를 일으키기 쉽다. 따라서, 어떻게 하면 운전자나 승객의 사지를 창에서 꺼낸 것을 정확하게 검출하고, 적시에 대응할 수 있는지에 대해, 차실 내에서의 운전자 및 승객의 안전에는 중요한 의미가 있다.Removing the limbs of the driver or passenger from the window while driving a vehicle is a very dangerous act, threatening driving safety and easily causing a traffic accident. Therefore, how to accurately detect when a driver's or passenger's limb is taken out of the window and respond in a timely manner has important implications for the safety of the driver and passengers inside the vehicle cabin.
본 발명은 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 기술적 해결 수단을 제안한다.The present invention proposes a technical solution for detecting when a vehicle occupant's body part is taken out of the window.
본 발명의 일 측면에 의하면, 차재 카메라로 수집된 이미지 데이터와 창 영역에서의 장애물을 탐지하기 위한 레이더 센서로 수집된 레이더 센싱 데이터를 포함하는 적어도 2종류의 센싱 데이터 각각에 기초하여, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻는 것과,According to one aspect of the present invention, based on each of at least two types of sensing data including image data collected by an in-vehicle camera and radar sensing data collected by a radar sensor for detecting obstacles in the window area, the vehicle occupant's Detecting whether a body part was removed from the window and obtaining at least two detection results,
상기 적어도 2계통의 검출 결과에 기초하여 판정 결과를 특정하는 것과,Specifying a determination result based on the detection results of the at least two systems,
상기 판정 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 주의 환기 정보를 생성하는 것을 포함하는, 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 제공한다.Provided is a method for detecting that a body part of a vehicle occupant has been taken out of a window, including generating attention-calling information when the determination result indicates that the body part of the occupant has been taken out of the window.
하나의 가능한 실시형태에서는 상기 방법은In one possible embodiment, the method
도어의 개폐 상태를 나타내는 도어 데이터와, 창의 개폐 상태를 나타내는 창 데이터를 포함하는 차체 신호 데이터를 취득하는 것을 추가로 포함하고,It further includes acquiring vehicle body signal data including door data indicating the open/closed state of the door, and window data indicating the open/closed state of the window,
상기한, 적어도 2종류의 센싱 데이터의 각각에 기초하여, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻는 것은Based on each of the at least two types of sensing data described above, detecting whether a body part of the vehicle occupant has been removed from the window and obtaining at least two types of detection results
상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 차량의 적어도 2종류의 센싱 데이터 각각에 기초하여 상기 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고 상기 적어도 2계통의 검출 결과를 얻는 것을 포함한다.When the vehicle body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, detecting whether the occupant's body part has been taken out of the window based on each of at least two types of sensing data of the vehicle; It includes obtaining detection results of the at least two systems.
하나의 가능한 실시형태에서는 상기한, 상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 적어도 2종류의 센싱 데이터 각각에 기초하여, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻는 것은In one possible embodiment, when the vehicle body signal data described above indicates that the door is closed and the window corresponding to the occupant's seating position is open, a body part of the vehicle occupant is detected based on each of the at least two types of sensing data. Detecting whether it was taken out of the window and obtaining at least two types of detection results
상기 레이더 센서에 센싱 데이터를 수집하는 트리거 신호를 송신하고, 상기 레이더 센서로 수집된 레이더 센싱 데이터를 취득하는 것과,transmitting a trigger signal for collecting sensing data to the radar sensor and acquiring radar sensing data collected by the radar sensor;
상기 차재 카메라로 수집된 이미지 데이터를 취득하는 것과,acquiring image data collected by the vehicle-mounted camera;
상기 레이더 센싱 데이터 및 상기 이미지 데이터 각각에 기초하여, 상기 탑승자의 신체 부위를 탑승자의 착석 위치에 대응하는 창에서 꺼냈는지 여부를 검출하고, 상기 레이더 센서에 기초한 검출 결과 및 상기 이미지 데이터에 기초한 검출 결과를 얻는 것을 포함한다.Based on each of the radar sensing data and the image data, detect whether the occupant's body part is taken out of the window corresponding to the occupant's seating position, and detect a detection result based on the radar sensor and a detection result based on the image data. Includes obtaining.
하나의 가능한 실시형태에서는 상기 방법은In one possible embodiment, the method
상기 차체 신호 데이터가 도어가 열려 있거나, 또는 탑승자의 착석 위치에 대응하는 창이 전부 닫혀 있는 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 특정하는 것을 추가로 포함한다.When the vehicle body signal data indicates that the door is open or the window corresponding to the occupant's seating position is fully closed, the method further includes specifying that the occupant's body part is not taken out of the window as a result of the determination.
하나의 가능한 실시형태에서는 상기한, 적어도 2종류의 센싱 데이터 각각에 기초하여 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻는 것은In one possible embodiment, detecting whether a body part of the vehicle occupant is taken out of the window is detected based on each of the at least two types of sensing data described above, and obtaining at least two types of detection results.
상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하여, 제1 검출 결과를 얻는 것과,Obtaining a first detection result by recognizing the relative states of the occupant's body parts and the window in the image data;
상기 레이더 센싱 데이터에 기초하여 제2 검출 결과를 얻는 것을 포함하고,Including obtaining a second detection result based on the radar sensing data,
상기한, 상기 적어도 2계통의 검출 결과에 기초하여, 판정 결과를 특정하는 것은Specifying the determination result based on the above-described at least two detection results is
상기 제1 검출 결과 및 상기 제2 검출 결과에 기초하여 판정 결과를 특정하는 것을 포함한다.and specifying a determination result based on the first detection result and the second detection result.
상기한, 상기 제1 검출 결과 및 상기 제2 검출 결과에 기초하여, 판정 결과를 특정하는 것은Specifying a determination result based on the first detection result and the second detection result described above is
상기 제1 검출 결과 및 상기 제2 검출 결과가 전부 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서, 상기 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,When both the first detection result and the second detection result indicate that the body part of the occupant was taken out of the window, specifying, as the determination result, that the body part of the occupant was taken out of the window;
상기 제1 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내고, 상기 제2 검출 결과가 신체 부위를 창에서 꺼내지 않은 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼내지 않은 것을 특정하는 것과,When the first detection result indicates that a body part has been taken out of the window and the second detection result indicates that a body part has not been taken out of the window, specifying as the determination result that the occupant's body part has not been taken out of the window; ,
상기 제1 검출 결과가 신체 부위를 창에서 꺼내지 않은 것을 나타내고, 상기 제2 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것 중 적어도 하나를 포함한다.When the first detection result indicates that the body part was not taken out of the window and the second detection result indicates that the body part was taken out of the window, the determination result specifies that the body part of the occupant was taken out of the window. Contains at least one
하나의 가능한 실시형태에서는 상기한, 적어도 2종류의 센싱 데이터 각각에 기초하여 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻는 것은In one possible embodiment, detecting whether a body part of the vehicle occupant is taken out of the window is detected based on each of the at least two types of sensing data described above, and obtaining at least two types of detection results.
상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하여, 제1 검출 결과를 얻는 것과,Obtaining a first detection result by recognizing the relative states of the occupant's body parts and the window in the image data;
상기 제1 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 제1 검출 결과에 기초하여, 상기 이미지 데이터에서의 신체 부위를 창에서 꺼낸 목표 탑승자의 좌석 정보를 취득하는 것과,When the first detection result indicates that the body part was taken out of the window, based on the first detection result, acquiring seat information of the target occupant who took out the body part in the image data from the window;
상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 센싱 데이터를 취득하는 것과,acquiring the radar sensing data of a target window corresponding to seat information of the target passenger;
상기 목표 창의 레이더 센싱 데이터에 기초하여 제2 검출 결과를 특정하는 단계를 포함한다.and specifying a second detection result based on radar sensing data of the target window.
하나의 가능한 실시형태에서는 상기한, 상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 레이더 센싱 데이터를 취득하는 것은In one possible embodiment, acquiring radar sensing data of a target window corresponding to the seat information of the target occupant, as described above, includes:
상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 센싱 데이터 및 상기 목표 탑승자의 좌석 정보에 대응하는 도어인 목표 도어의 개폐 상태를 나타내는 제1 신호 데이터와 상기 목표 창의 개폐 상태를 나타내는 제2 신호 데이터를 포함하는 상기 목표 탑승자의 좌석 정보와 관련된 차체 신호 데이터를 취득하는 것을 포함하고,The radar sensing data of the target window corresponding to the seat information of the target occupant, first signal data indicating an open/closed state of a target door corresponding to the seat information of the target occupant, and second signal data indicating an open/closed state of the target window. It includes acquiring body signal data related to seat information of the target occupant, including:
상기 레이더 센싱 데이터에 기초하여 상기 제2 검출 결과를 특정하는 것은Specifying the second detection result based on the radar sensing data
상기 레이더 센싱 데이터와 상기 차체 신호 데이터에 기초하여 상기 제2 검출 결과를 특정하는 것을 포함한다.and specifying the second detection result based on the radar sensing data and the vehicle body signal data.
하나의 가능한 실시형태에서는 상기한, 상기 적어도 2계통의 검출 결과에 기초하여 판정 결과를 특정하는 것은In one possible embodiment, the determination result is specified based on the at least two detection results described above.
상기 제2 검출 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서, 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것으로 특정하는 것을 포함한다.When the second detection result indicates that the occupant's body part was taken out of the window, the determination result includes specifying that the occupant's body part was taken out of the window.
하나의 가능한 실시형태에서는 상기한, 상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하고, 제1 검출 결과를 얻는 것은In one possible embodiment, recognizing the relative states of the window and the occupant's body parts in the image data, as described above, and obtaining a first detection result
상기 이미지 데이터에 기초하여 차량 탑승자의 신체 부위와 창의 상대적인 상태를 인식하고, 상기 차량 탑승자의 신체 부위를 창에서 꺼냈다는 것에 대한 신뢰도를 얻는 것을 포함한다.Recognizing the relative state of the vehicle occupant's body part and the window based on the image data, and obtaining confidence that the vehicle occupant's body part has been removed from the window.
하나의 가능한 실시형태에서는 상기한, 상기 적어도 2계통의 검출 결과에 기초하여 판정 결과를 특정하는 것은In one possible embodiment, the determination result is specified based on the at least two detection results described above.
상기 신뢰도가 미리 설정된 임계값보다 큰 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,If the reliability is greater than a preset threshold and the second detection result indicates that the body part of the vehicle occupant was taken out of the window, specifying as the determination result that the body part of the vehicle occupant was taken out of the window;
상기 신뢰도가 미리 설정된 임계값보다 작은 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,If the reliability is less than a preset threshold and the second detection result indicates that the body part of the vehicle occupant was taken out of the window, specifying as the determination result that the body part of the vehicle occupant was taken out of the window;
상기 신뢰도가 미리 설정된 임계값보다 작은 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 특정하는 것 중 적어도 하나를 포함한다.If the reliability is less than a preset threshold, and the second detection result indicates that the body part of the vehicle occupant is not taken out of the window, the determination result specifies that the body part of the vehicle occupant is not taken out of the window. Contains at least one of the following:
하나의 가능한 실시형태에서는 상기 차재 카메라는 차실 내에 설치된 카메라 및/또는 차실 밖에 설치된 카메라를 포함한다.In one possible embodiment, the vehicle-mounted camera includes a camera installed within the vehicle compartment and/or a camera installed outside the vehicle compartment.
하나의 가능한 실시형태에서는 상기 레이더 센서는 상기 창의 상부 가장자리/하부 가장자리에 설치된다.In one possible embodiment the radar sensor is installed on the upper/lower edge of the window.
하나의 가능한 실시형태에서는 상기 센싱 데이터는 적외선 센싱 데이터 및/또는 밀리파 센싱 데이터를 추가로 포함한다.In one possible embodiment, the sensing data further includes infrared sensing data and/or millimeter wave sensing data.
본 발명의 일 측면에 의하면, 차재 카메라로 수집된 이미지 데이터와 창 영역에서의 장애물을 탐지하기 위한 레이더 센서로 수집된 레이더 센싱 데이터를 포함하는 적어도 2종류의 센싱 데이터 각각에 기초하고, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻기 위한 검출 모듈과,According to one aspect of the present invention, it is based on at least two types of sensing data, including image data collected by an in-vehicle camera and radar sensing data collected by a radar sensor for detecting obstacles in the window area, and A detection module for detecting whether a body part has been removed from the window and obtaining at least two types of detection results;
상기 적어도 2계통의 검출 결과에 기초하여 판정 결과를 특정하기 위한 특정 모듈과,a specific module for specifying a determination result based on the detection results of the at least two systems;
상기 판정 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 주의 환기 정보를 생성하기 위한 주의 환기 모듈을 포함하는, 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 장치를 제공한다.Provided is an apparatus for detecting that a body part of a vehicle occupant has been taken out of a window, including an attention-calling module for generating attention-calling information when the determination result indicates that a body part of the occupant has been taken out of the window.
하나의 가능한 실시형태에서는 상기 장치는In one possible embodiment, the device
도어의 개폐 상태를 나타내는 도어 데이터와, 창의 개폐 상태를 나타내는 창 데이터를 포함하는 차체 신호 데이터를 취득하기 위한 차체 신호 데이터 취득 모듈을 추가로 포함하고,It further includes a body signal data acquisition module for acquiring body signal data including door data indicating the open/closed state of the door and window data indicating the open/closed state of the window,
상기 검출 모듈은 상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 차량의 적어도 2종류의 센싱 데이터 각각에 기초하여 상기 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 상기 적어도 2계통의 검출 결과를 얻는 것에 사용된다.When the vehicle body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, the detection module determines whether the occupant's body part is taken out from the window based on each of at least two types of sensing data of the vehicle. It is used to detect whether or not to obtain detection results of the at least two systems.
하나의 가능한 실시형태에서는 차체 신호 데이터가 도어가 닫혀 있고 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 상기 검출 모듈은In one possible embodiment, if the body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, the detection module may
상기 레이더 센서에 센싱 데이터를 수집하는 트리거 신호를 송신하고, 상기 레이더 센서로 수집된 레이더 센싱 데이터를 취득하는 것과,transmitting a trigger signal for collecting sensing data to the radar sensor and acquiring radar sensing data collected by the radar sensor;
상기 차재 카메라로 수집된 이미지 데이터를 취득하는 것과,acquiring image data collected by the vehicle-mounted camera;
상기 레이더 센싱 데이터 및 상기 이미지 데이터 각각에 기초하여, 상기 탑승자의 신체 부위를 탑승자의 착석 위치에 대응하는 창에서 꺼냈는지 여부를 검출하고, 상기 레이더 센서에 기초한 검출 결과 및 상기 이미지 데이터에 기초한 검출 결과를 얻는 것에 사용된다.Based on each of the radar sensing data and the image data, detect whether the occupant's body part is taken out of the window corresponding to the occupant's seating position, and detect a detection result based on the radar sensor and a detection result based on the image data. It is used to obtain.
하나의 가능한 실시형태에서는 상기 장치는 추가로, 상기 차체 신호 데이터가 도어가 열려 있는 것, 또는 탑승자의 착석 위치에 대응하는 창이 전부 닫혀 있는 것을 나타내는 경우, 상기 판정 결과로서, 상기 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 특정하는 것에 사용된다.In one possible embodiment, the device may further, as a result of the determination, detect a body part of the occupant if the body signal data indicates that the door is open or that the window corresponding to the occupant's seating position is fully closed. It is used to specify something that has not been taken out of a window.
하나의 가능한 실시형태에서는 상기 검출 모듈은In one possible embodiment, the detection module
상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하여, 제1 검출 결과를 얻는 것과,Obtaining a first detection result by recognizing the relative states of the occupant's body parts and the window in the image data;
상기 레이더 센싱 데이터에 기초하여 제2 검출 결과를 얻는 것에 사용되고,Used to obtain a second detection result based on the radar sensing data,
상기 특정 모듈은The specific module above is
상기 제1 검출 결과 및 상기 제2 검출 결과에 기초하여 판정 결과를 특정하는 것에 사용된다.It is used to specify a decision result based on the first detection result and the second detection result.
하나의 가능한 실시형태에서는 상기 특정 모듈은In one possible embodiment, the specific module is
상기 제1 검출 결과 및 상기 제2 검출 결과가 전부 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서, 상기 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,When both the first detection result and the second detection result indicate that the body part of the occupant was taken out of the window, specifying, as the determination result, that the body part of the occupant was taken out of the window;
상기 제1 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내고, 상기 제2 검출 결과가 신체 부위를 창에서 꺼내지 않은 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼내지 않은 것을 특정하는 것과,When the first detection result indicates that a body part has been taken out of the window and the second detection result indicates that a body part has not been taken out of the window, specifying as the determination result that the occupant's body part has not been taken out of the window; ,
상기 제1 검출 결과가 신체 부위를 창에서 꺼내지 않은 것을 나타내고, 상기 제2 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것 중 적어도 하나에 사용된다.When the first detection result indicates that the body part was not taken out of the window and the second detection result indicates that the body part was taken out of the window, the determination result specifies that the body part of the occupant was taken out of the window. Used for at least one.
하나의 가능한 실시형태에서는 상기 검출 모듈은In one possible embodiment, the detection module
상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하여, 제1 검출 결과를 얻는 것과,Obtaining a first detection result by recognizing the relative states of the occupant's body parts and the window in the image data;
상기 제1 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 제1 검출 결과에 기초하여, 상기 이미지 데이터에서의 신체 부위를 창에서 꺼낸 목표 탑승자의 좌석 정보를 취득하는 것과,When the first detection result indicates that the body part was taken out of the window, based on the first detection result, acquiring seat information of the target occupant who took out the body part in the image data from the window;
상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 센싱 데이터를 취득하는 것과,acquiring the radar sensing data of a target window corresponding to seat information of the target passenger;
상기 목표 창의 레이더 센싱 데이터에 기초하여 제2 검출 결과를 특정하는 것에 사용된다.It is used to specify a second detection result based on radar sensing data of the target window.
하나의 가능한 실시형태에서는 상기한, 상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 센싱 데이터를 취득하는 것은In one possible embodiment, acquiring the radar sensing data of a target window corresponding to the target occupant's seat information described above may include:
상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 센싱 데이터 및 상기 목표 탑승자의 좌석 정보에 대응하는 도어인 목표 도어의 개폐 상태를 나타내는 제1 신호 데이터와 상기 목표 창의 개폐 상태를 나타내는 제2 신호 데이터를 포함하는 상기 목표 탑승자의 좌석 정보와 관련된 차체 신호 데이터를 취득하는 것을 포함하고,The radar sensing data of the target window corresponding to the seat information of the target occupant, first signal data indicating an open/closed state of a target door corresponding to the seat information of the target occupant, and second signal data indicating an open/closed state of the target window. It includes acquiring body signal data related to seat information of the target occupant, including:
상기한, 상기 목표 창의 레이더 센싱 데이터에 기초하여 상기 제2 검출 결과를 특정하는 것은Specifying the second detection result based on the radar sensing data of the target window described above is
상기 레이더 센싱 데이터와 상기 차체 신호 데이터에 기초하여 상기 제2 검출 결과를 특정하는 것을 포함한다.and specifying the second detection result based on the radar sensing data and the vehicle body signal data.
하나의 가능한 실시형태에서는 상기 특정 모듈은 상기 제2 검출 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것으로 특정하는 것에 사용된다.In one possible embodiment, the specification module is used to specify as a result of the determination that the body part of the occupant was taken out of the window when the second detection result indicates that the body part of the occupant was taken out of the window. .
하나의 가능한 실시형태에서는 상기한, 상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하고, 제1 검출 결과를 얻는 것은In one possible embodiment, recognizing the relative states of the window and the occupant's body parts in the image data, as described above, and obtaining a first detection result
상기 이미지 데이터에 기초하여 차량 탑승자의 신체 부위와 창의 상대적인 상태를 인식하고, 상기 차량 탑승자의 신체 부위를 창에서 꺼냈다는 것에 대한 신뢰도를 얻는 것을 포함한다.This includes recognizing the relative state of the vehicle occupant's body part and the window based on the image data, and obtaining confidence that the vehicle occupant's body part has been removed from the window.
하나의 가능한 실시형태에서는 상기 특정 모듈은In one possible embodiment, the specific module is
상기 신뢰도가 미리 설정된 임계값보다 큰 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,If the reliability is greater than a preset threshold and the second detection result indicates that the body part of the vehicle occupant was taken out of the window, specifying as the determination result that the body part of the vehicle occupant was taken out of the window;
상기 신뢰도가 미리 설정된 임계값보다 작은 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,If the reliability is less than a preset threshold and the second detection result indicates that the body part of the vehicle occupant was taken out of the window, specifying as the determination result that the body part of the vehicle occupant was taken out of the window;
상기 신뢰도가 미리 설정된 임계값보다 작은 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 특정하는 것 중 적어도 하나에 사용된다.If the reliability is less than a preset threshold, and the second detection result indicates that the body part of the vehicle occupant is not taken out of the window, the determination result specifies that the body part of the vehicle occupant is not taken out of the window. used for at least one of the following:
하나의 가능한 실시형태에서는 상기 차재 카메라는 차실 내에 설치된 카메라 및/또는 차실 밖에 설치된 카메라를 포함한다.In one possible embodiment, the vehicle-mounted camera includes a camera installed within the vehicle compartment and/or a camera installed outside the vehicle compartment.
하나의 가능한 실시형태에서는 상기 레이더 센서는 상기 창의 상부 가장자리/하부 가장자리에 설치된다.In one possible embodiment the radar sensor is installed on the upper/lower edge of the window.
하나의 가능한 실시형태에서는 상기 센싱 데이터는 적외선 센싱 데이터 및/또는 밀리파 센싱 데이터를 추가로 포함한다.In one possible embodiment, the sensing data further includes infrared sensing data and/or millimeter wave sensing data.
본 발명의 일 측면에 의하면, 차재 카메라로 수집된 이미지 데이터와 창 영역에서의 장애물을 탐지하기 위한 레이더 센서로 수집된 레이더 센싱 데이터를 포함하는 적어도 2종류의 센싱 데이터를 수집하기 위한 적어도 2종류의 센서와,According to one aspect of the present invention, at least two types of devices for collecting at least two types of sensing data, including image data collected by an in-vehicle camera and radar sensing data collected by a radar sensor for detecting obstacles in the window area. sensor,
상기 센서로부터 상기 적어도 2종류의 센싱 데이터를 취득하고, 상기 적어도 2종류의 센싱 데이터에 기초하여, 상기 차량의 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 경우, 주의 환기 정보를 생성하기 위한 컨트롤러를 포함하는 차량을 제공한다.Acquire the at least two types of sensing data from the sensor, detect whether a body part of the occupant of the vehicle is taken out of the window based on the at least two types of sensing data, and detect the body part of the occupant from the window. Provides a vehicle containing a controller for generating alert information when ejected from the vehicle.
본 발명의 일 측면에 의하면, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 메모리에 기억되어 있는 명령을 불러내어 상술한 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 실행하도록 구성되는 전자 기기를 제공한다.According to one aspect of the present invention, it includes a processor and a memory for storing instructions executable by the processor, wherein the processor calls up the instructions stored in the memory to remove the body part of the vehicle occupant from the window. An electronic device configured to perform a method for detecting a
본 발명의 일 측면에 의하면, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 상술한 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 제공한다.According to one aspect of the present invention, there is provided a computer-readable storage medium storing computer program instructions, which, when the computer program instructions are executed by a processor, implement a method of detecting that the above-described body part of the vehicle occupant is taken out of the window. Shiki provides a computer-readable storage medium.
본 발명의 일 측면에 의하면, 컴퓨터 판독 가능 코드 또는 컴퓨터 판독 가능 코드가 기억되어 있는 컴퓨터 판독 가능 기억 매체를 포함하고, 상기 컴퓨터로 판독 가능한 코드가 전자 기기의 프로세서에서 동작하면, 상기 전자 기기의 프로세서에 상술한 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 실행시키는 컴퓨터 프로그램 제품을 제공한다.According to one aspect of the present invention, it includes a computer-readable code or a computer-readable storage medium storing a computer-readable code, and when the computer-readable code operates in a processor of an electronic device, the processor of the electronic device Provided is a computer program product that executes the method for detecting that a body part of a vehicle occupant is taken out of a window as described above.
본 발명의 실시예에서는 차재 카메라로 수집된 이미지 데이터와 창 영역에서의 장애물을 탐지하기 위한 레이더 센서로 수집된 레이더 센싱 데이터를 포함하는 적어도 2종류의 센싱 데이터 각각에 기초하여, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻음과 함께, 적어도 2계통의 검출 결과에 기초하여 판정 결과를 특정하고, 판정 결과가 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 주의 환기 정보를 생성한다. 본 발명의 실시예에 의하면, 이미지 데이터와 레이더 센싱 데이터를 조합하여 판정 결과를 특정하고, 주의 환기 정보를 생성함으로써, 판정 결과의 정확성 향상 및 승차 안전성 향상에 유리하다.In an embodiment of the present invention, based on each of at least two types of sensing data including image data collected by an in-vehicle camera and radar sensing data collected by a radar sensor for detecting obstacles in the window area, body parts of the vehicle occupant detects whether the occupant's body part was taken out of the window, obtains at least two types of detection results, and specifies a judgment result based on at least two types of detection results, and the judgment result indicates that the occupant's body part was removed from the window. , generates attention-calling information. According to an embodiment of the present invention, it is advantageous to improve the accuracy of the decision result and improve riding safety by combining image data and radar sensing data to specify the decision result and generate attention-calling information.
상기 일반적인 설명과 이하의 상세한 설명은 예시적이고 설명적인 것에 불과하고, 본 발명을 제한하는 것은 아님을 이해해야 한다. 이하의 도면을 참고하면서 예시적인 실시예를 상세히 설명함으로써, 본 발명의 다른 특징 및 측면이 명백해질 것이다.It should be understood that the above general description and the following detailed description are exemplary and explanatory only and do not limit the present invention. By describing exemplary embodiments in detail with reference to the following drawings, other features and aspects of the present invention will become apparent.
명세서의 일부로서 포함되는 도면은 본 발명의 실시예를 나타내고, 명세서와 함께 본 발명의 기술적 수단을 설명하는 것이다.
도 1은 본 발명의 실시예에 따른 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 나타내는 흐름도이다.
도 2는 본 발명의 실시예에 관한 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 나타내는 모식도이다.
도 3은 본 발명의 실시예에 따른 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 장치를 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 전자 기기(1900)를 나타내는 블록도이다.The drawings included as part of the specification show embodiments of the present invention and, together with the specification, explain the technical means of the present invention.
1 is a flowchart showing a method for detecting that a body part of a vehicle occupant is taken out of a window according to an embodiment of the present invention.
Figure 2 is a schematic diagram showing a method for detecting that a body part of a vehicle occupant is taken out of a window according to an embodiment of the present invention.
Figure 3 is a block diagram showing a device for detecting that a body part of a vehicle occupant is taken out of a window according to an embodiment of the present invention.
Figure 4 is a block diagram showing an electronic device 1900 according to an embodiment of the present invention.
이하, 도면을 참조하면서 본 발명의 다양한 예시적인 실시예, 특징 및 양태를 상세히 설명한다. 도면에서, 동일한 부호는 기능이 동일하거나 또는 유사한 요소를 나타낸다. 도면에서 실시예의 다양한 양태를 나타내었지만, 특별히 명기되어 있지 않은 한, 도면은 반드시 실물과 같은 치수에 비례하고 있는 것이라고는 할 수 없다.Hereinafter, various exemplary embodiments, features and aspects of the present invention will be described in detail with reference to the drawings. In the drawings, like symbols represent elements with identical or similar functions. Although various aspects of the embodiments are shown in the drawings, unless otherwise specified, the drawings are not necessarily proportional to the actual dimensions.
본 명세서에서 사용되는 용어 "예시적인"이란 "예, 실시예로서 사용되거나 또는 설명적인 것"을 의미한다. 본 명세서에서 "예시적"으로 설명되는 임의의 실시예는 반드시 다른 실시예보다 바람직하거나 또는 우수한 것으로 해석된다고는 할 수 없다.As used herein, the term “exemplary” means “serving as an example, example, or illustrative.” Any embodiment described herein as “exemplary” is not necessarily to be construed as preferable or superior to other embodiments.
본 명세서에서의 용어 "및/또는"은 단순히 관련 대상과의 연관 관계를 기술하는 것이고, 3개의 관계가 존재 가능함을 나타내며, 예를 들면, A 및/또는 B는 A만이 존재하거나, A와 B 둘 다 존재하거나, B만이 존재한다는 3가지 경우를 나타내도 된다. 또한, 본 명세서에서의 용어 "적어도 하나"는 복수 중 어느 하나, 또는 복수 중 적어도 2개의 임의의 조합을 의미하고, 예를 들면, A, B, C 중 적어도 하나를 포함하는 것은 A, B 및 C로 이루어지는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.The term "and/or" in this specification simply describes an association relationship with a related object, and indicates that three relationships can exist, for example, A and/or B, where only A exists, or A and B It can also represent three cases: both exist, or only B exists. In addition, the term "at least one" in this specification means any one of a plurality, or any combination of at least two of a plurality, for example, including at least one of A, B, and C means A, B, and It may indicate that it contains one or more elements selected from a set consisting of C.
또한, 본 발명을 보다 잘 설명하기 위해, 이하의 구체적인 실시형태에는 많은 구체적인 세부 사항이 개시되어 있다. 당업자라면, 본 발명은 어떤 구체적인 세부 사항이 없어도 동일하게 실시할 수 있음을 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해, 당업자에게 잘 알려진 방법, 수단, 요소 및 회로에 대해 상세한 설명은 하지 않는다.Additionally, to better illustrate the present invention, numerous specific details are set forth in the specific embodiments below. Those skilled in the art should understand that the present invention can be equally practiced without specific details. In some embodiments, in order to emphasize the spirit of the present invention, detailed descriptions of methods, means, elements, and circuits well known to those skilled in the art are not provided.
차량의 주행 중, 운전자와 다른 탑승자는 손, 두부(頭部) 또는 다른 신체 부위를 창에서 꺼내는 위험한 동작을 행할 가능성이 있고, 이것은 중대한 사고로 이어질 우려가 있다.While a vehicle is running, the driver and other passengers may perform dangerous actions such as putting their hands, head, or other body parts out of the window, which may lead to a serious accident.
본 발명의 실시예는 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 기술적 해결 수단을 제공하고, 적어도 2종류의 센싱 데이터 각각에 기초하여 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻음과 함께, 적어도 2계통의 검출 결과에 기초하여, 판정 결과를 특정하고, 판정 결과가 탑승자의 신체 부위를 창에서 꺼냈다는 것을 나타내는 경우, 주의 환기 정보를 생성한다. 본 발명의 실시예에 의하면, 이미지 데이터와 레이더 센싱 데이터를 조합함으로써, 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 정확하게 식별하고, 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 판정 결과의 경우, 주의 환기 정보를 생성함으로써, 탑승자의 승차 안전성의 향상에 유리하다.Embodiments of the present invention provide a technical solution for detecting that a body part of a vehicle occupant has been taken out of a window, and detecting whether a body part of a vehicle occupant has been taken out of a window based on each of at least two types of sensing data, In addition to obtaining at least two types of detection results, a judgment result is specified based on the at least two types of detection results, and when the judgment result indicates that a body part of the occupant has been removed from the window, attention-calling information is generated. According to an embodiment of the present invention, by combining image data and radar sensing data, it is possible to accurately identify whether the occupant's body part was taken out of the window, and in the case of a determination result indicating that the occupant's body part was taken out of the window, alerting attention. By generating information, it is advantageous to improve the riding safety of passengers.
도 1은 본 발명의 실시예에 따른 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 나타내는 흐름도이다. 하나의 가능한 실시형태에서는 상기한, 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법은 차재 장치, 사용자 기기(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 장치, 계산 장치, 웨어러블 디바이스 등의 단말 장치 또는 서버 등의 전자 기기에 의해 실행되어도 된다. 여기서, 차재 장치는 차실 내의 컨트롤러, 도메인 컨트롤러, 또는 차재 인포테인먼트여도 되고, 탑승자 모니터링 시스템(Occupant Monitoring System, OMS) 또는 운전자 모니터링 시스템(Driver Monster) 등 중, 이미지 등의 데이터 처리 조작을 실행하기 위한 기기 호스트 등이어도 된다. 일부 가능한 실시형태에서는 상기한, 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능 명령을 불러냄으로써 실현되어도 된다. 도 1에 나타내는 바와 같이, 상기한, 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법은 단계(S11)∼단계(S13)을 포함한다.1 is a flowchart showing a method for detecting that a body part of a vehicle occupant is taken out of a window according to an embodiment of the present invention. In one possible embodiment, the above-described method of detecting that a vehicle occupant's body part is taken out of the window may be applied to an in-vehicle device, a user equipment (UE), a portable device, a user terminal, a terminal, a cellular phone, a wireless phone, a personal device, etc. It may be executed by a terminal device such as a personal digital assistant (PDA), a portable device, a computing device, or a wearable device, or an electronic device such as a server. Here, the in-vehicle device may be a controller in the vehicle interior, a domain controller, or in-vehicle infotainment, and may be a device for performing data processing operations such as images, etc., such as an occupant monitoring system (OMS) or a driver monitoring system (Driver Monster). It may be a host, etc. In some possible embodiments, the above-described method of detecting that a body part of a vehicle occupant has been removed from a window may be implemented by a processor calling computer-readable instructions stored in a memory. As shown in Fig. 1, the above-described method of detecting that a body part of a vehicle occupant has been taken out of the window includes steps S11 to S13.
단계(S11)에 있어서, 차재 카메라로 수집된 이미지 데이터와 창 영역에서의 장애물을 탐지하기 위한 레이더 센서로 수집된 레이더 센싱 데이터를 포함하는 적어도 2종류의 센싱 데이터 각각에 기초하여 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하여 적어도 2계통의 검출 결과를 얻는다.In step S11, a body part of a vehicle occupant is selected based on at least two types of sensing data, including image data collected by an in-vehicle camera and radar sensing data collected by a radar sensor for detecting obstacles in the window area. By detecting whether the is taken out of the window, at least two types of detection results are obtained.
단계(S12)에서 상기 적어도 2계통의 검출 결과에 기초하여 판정 결과를 특정한다.In step S12, a determination result is specified based on the detection results of the at least two systems.
단계(S13)에서, 상기 판정 결과가 상기 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 주의 환기 정보를 생성한다.In step S13, if the determination result indicates that the occupant's body part is taken out of the window, attention-calling information is generated.
본 발명의 실시예는 승용차, 택시, 온라인 배차, 쉐어카, 버스 등의 임의의 종류의 차량에 적용할 수 있다. 차량의 차종으로는, 예를 들면, 콤팩트 타입, 스포츠 유틸리티 비히클(Sport Utility Vehicle, SUV) 등이어도 되지만, 본 발명의 실시예에서는 이를 한정하지 않는다. 상기 차량 탑승자는 차량에 탑승하는 임의의 사람을 포함해도 된다. 예를 들면, 차량의 탑승자는 운전자 및/또는 비운전자를 포함해도 된다. 예를 들면, 자가용 차의 적용 장면에서는 비운전자는 소유자의 가족이나 친구 등이어도 된다. 온라인 배차의 적용 장면에서는 비운전자는 승객 등이어도 된다. 상기 탑승자의 신체 부위는 탑승자의 신체의 일부이고, 손, 팔, 머리, 발, 다리 중 적어도 하나를 포함해도 된다.Embodiments of the present invention can be applied to any type of vehicle, such as a passenger car, taxi, online dispatch, shared car, or bus. The type of vehicle may be, for example, a compact type, a sports utility vehicle (Sport Utility Vehicle, SUV), etc., but this is not limited in the embodiment of the present invention. The vehicle occupants may include any person riding the vehicle. For example, occupants of a vehicle may include a driver and/or non-driver. For example, in a private car application, the non-driver may be a family member or friend of the owner. In scenes where online dispatch is applied, non-drivers may be passengers, etc. The occupant's body part is a part of the occupant's body and may include at least one of a hand, arm, head, foot, or leg.
하나의 가능한 실시형태에서는 차량에서 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하기 위한 센서가 2종류인 경우, 단계(S11)에서 2종류의 센싱 데이터를 취득할 수 있다. 예를 들면, 차재 카메라로 수집된 이미지 데이터와 창 영역에서의 장애물을 탐지하기 위한 레이더 센서로 수집된 레이더 센싱 데이터를 포함한다.In one possible embodiment, if the vehicle has two types of sensors for detecting whether a vehicle occupant's body part has been taken out of the window, two types of sensing data can be acquired in step S11. Examples include image data collected by in-vehicle cameras and radar sensing data collected by radar sensors to detect obstacles in the window area.
차재 카메라로 수집된 이미지 데이터에 대해, 차재 카메라는 차실 내에 설치된 카메라 및/또는 차실 밖에 설치된 카메라를 포함해도 된다. 차재 카메라는 차량에 설치된 임의의 카메라여도 된다. 차재 카메라의 수는 1개 이상이어도 된다. 차재 카메라의 타입은 DMS 카메라, OMS 카메라, 차외 카메라 등이어도 되지만, 본 발명에서는 이들을 한정하지 않는다. 차재 카메라로 수집된 이미지 데이터는 DMS 카메라, OMS 카메라, 차외 카메라 등, 차실 내 또는 차실 밖에 설치된 카메라로 촬영된 차실 환경의 이미지 데이터여도 된다. 이 이미지 데이터는 적어도 차 내의 사람의 착석 영역과 창 영역의 이미지 정보, 즉 상기 카메라의 시야 범위 내에 적어도 일부 사람의 착석 영역과 적어도 일부의 창 영역을 포함할 필요가 있다.Regarding image data collected by an in-vehicle camera, the in-vehicle camera may include a camera installed within the vehicle interior and/or a camera installed outside the vehicle interior. The in-vehicle camera may be any camera installed in the vehicle. The number of in-vehicle cameras may be one or more. The type of in-vehicle camera may be a DMS camera, OMS camera, or exterior camera, but the present invention is not limited to these. The image data collected by the in-vehicle camera may be image data of the vehicle environment captured by a camera installed inside or outside the vehicle interior, such as a DMS camera, OMS camera, or exterior camera. This image data needs to include image information of at least a person's seating area and a window area in the car, that is, at least some of the person's seating area and at least some of the window area within the viewing range of the camera.
OMS 시스템과 DMS 시스템의 차량에 대한 보급에 따라 차재의 OMS 카메라와 DMS 카메라를 직접 이용할 수 있는 경우에 카메라를 별도 추가할 필요가 없이 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출할 수 있기 때문에 비용 삭감에 유리하다는 것을 이해해야 한다.With the spread of OMS and DMS systems in vehicles, if the OMS camera and DMS camera in the vehicle can be used directly, it is possible to detect whether the occupant's body part has been removed from the window without the need to add a separate camera. You must understand that it is advantageous to reduce costs.
레이더 센서로 수집된 레이더 센싱 데이터에 대해, 상기 레이더 센서는 상기 창의 상부 가장자리/하부 가장자리에 설치되고, 예를 들면, 차량의 각 창의 상부 가장자리/하부 가장자리에 레이더 센서를 설치할 수 있다. 레이더 센서의 수는 하나 이상이어도 된다. 레이더 센서의 타입은 초음파 레이더, 전자파 레이더, 레이저 레이더 등이어도 되지만, 본 발명에서는 이들에 한정되지 않는다. 레이더 센서로 수집된 레이더 센싱 데이터는 각 창의 상부 가장자리/하부 가장자리에 설치된 초음파 레이더, 전자파 레이더, 레이저 레이더 등의 레이더 센서로 수집된 레이더 센싱 데이터여도 되고, 각 창 영역에 장애물이 존재하는지 여부를 탐지하기 위한 것이다.For radar sensing data collected by a radar sensor, the radar sensor may be installed on the upper edge/lower edge of the window, for example, the radar sensor may be installed on the upper edge/lower edge of each window of the vehicle. The number of radar sensors may be one or more. The type of radar sensor may be ultrasonic radar, electromagnetic wave radar, laser radar, etc., but the present invention is not limited to these. The radar sensing data collected by the radar sensor may be radar sensing data collected by radar sensors such as ultrasonic radar, electromagnetic wave radar, and laser radar installed on the upper/lower edge of each window, and detects whether obstacles exist in each window area. It is for this purpose.
이미지 데이터와 레이더 센싱 데이터를 취득한 후, 이 2종류의 데이터 각각에 기초하여 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 이미지 데이터에 기초한 제1 검출 결과와 레이더 센싱 데이터에 기초한 제2 검출 결과를 얻을 수 있다.After acquiring image data and radar sensing data, detect whether a body part of the vehicle occupant has been taken out of the window based on each of these two types of data, and detect a first detection result based on the image data and a second detection result based on the radar sensing data. Detection results can be obtained.
하나의 가능한 실시형태에서는 상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적 상태를 인식하여 제1 검출 결과를 얻는다.In one possible embodiment, the first detection result is obtained by recognizing the relative states of the window and the occupant's body parts in the image data.
이미지 데이터에 기초하여, 이미지 데이터에서의 차량 탑승자와 창의 상대적인 상태를 인식함으로써, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하여, 제1 검출 결과를 얻을 수 있다. 상대적인 상태는 탑승자의 신체와 창의 상대적인 위치 또는 상호간의 중복 관계를 나타내며, 탑승자의 신체 부위가 창의 외측 또는 내측에 있는 것을 포함해도 된다. 선택 가능한 형태로서, 이미지 데이터에서의 차량 탑승자와 창의 상대적인 상태를 인식하기 위해 뉴럴 네트워크 모델을 사용하여 이미지 데이터를 처리해도 된다. 예를 들면, 차실 환경에 관한 대량(1000장)의 이미지 데이터를 사용하여, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하기 위한 뉴럴 네트워크 모델을 미리 트레이닝하고, 이미지 데이터를 트레이닝이 끝난 뉴럴 네트워크 모델에 입력하여 제1 검출 결과를 얻을 수 있다. 여기서, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하기 위한 뉴럴 네트워크 모델은 합성곱 뉴럴 네트워크(Convolutional Neural Networks, CNN), 재귀형 뉴럴 네트워크(Rerrent Neural Network, RNN), 적대적 생성 네트워크(Generative Adversarial Nets, GAN)등의 뉴럴 네트워크 모델이어도 되지만, 본 발명에서는 이것을 한정하지 않는다. 선택 가능한 형태로서, 이미지 데이터에서의 창 및 사람의 신체 부위를 검출하고, 양자의 검출 결과로부터 양자의 위치가 중첩되어 있는지 여부를 판정함과 함께, 사람의 신체 부위의 적어도 일부가 차체의 외측에 있는지 여부를 판정함으로써, 차량 탑승자와 창의 상대적인 상태를 특정하도록 해도 된다.Based on the image data, by recognizing the relative state of the vehicle occupant and the window in the image data, it is possible to detect whether a body part of the vehicle occupant is taken out of the window, thereby obtaining a first detection result. The relative state represents the relative position or overlapping relationship between the occupant's body and the window, and may include the occupant's body part being outside or inside the window. As an optional form, the image data may be processed using a neural network model to recognize the relative states of vehicle occupants and windows in the image data. For example, using a large amount of image data (1000 pieces) about the car interior environment, a neural network model to detect whether a vehicle occupant's body part is taken out of the window is trained in advance, and the image data is used as a trained neural network model. The first detection result can be obtained by inputting it into the network model. Here, the neural network model for detecting whether the vehicle occupant's body part was taken out of the window is Convolutional Neural Networks (CNN), Recursive Neural Network (RNN), and Adversarial Generative Network (Generative Network). It may be a neural network model such as Adversarial Nets (GAN), but this is not limited to this in the present invention. In a selectable form, a window and a human body part are detected in the image data, and from the detection results of both, it is determined whether the positions of both overlap, and at least a part of the human body part is on the outside of the vehicle body. By determining whether or not there is, the relative state of the vehicle occupants and the window may be specified.
하나의 가능한 실시형태에서는 상기 레이더 센싱 데이터에 기초하여 제2 검출 결과가 얻어진다.In one possible embodiment, a second detection result is obtained based on the radar sensing data.
레이더 센싱 데이터에 기초하여, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하여, 제2 검출 결과를 얻도록 해도 된다. 레이더 센서는 장애물을 검지하기 위한 것이고, 예를 들면, 창의 외부, 창의 하부 가장자리 하방, 창의 상부 가장자리 및 하부 가장자리의 적어도 하나의 위치에 배치할 수 있다. 레이더 센싱 데이터를 기초하여, 창의 상하부 가장자리 사이에 장애물이 있는지 여부를 판정하거나, 또는 레이더 센싱 데이터에 기초하여 검지된 장애물과의 거리(예를 들면, 장애물과 레이더 센서 사이의 거리)를 취득하고, 장애물과의 거리가 미리 설정된 거리보다 작은지 여부(예를 들면, 창의 하부 가장자리에 위치한 레이더 센서로 검지된 장애물과의 거리가 창의 상부 가장자리와 레이더 센서 사이의 거리보다 작음)를 판정함으로써, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하여 제2 검출 결과를 얻도록해도 된다. 여기서, 동일한 창의 상부 가장자리/하부 가장자리에 복수의 레이더 센서를 설치해도 된다. 상기 창의 복수의 레이더 센서로 수집된 복수의 레이더 센싱 데이터를 종합적으로 분석하여 제2 검출 결과를 얻을 수 있지만, 본 발명에서는 레이더 센싱 데이터에 기초하여 제2 검출 결과를 특정하는 구체적인 방법을 한정하지 않는다.Based on the radar sensing data, whether a body part of the vehicle occupant is taken out of the window may be detected to obtain a second detection result. The radar sensor is for detecting obstacles, and can be placed, for example, at least one location outside the window, below the lower edge of the window, or at the upper edge and lower edge of the window. Based on the radar sensing data, determine whether there is an obstacle between the upper and lower edges of the window, or acquire the distance to the detected obstacle (for example, the distance between the obstacle and the radar sensor) based on the radar sensing data, By determining whether the distance to the obstacle is less than a preset distance (for example, the distance to the obstacle detected by the radar sensor located at the lower edge of the window is less than the distance between the upper edge of the window and the radar sensor), the vehicle occupants A second detection result may be obtained by detecting whether the body part of is taken out of the window. Here, multiple radar sensors may be installed on the upper edge/lower edge of the same window. Although the second detection result can be obtained by comprehensively analyzing the plurality of radar sensing data collected by the plurality of radar sensors in the window, the present invention does not limit the specific method of specifying the second detection result based on the radar sensing data. .
단계(S11)에서, 이미지 데이터에 기초한 제1 검출 결과 및 레이더 센싱 데이터에 기초한 제2 검출 결과를 얻는다. 단계(S12)에서, 제1 검출 결과 및 제2 검출 결과에 기초하여 판정 결과를 특정할 수 있다. 여기서, 다양한 판정 방법을 사용하여 판정 결과를 특정할 수 있지만, 본 발명에서는 구체적인 판정 방법을 한정하지 않는다.In step S11, a first detection result based on image data and a second detection result based on radar sensing data are obtained. In step S12, the determination result can be specified based on the first detection result and the second detection result. Here, the determination result can be specified using various determination methods, but the present invention does not limit the specific determination method.
예를 들면, 동일한 창에 대응하는 제1 검출 결과 및 제2 검출 결과의 값을 "0" 및 "1"로 나타낼 수 있다고 가정한다. 여기서, "0"은 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것을 나타내고, "1"은 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타낸다.For example, assume that the values of the first detection result and the second detection result corresponding to the same window can be expressed as “0” and “1”. Here, “0” indicates that the body part of the vehicle occupant was not taken out of the window, and “1” indicates that the body part of the vehicle occupant was taken out of the window.
하나의 가능한 실시형태에서는 제1 검출 결과 및 제2 검출 결과에 대해 OR 연산을 행하고, 제1 검출 결과와 제2 검출 결과의 OR 연산 결과를 판정 결과로서 특정할 수 있다. 이와 같이 하여, 제1 검출 결과 또는 제2 검출 결과 중, 어느 검출 결과는 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 것이면, 차량 탑승자의 신체 부위를 창에서 꺼냈다는 판정 결과를 얻을 수 있기 때문에, 차량 탑승자의 신체 부위를 창에서 꺼냈다는 판정 누설율을 저감시키는 데 유리하다.In one possible embodiment, an OR operation is performed on the first detection result and the second detection result, and the OR operation result of the first detection result and the second detection result can be specified as the decision result. In this way, if either the first detection result or the second detection result indicates that a body part of the vehicle occupant was taken out of the window, a determination result that the body part of the vehicle occupant was taken out of the window can be obtained, It is advantageous in reducing the leakage rate of determining that a vehicle occupant's body part has been removed from the window.
또는, 다른 가능한 실시형태에서는, 제1 검출 결과 및 제2 검출 결과에 대해 AND 연산을 행하고, 제1 검출 결과와 제2 검출 결과의 AND 연산의 결과를 판정 결과로서 특정할 수 있다. 이와 같이 하여, 제1 검출 결과 및 제2 검출 결과가 전부 신체 부위를 창에서 꺼낸 것을 나타내는 경우에만, 판정 결과로서 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하기 때문에, 차량 탑승자의 신체 부위를 창에서 꺼냈다는 오인률을 저감시키는 데 유리하다.Alternatively, in another possible embodiment, an AND operation may be performed on the first detection result and the second detection result, and the result of the AND operation of the first detection result and the second detection result may be specified as the determination result. In this way, only when both the first detection result and the second detection result indicate that the body part was taken out of the window, the judgment result specifies that the body part of the occupant was taken out of the window, so that the body part of the vehicle occupant is taken out of the window. It is advantageous in reducing the misconception rate that it was taken out.
또는, 다른 가능한 실시형태에서는, 제1 검출 결과 및 제2 검출 결과에 대해 프리셋 가중치를 설정하고, 프리셋 가중치의 크기에 기초하여, 제1 검출 결과 및 제2 검출 결과의 판정 결과에 대한 영향의 크기를 특정하여 최종적인 판정 결과를 얻어도 된다.Or, in another possible embodiment, preset weights are set for the first detection result and the second detection result, and based on the size of the preset weight, the size of the influence of the first detection result and the second detection result on the decision result. You may obtain the final decision result by specifying .
또 다른 가능한 실시형태에서는 레이더 센싱 데이터를 기준으로 해도 된다. 레이더 센싱 데이터에 기초한 제2 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내면, 판정 결과로서 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정한다. 하나의 가능한 실시형태에서는 상기 제1 검출 결과 및 상기 제2 검출 결과에 기초하여 판정 결과를 특정하는 것은 상기 제1 검출 결과 및 상기 제2 검출 결과가 전부 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서, 상기 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과, 상기 제1 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내고, 상기 제2 검출 결과가 신체 부위를 창에서 꺼내지 않은 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 특정하는 것과, 상기 제1 검출 결과가 신체 부위를 창에서 꺼내지 않은 것을 나타내고, 상기 제2 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것 중 적어도 하나를 포함한다.In another possible embodiment, it may be based on radar sensing data. If the second detection result based on the radar sensing data indicates that the body part of the occupant was taken out of the window, the judgment result specifies that the occupant's body part was taken out of the window. In one possible embodiment, specifying a decision result based on the first detection result and the second detection result is performed when both the first detection result and the second detection result indicate that the body part was taken out of the window. As a result of the determination, if the occupant's body part is specified as having been taken out of the window, the first detection result indicates that the body part has been taken out of the window, and the second detection result indicates that the body part has not been taken out of the window, When the determination result specifies that the occupant's body part was not taken out of the window, the first detection result indicates that the body part was not taken out of the window, and the second detection result indicates that the body part was taken out of the window. , the determination result includes at least one of specifying that the body part of the occupant was taken out of the window.
여기서, 본 발명은 프리셋 가중치의 크기를 제한하지 않는다. 제1 검출 결과 및 제2 검출 결과의 프리셋 가중치의 설정에 의해, 구체적인 장면에 대해 적절한 판정 방법을 선택하여, 판정 결과의 정확성의 향상에 유리하다.Here, the present invention does not limit the size of the preset weight. By setting the preset weights of the first detection result and the second detection result, it is advantageous to select an appropriate judgment method for a specific scene and improve the accuracy of the judgment result.
단계(S12)에서, 판정 결과를 특정하였다. 단계(S13)에서, 상기 판정 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 주의 환기 정보를 생성할 수 있다.In step S12, the determination result is specified. In step S13, if the determination result indicates that the occupant's body part has been taken out of the window, attention-calling information may be generated.
예를 들면, 판정 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 차재 인포테인먼트 및/또는 센터 콘솔 등을 통해 「창에서 몸을 꺼내지 마세요」라는 주의 환기 정보를 표시할 수 있다. 여기서, 주의 환기 정보로는 문자 주의 환기 정보, 음성 주의 환기 정보, 화면 주의 환기 정보 등의 형태여도 되지만, 본 발명에서는 이것을 한정하지 않는다.For example, if the determination result indicates that the occupant's body part was taken out of the window, caution information such as “Do not take out the body from the window” may be displayed through the in-vehicle infotainment and/or center console. Here, the attention-calling information may be in the form of text attention-calling information, voice attention-calling information, screen attention-calling information, etc., but the present invention is not limited to this.
하나의 가능한 실시형태에서는 차량에서 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하기 위한 센서가 2종류를 초과하는 경우, 즉 차량에서, 차재 카메라 및 레이더 센서에 추가하여, 예를 들면, 적외선 센서, 밀리파 센서 등, 창 영역에서의 장애물을 탐지하는 다른 센서가 설치되어 있어도 된다.In one possible embodiment, the vehicle has more than two types of sensors for detecting whether body parts of vehicle occupants have been removed from the window, i.e., in the vehicle, in addition to on-board cameras and radar sensors, for example, infrared sensors. Other sensors that detect obstacles in the window area, such as sensors or millimeter-wave sensors, may be installed.
이미지 데이터 및 레이더 센싱 데이터에 기초하여 제1 검출 결과 및 제2 검출 결과를 특정한 후에, 다른 종류의 센서에서 수집된 센싱 데이터(예를 들면, 적외선 센싱 데이터 및/또는 밀리파 센싱 데이터)의 각각에 기초하여, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 그에 대응하는 다른 계통의 검출 결과를 특정하도록 해도 된다. 복수의 계통의 검출 결과로부터 판정 결과를 특정하고, 상기 판정 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 주의 환기 정보를 생성하도록 해도 된다. 여기서, 취득된 센싱 데이터의 종류가 많을수록, 각 종류의 센서로 보다 많은 계통수의 검출 결과를 얻고, 또한, 보다 많은 계통수의 검출 결과에 기초한 판정 결과도 정확해진다. 구체적인 과정은 2종류의 센서에 관한 상기 내용을 참조하면 되고, 여기서는 상세한 설명을 생략한다.After specifying the first detection result and the second detection result based on the image data and radar sensing data, each of the sensing data (e.g., infrared sensing data and/or millimeter-wave sensing data) collected from different types of sensors Based on this, it may be possible to detect whether a body part of the vehicle occupant has been taken out of the window and to specify detection results of other systems corresponding thereto. A determination result may be specified from the detection results of a plurality of systems, and when the determination result indicates that a body part of the occupant has been taken out from the window, attention-calling information may be generated. Here, the more types of acquired sensing data, the more detection results of phylogenetic trees are obtained from each type of sensor, and the more accurate the decision results based on the detection results of more phylogenetic trees. For specific processes, please refer to the above information regarding the two types of sensors, and detailed description will be omitted here.
따라서, 본 발명의 실시예에서는 적어도 2종류의 센싱 데이터 각각에 기초하여, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻음과 함께, 적어도 2계통의 검출 결과에 기초하여, 판정 결과를 특정하고, 판정 결과가 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 주의 환기 정보를 생성한다. 본 발명의 실시예에 의하면, 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 정확하게 식별하고, 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 판정 결과의 경우, 주의 환기 정보를 생성할 수 있기 때문에, 차실 내의 탑승자의 안전성의 향상에 유리하다.Therefore, in an embodiment of the present invention, based on each of at least two types of sensing data, it is detected whether a body part of the vehicle occupant has been taken out of the window, and at least two types of detection results are obtained, and at least two types of detection are performed. Based on the result, the judgment result is specified, and if the judgment result indicates that the occupant's body part was taken out of the window, attention-calling information is generated. According to an embodiment of the present invention, it is possible to accurately identify whether a body part of the occupant has been taken out of the window and, in the case of a determination result indicating that a body part of the occupant has been taken out of the window, generate attention-calling information, It is advantageous for improving the safety of passengers.
이하, 본 발명의 실시예에 따른 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 설명한다.Hereinafter, a method for detecting that a body part of a vehicle occupant is taken out of a window according to an embodiment of the present invention will be described.
도 2는 본 발명의 실시예에 따른 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 나타내는 모식도이다. 도 2에 나타내는 바와 같이, 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하기 위한 데이터는 레이더 센서로 수집된 레이더 센싱 데이터, 차재 카메라로 수집된 이미지 데이터 및 차체 신호 데이터를 포함해도 된다. 프로세서에 의해 레이더 센싱 데이터, 이미지 데이터 및 차체 신호 데이터를 종합적으로 분석하여 처리함으로써, 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 특정하고, 탑승자의 신체 부위를 창에서 꺼낸 경우에, 주의 환기 정보를 생성할 수 있다.Figure 2 is a schematic diagram showing a method for detecting that a body part of a vehicle occupant is taken out of a window according to an embodiment of the present invention. As shown in FIG. 2, data for detecting that a vehicle occupant's body part is taken out of the window may include radar sensing data collected by a radar sensor, image data collected by an in-vehicle camera, and vehicle body signal data. By comprehensively analyzing and processing radar sensing data, image data, and vehicle body signal data by the processor, it is determined whether the occupant's body part was taken out of the window, and when the occupant's body part was taken out of the window, attention information is provided. can be created.
도 2에 나타낸 실시형태는 예시적인 것에 불과하고, 본 발명의 실시예에 따른 센싱 데이터는 창 영역에서의 장애물을 탐지하기 위한 레이더 센서로 수집된 레이더 센싱 데이터, 창 영역에서의 장애물을 탐지하기 위한 밀리파 센서로 수집된 밀리파 센싱 데이터 등을 추가로 포함해도 되지만, 본 발명에서는 이에 한정되지 않는다는 것을 이해해야 한다.The embodiment shown in FIG. 2 is merely an example, and the sensing data according to the embodiment of the present invention includes radar sensing data collected by a radar sensor for detecting obstacles in the window area, and radar sensing data for detecting obstacles in the window area. Millimeter-wave sensing data collected by a millimeter-wave sensor may be additionally included, but it should be understood that the present invention is not limited thereto.
하나의 가능한 실시형태에서는 상기 방법은 도어의 개폐 상태를 나타내는 도어 데이터와, 창의 개폐 상태를 나타내는 창 데이터를 포함하는 차체 신호 데이터를 취득하는 것을 추가로 포함한다.In one possible embodiment, the method further includes acquiring vehicle body signal data including door data indicating the open/closed state of the door and window data indicating the open/closed state of the window.
예를 들면, 로컬 인터커넥트 네트워크(Local Interconnect Network, LIN) 버스, 컨트롤러 에어리어 네트워크(Controller Area Network, CAN) 버스 등의 차체 버스로부터 차체 신호 데이터를 취득하고, 상기 차체 신호 데이터에 기초하여 각 도어의 개폐 상태 및 각 창의 개폐 상태를 취득할 수 있다.For example, vehicle body signal data is acquired from a vehicle body bus such as a Local Interconnect Network (LIN) bus and a Controller Area Network (CAN) bus, and each door is opened and closed based on the vehicle body signal data. The status and open/closed status of each window can be obtained.
여기서, 차체 버스에서 차체 신호 데이터를 취득하는 것 외에, 도어 영역 또는 창 영역에 센서를 설치함으로써, 도어, 창의 개폐 상태를 나타내는 차체 신호 데이터를 취득할 수 있지만, 본 발명에서는 차체 신호 데이터를 취득하는 구체적인 방식을 한정하지 않는다.Here, in addition to acquiring vehicle body signal data from the vehicle body bus, vehicle body signal data indicating the open/closed status of the door and window can be acquired by installing a sensor in the door area or window area. However, in the present invention, vehicle body signal data is acquired. The specific method is not limited.
또한, 단계(S11)은 상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 차량의 적어도 2종류의 센싱 데이터 각각에 기초하여, 상기 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 상기 적어도 2계통의 검출 결과를 얻는 것을 포함해도 된다.Additionally, in step S11, when the vehicle body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, the body part of the occupant is detected based on each of at least two types of sensing data of the vehicle. It may also include detecting whether the device has been taken out from a window and obtaining the above-described at least two types of detection results.
하나의 가능한 실시형태에서는 차체 신호 데이터 및 적어도 2종류의 센싱 데이터(예를 들면, 이미지 데이터 및 레이더 센싱 데이터를 포함함)를 실시간으로 취득할 수 있다. 상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 이미지 데이터에 기초하여 이미지 데이터에서의 열려 있는 창에 대응하는 탑승자의 신체 부위를 상기 창에서 꺼냈는지 여부를 검출하고, 제1 검출 결과를 얻음과 함께, 레이더 센싱 데이터에 기초하여 상기 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 제2 검출 결과를 얻을 수 있다.In one possible embodiment, vehicle body signal data and at least two types of sensing data (including, for example, image data and radar sensing data) can be acquired in real time. When the body signal data indicates that the door is closed and the window corresponding to the seated position of the occupant is open, whether the body part of the occupant corresponding to the open window in the image data is taken out from the window based on the image data. In addition to detecting and obtaining a first detection result, it is possible to detect whether the occupant's body part was taken out of the window based on radar sensing data and obtain a second detection result.
예를 들면, 차체 신호 데이터가 도어가 닫혀 있고, 운전자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 것으로 가정한다. 이 경우, 이미지 데이터에 기초하여, 이미지 데이터로부터 관심 영역, 즉 운전자 및 운전석의 창을 포함하는 영역을 잘라내고, 상기 영역에서 운전자의 신체 부위를 상기 창에서 꺼냈는지 여부를 검출하고, 제1 검출 결과를 얻을 수 있고, 운전석의 창에 대응하는 레이더 센싱 데이터에 기초하여, 상기 운전자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 제2 검출 결과를 얻을 수 있다.For example, assume that the body signal data indicates that the door is closed and the window corresponding to the driver's seating position is open. In this case, based on the image data, a region of interest, that is, a region including the window of the driver and the driver's seat, is cut out from the image data, and whether the driver's body part is taken out of the window is detected in this region, and a first detection is performed. A result can be obtained, and based on radar sensing data corresponding to the driver's seat window, whether the driver's body part has been taken out from the window can be detected and a second detection result can be obtained.
이와 같이 하여, 차체 신호 데이터 및 적어도 2종류의 센싱 데이터를 실시간으로 취득함과 함께, 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 적어도 2종류의 센싱 데이터 각각에 대해 검출을 행하여, 적어도 2계통의 검출 결과를 얻을 수 있다. 이 방법은 간단하고 실행하기 쉽고, 현장에서의 실시 효율 향상에 유리하다.In this way, vehicle body signal data and at least two types of sensing data are acquired in real time, and when the vehicle body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, at least two types of sensing data are acquired in real time. By performing detection on each piece of data, at least two types of detection results can be obtained. This method is simple and easy to implement, and is advantageous for improving implementation efficiency in the field.
하나의 가능한 실시형태에서는 상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 단계(S11)에서 상기 레이더 센서에 센싱 데이터를 수집하는 트리거 신호를 송신하고, 상기 레이더 센서로 수집된 레이더 센싱 데이터를 취득하는 것과, 상기 차재 카메라로 수집된 이미지 데이터를 취득하는 것과, 상기 레이더 센싱 데이터 및 상기 이미지 데이터의 각각에 기초하여, 상기 탑승자의 신체 부위를 탑승자의 착석 위치에 대응하는 창에서 꺼냈는지 여부를 검출하고, 상기 레이더 센서에 기초한 검출 결과 및 상기 이미지 데이터에 기초한 검출 결과를 얻는 것을 포함한다.In one possible embodiment, when the vehicle body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, a trigger signal for collecting sensing data is transmitted to the radar sensor in step S11, Acquiring radar sensing data collected by the radar sensor, acquiring image data collected by the vehicle-mounted camera, and based on each of the radar sensing data and the image data, detecting a body part of the occupant while the occupant is seated. and detecting whether a window corresponding to a position has been taken out, and obtaining a detection result based on the radar sensor and a detection result based on the image data.
예를 들면, 차체 신호 데이터를 먼저 취득하고 있고, 상기 차체 신호 데이터가 도어가 닫혀 있고 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 레이더 센서를 트리거하고, 레이더 센싱 데이터를 수집하고, 또한 차재 카메라로 수집된 이미지 데이터를 취득한다. 예를 들면, 상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 레이더 센서에 트리거 신호(예를 들면, 하나 또는 복수의 높은 펄스 신호)를 송신할 수 있고, 창 영역에서의 장애물을 검지하는 레이더 센서를 동작 상태로 하여, 레이더 센싱 데이터를 수집한다. 차재 카메라는 이미지 데이터를 지속적으로 취득할 수 있기 때문에, 동작 상태에 있음을 이해해야 한다. 상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 차재 카메라에 그 동작을 트리거하는 신호를 송신하지 않아도 차재 카메라로 수집된 이미지 데이터를 얻을 수 있다.For example, first acquiring body signal data, and if the body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, trigger the radar sensor, collect radar sensing data, and also Acquire image data collected by in-vehicle cameras. For example, if the body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, a trigger signal (e.g., one or multiple high pulse signals) may be transmitted to the radar sensor. The radar sensor that detects obstacles in the window area is put into operation and radar sensing data is collected. Since in-vehicle cameras can continuously acquire image data, it must be understood that they are in an operating state. If the vehicle body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, image data collected by the vehicle camera can be obtained without transmitting a signal that triggers the operation to the vehicle camera.
이미지 데이터에 기초하여, 이미지 데이터에서의 열려 있는 창에 대응하는 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 제1 검출 결과를 얻음과 함께, 레이더 센싱 데이터에 기초하여, 상기 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하여, 제2 검출 결과를 얻도록 해도 된다.Based on the image data, detect whether the occupant's body part corresponding to the open window in the image data is taken out from the window, obtain a first detection result, and based on the radar sensing data, detect the occupant's body A second detection result may be obtained by detecting whether the part has been removed from the window.
이렇게 하여, 트리거 조건을 만족하는 경우, 레이더 센서를 트리거하여 레이더 센싱 데이터를 수집하기 때문에, 에너지 소비의 저감, 레이더 센서의 내용년수의 연장에 유리하다.In this way, when the trigger condition is satisfied, the radar sensor is triggered to collect radar sensing data, which is advantageous in reducing energy consumption and extending the useful life of the radar sensor.
하나의 가능한 실시형태에서는 상기 차체 신호 데이터가 도어가 열려 있는 것, 또는 탑승자의 착석 위치에 대응하는 창이 전부 닫혀 있는 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 특정한다.In one possible embodiment, when the body signal data indicates that the door is open or that the window corresponding to the occupant's seating position is fully closed, the determination result specifies that the occupant's body part is not taken out of the window. .
예를 들면, 차량 도어가 열려 있는 경우, 예를 들면, 탑승자가 승강하는 등, 차량이 비주행 상태에 있어도 된다. 차량 운전 중, 차량 탑승자의 사지를 창에서 꺼낸 행위의 배후에는 큰 숨겨진 위험이 존재한다. 반대로, 비주행 상태의 차량에 대해, 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하는 의미가 크지 않다. 따라서, 차체 신호 데이터가 도어가 열려 있는지(차량이 비주행 상태에 있을 가능성이 있는 것을 의미함) 또는 탑승자의 착석 위치에 대응하는 창이 전부 닫혀 있는 것을 나타내는 경우, 이미지 데이터 및 레이더 센싱 데이터를 고려하지 않고, 판정 결과로서, 상기 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 직접 특정할 수 있다.For example, when the vehicle door is open, the vehicle may be in a non-running state, for example, with passengers getting on and off. There is a huge hidden danger behind the act of pulling a vehicle's occupant's limbs out of the window while driving. Conversely, for a vehicle in a non-driving state, detecting whether the occupant's body part has been removed from the window is not significant. Therefore, if body signal data indicates that a door is open (meaning the vehicle is likely to be in a non-driving state) or that all windows corresponding to the occupant's seating position are closed, image data and radar sensing data are not taken into account. As a result of the determination, it can be directly specified that the body part of the passenger was not taken out of the window.
이와 같이 하여, 이미지 데이터 및 레이더 센싱 데이터를 검출할 필요가 없고, 탑승자의 신체 부위를 창에서 꺼내지 않았다는 판정 결과를 직접 얻을 수 있어, 판정 효율을 높일 수 있다.In this way, there is no need to detect image data and radar sensing data, and a determination result that the occupant's body part has not been removed from the window can be directly obtained, thereby increasing determination efficiency.
다른 가능한 장면에서는 이미지 데이터를 먼저 취득하고, 이미지 데이터에 따라 이미지 데이터에서의 목표 창에 대응하는 레이더 센싱 데이터(또는 레이더 센싱 데이터 및 차체 신호 데이터)를 취득하도록 해도 된다. 상기 목표 창은 이미지 데이터에서의 신체 부위를 창에서 꺼낸 목표 탑승자에 대응하는 목표 창이다.In other possible scenes, image data may be acquired first, and radar sensing data (or radar sensing data and vehicle body signal data) corresponding to the target window in the image data may be acquired according to the image data. The target window is a target window corresponding to the target occupant whose body part in the image data is taken out of the window.
하나의 가능한 실시형태에서는 단계(S11)은In one possible embodiment, step S11 is
상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하여, 제1 검출 결과를 얻는 것과,Obtaining a first detection result by recognizing the relative states of the occupant's body parts and the window in the image data;
상기 제1 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 제1 검출 결과에 기초하여, 상기 이미지 데이터에서의 신체 부위를 창에서 꺼낸 목표 탑승자의 좌석 정보를 취득하는 것과,When the first detection result indicates that the body part was taken out of the window, based on the first detection result, acquiring seat information of the target occupant who took out the body part in the image data from the window;
상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 센싱 데이터를 취득하는 것과,acquiring the radar sensing data of a target window corresponding to seat information of the target passenger;
상기 목표 창의 레이더 센싱 데이터에 기초하여 제2 검출 결과를 특정하는 것을 포함한다.and specifying a second detection result based on radar sensing data of the target window.
예를 들면, 이미지 데이터에는 복수의 탑승자와 복수의 창이 존재할 가능성이 있고, 이미지 데이터에서의 각 탑승자의 신체 부위와 창의 상대적인 상태를 인식하고, 각 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 제1 검출 결과를 얻을 수 있다. 예를 들면, 특정 이미지 데이터에는 탑승자 A∼탑승자 C가 포함되고, 탑승자 B의 신체 부위를 창에서 꺼냈다고 가정한다. 이 이미지 데이터에 대해, 트레이닝이 끝난 뉴럴 네트워크에 입력하고, 이 이미지 데이터의 제1 검출 결과, 즉 탑승자 A 및 탑승자 C의 신체 부위를 창에서 꺼내지 않고, 탑승자 B의 신체 부위를 창에서 꺼낸 것을 얻을 수 있다.For example, there is a possibility that there are multiple occupants and multiple windows in the image data, the relative state of each occupant's body part and the window in the image data is recognized, and whether each occupant's body part is taken out from the window is detected. , the first detection result can be obtained. For example, assume that specific image data includes passengers A to C, and that the body part of passenger B is taken out of the window. This image data is input to the trained neural network, and the first detection result of this image data is obtained, that is, the body parts of passenger A and passenger C are not taken out of the window, and the body parts of passenger B are taken out of the window. You can.
제1 검출 결과가 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 제1 검출 결과에 의하면, 신체 부위를 창에서 꺼낸 탑승자 B를 목표 탑승자로 하고, 이 탑승자가 앉아 있는 좌석에 대한 좌석 정보(예를 들면, 조수석 위치임)를 특정한다. 목표 탑승자(B)의 좌석 정보에 가장 가까운 창을 목표 창으로 하고, 예를 들면 조수석 위치에 대응하는 조수석의 창을 목표 창으로 한다. 조수석 창의 레이더 센싱 데이터를 취득하고, 이 레이더 센싱 데이터에 기초하여 제2 검출 결과를 특정한다.If the first detection result indicates that the passenger's body part was taken out of the window, according to the first detection result, the passenger B who took the body part out of the window is set as the target passenger, and seat information (e.g. For example, the passenger seat position) is specified. The window closest to the seat information of the target passenger (B) is set as the target window, and for example, the passenger seat window corresponding to the passenger seat position is set as the target window. Radar sensing data from the passenger seat window is acquired, and a second detection result is specified based on this radar sensing data.
이와 같이, 이미지 데이터에 따라 목표 창의 레이더 센싱 데이터를 취득하고, 또한, 목표 창의 레이더 센싱 데이터에 기초하여 제2 검출 결과를 특정하기 때문에, 제2 검출 결과의 정확성 향상에 유리하다.In this way, since the radar sensing data of the target window is acquired according to the image data and the second detection result is specified based on the radar sensing data of the target window, it is advantageous to improve the accuracy of the second detection result.
하나의 가능한 실시형태에서는 상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 상기 센싱 데이터를 취득하는 것은 상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 센싱 데이터 및 상기 목표 탑승자의 좌석 정보에 대응하는 도어인 목표 도어의 개폐 상태를 나타내는 제1 신호 데이터와 상기 목표 창의 개폐 상태를 나타내는 제2 신호 데이터를 포함하는 상기 목표 탑승자의 좌석 정보와 관련되는 차체 신호 데이터를 취득하는 것을 포함하고, 상기 레이더 센싱 데이터에 기초하여 상기 제2 검출 결과를 특정하는 것은 상기 레이더 센싱 데이터와 상기 차체 신호 데이터에 기초하여 상기 제2 검출 결과를 특정하는 것을 포함한다.In one possible embodiment, acquiring the radar sensing data of a target window corresponding to the target occupant's seat information corresponds to the radar sensing data of a target window corresponding to the target occupant's seat information and the target occupant's seat information. and acquiring vehicle body signal data related to seat information of the target occupant, including first signal data indicating an open/closed state of a target door, and second signal data indicating an open/closed state of the target window, wherein the radar Specifying the second detection result based on the sensing data includes specifying the second detection result based on the radar sensing data and the vehicle body signal data.
예를 들면, 제1 검출 결과에서는 탑승자 A와 탑승자 C의 신체 부위를 창에서 꺼내지 않고, 조수석에 위치하는 탑승자 B의 신체 부위를 창에서 꺼냈다. 여기서, 신체 부위를 창에서 꺼낸 탑승자 B는 목표 탑승자이다. 제1 검출 결과로부터, 목표 탑승자(B)의 좌석 정보가 조수석 위치인 것을 특정할 수 있다. 조수석의 창(조수석에 인접한 창)의 레이더 센싱 데이터와, 조수석 위치와 관련된 차체 신호 데이터를 취득한다. 여기서, 조수석 위치와 관련된 차체 신호 데이터에 기초하여 조수석 도어와 조수석 창의 개폐 상태를 알 수 있고, 조수석 위치와 관련된 차체 신호 데이터는 조수석 위치의 도어의 개폐 상태를 나타내는 제1 신호 데이터와, 조수석 위치의 창의 개폐 상태를 나타내는 제2 신호 데이터를 포함해도 된다.For example, in the first detection result, the body parts of passenger A and passenger C were not taken out of the window, but the body parts of passenger B located in the passenger seat were taken out of the window. Here, passenger B, who took out the body part from the window, is the target passenger. From the first detection result, it can be specified that the seat information of the target passenger B is the passenger seat position. Acquire radar sensing data from the passenger seat window (window adjacent to the passenger seat) and body signal data related to the passenger seat location. Here, the open/closed status of the passenger door and the passenger seat window can be known based on the body signal data related to the passenger seat position, and the body signal data related to the passenger seat position includes first signal data indicating the open/closed state of the door at the passenger seat position, and first signal data indicating the open/closed state of the door at the passenger seat position. Second signal data indicating the open/closed state of the window may be included.
조수석의 창의 레이더 센싱 데이터, 제1 신호 데이터, 제2 신호 데이터에 기초하여, 제2 검출 결과를 특정할 수 있다. 여기서, 제1 신호 데이터는 조수석 도어가 열린 상태를 나타내거나, 또는 제2 신호 데이터는 조수석의 창이 닫힌 상태임을 나타내면, 제2 검출 결과로서 조수석 위치의 탑승자의 신체 부위를 조수석 창에서 꺼내지 않은 것으로 특정할 수 있다.The second detection result can be specified based on the radar sensing data of the passenger seat window, the first signal data, and the second signal data. Here, if the first signal data indicates that the passenger seat door is open, or the second signal data indicates that the passenger seat window is closed, the second detection result specifies that the body part of the passenger in the passenger seat position is not taken out from the passenger seat window. can do.
상기 과정은 예시적인 것에 불과하고, 본 발명의 실시예에서는 이미지 데이터에서의 각 목표 탑승자의 좌석 정보에 대응하는 레이더 센싱 데이터 및 관련된 차체 신호 데이터를 취득하고, 각 목표 탑승자의 좌석 정보에 대응하는 레이더 센싱 데이터 및 관련된 차체 신호 데이터 각각에 기초하여, 각 목표 탑승자에 대응하는 제2 검출 결과를 특정할 수 있는 것은 이해해야 한다.The above process is merely exemplary, and in an embodiment of the present invention, radar sensing data and related vehicle body signal data corresponding to the seat information of each target occupant in the image data are acquired, and radar corresponding to the seat information of each target occupant is obtained. It should be understood that based on each of the sensing data and the related body signal data, a second detection result corresponding to each target occupant can be specified.
이와 같이 하여, 이미지 데이터에 따라 목표 탑승자의 좌석 정보에 대응하는 레이더 센싱 데이터 및 목표 탑승자의 좌석 정보와 관련된 차체 신호 데이터를 취득하고, 또한 목표 차창의 레이더 센싱 데이터와 그에 관련된 차체 신호 데이터에 기초하여, 제2 검출 결과를 특정할 수 있기 때문에, 제2 검출 결과의 정확성을 더욱 향상시키는 데 유리하다.In this way, radar sensing data corresponding to the seat information of the target passenger and vehicle body signal data related to the seat information of the target passenger are acquired according to the image data, and based on the radar sensing data of the target window and vehicle body signal data related thereto. , Since the second detection result can be specified, it is advantageous to further improve the accuracy of the second detection result.
상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 단계(S11)의 상술한 예에서는 제1 검출 결과는 탑승자의 신체 부위를 창에서 꺼낸 것이 존재하는 것을 나타내는 경우에만, 대응하는 레이더 센싱 데이터, 또는 레이더 센싱 데이터 및 차체 신호 데이터를 취득하고, 제2 검출 결과를 특정한다. 따라서, 단계(S12)의 구체예에서는 상기 제2 검출 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것으로 특정한다.If the body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, in the above-described example of step S11, the first detection result indicates that the occupant's body part is removed from the window. Only when indicated, the corresponding radar sensing data or radar sensing data and vehicle body signal data are acquired, and the second detection result is specified. Accordingly, in the specific example of step S12, when the second detection result indicates that the occupant's body part was taken out of the window, the determination result specifies that the occupant's body part was taken out of the window.
예를 들면, 이미지 데이터에서의 신체 부위를 창에서 꺼낸 목표 탑승자가 조수석의 탑승자라고 가정하고, 제2 검출 결과가 조수석의 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 판정 결과로서, 조수석의 탑승자의 신체 부위를 상기 창에서 꺼낸 것으로 특정한다. 목표 탑승자의 좌석은 임의의 좌석이어도 되지만, 본 발명에서는 이를 한정하지 않는 것은 이해해야 한다.For example, assuming that the target occupant who took out a body part from the window in the image data is the passenger in the passenger seat, and if the second detection result indicates that the body part of the passenger in the passenger seat was taken out from the window, as a judgment result, the occupant in the passenger seat The body part of is specified as being taken out from the window. The seat of the target passenger may be any seat, but it should be understood that the present invention is not limited to this.
이렇게 하여, 판정 결과의 정확성을 향상시키는 데 유리하다.In this way, it is advantageous to improve the accuracy of the judgment result.
하나의 가능한 실시형태에서는 상기한, 상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하고, 제1 검출 결과를 얻는 것은 상기 이미지 데이터에 기초하여 차량 탑승자의 신체 부위와 창의 상대적인 상태를 인식하고, 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것에 대한 신뢰도를 얻는 것을 포함한다.In one possible embodiment, the relative states of the vehicle occupant's body parts and the window are recognized in the image data, as described above, and obtaining the first detection result includes recognizing the relative states of the vehicle occupant's body parts and the window based on the image data. and obtaining confidence that the body part of the vehicle occupant was removed from the window.
예를 들면, 상기 이미지 데이터에 기초하여 차량 탑승자의 신체 부위와 창의 상대적인 상태를 인식하는 것은 이미지 데이터를 트레이닝이 끝난 네트워크 모델에 입력하고, 뉴럴 네트워크 모델을 사용하여 차량 탑승자의 신체 부위와 창의 상대적인 상태를 인식하여, 제1 검출 결과를 얻도록 해도 된다. 상기 제1 검출 결과는 탑승자의 신체 부위를 창에서 꺼낸 것에 대한 신뢰도를 포함해도 된다.For example, to recognize the relative states of body parts of vehicle occupants and windows based on the image data, input the image data into a trained network model, and use the neural network model to recognize the relative states of body parts of vehicle occupants and windows. You may recognize and obtain the first detection result. The first detection result may include the reliability of removing the occupant's body part from the window.
여기서, 상기 신뢰도의 값이 클수록, 신체 부위를 창에서 꺼낸 확률이 높아지는 것을 의미하고, 상기 신뢰도의 값이 작을수록, 신체 부위를 창에서 꺼낸 확률이 작아지는 것을 의미한다.Here, the greater the value of the confidence, the higher the probability of taking the body part out of the window, and the smaller the value of the confidence, the lower the probability of taking the body part out of the window.
이와 같이 하여, 차량 탑승자의 신체 부위를 창에서 꺼냈다는 것에 대한 신뢰도를 얻을 수 있기 때문에, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 나타내는 판정 결과의 정확성의 향상에 유리하다.In this way, since reliability can be obtained that the body part of the vehicle occupant was taken out of the window, it is advantageous to improve the accuracy of the determination result indicating whether the body part of the vehicle occupant was taken out of the window.
단계(S11)에서, 제1 검출 결과의 신뢰도를 특정하였다. 단계(S12)에서, 제1 검출 결과의 신뢰도와 제2 검출 결과에 기초하여, 판정 결과를 특정할 수 있다.In step S11, the reliability of the first detection result was specified. In step S12, the determination result can be specified based on the reliability of the first detection result and the second detection result.
하나의 가능한 실시형태에서는 단계(S12)에서,In one possible embodiment, in step S12:
상기 신뢰도가 미리 설정된 임계값보다 큰 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,If the reliability is greater than a preset threshold and the second detection result indicates that the body part of the vehicle occupant was taken out of the window, specifying as the determination result that the body part of the vehicle occupant was taken out of the window;
상기 신뢰도가 미리 설정된 임계값보다 큰 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 특정하는 것과,When the reliability is greater than a preset threshold and the second detection result indicates that the body part of the vehicle occupant is not taken out of the window, the determination result specifies that the body part of the vehicle occupant is not taken out of the window. And,
상기 신뢰도가 미리 설정된 임계값보다 작은 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,If the reliability is less than a preset threshold and the second detection result indicates that the body part of the vehicle occupant was taken out of the window, specifying as the determination result that the body part of the vehicle occupant was taken out of the window;
상기 신뢰도가 미리 설정된 임계값보다 작은 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 것으로 특정하는 것 중 적어도 하나를 포함한다.When the reliability is less than a preset threshold and the second detection result indicates that the body part of the vehicle occupant is not taken out of the window, the determination result specifies that the body part of the vehicle occupant is not taken out of the window. Includes at least one of the following:
예를 들면, 상기 신뢰도가 미리 설정된 임계값(예를 들면, 0.5)보다 큰 경우, 이미지 데이터에 기초하여, 탑승자의 신체 부위를 창에서 꺼낸 신뢰성이 높은 것으로 특정한다. 이 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정한다.For example, if the reliability is greater than a preset threshold (eg, 0.5), based on the image data, it is specified that the reliability of removing the occupant's body part from the window is high. In this case, when the second detection result indicates that the body part of the vehicle occupant was taken out of the window, it is specified as the determination result that the body part of the vehicle occupant was taken out of the window.
예를 들면, 상기 신뢰도가 미리 설정된 임계값(예를 들면, 0.5)보다 작은 경우, 이미지 데이터에 기초하여, 탑승자의 신체 부위를 창에서 꺼낸 신뢰성이 낮은 것으로 특정한다. 이 경우, 제2 검출 결과에 기초하여 상기 판정 결과를 특정할 수 있다. 구체적으로는 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하고, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 특정한다.For example, if the reliability is less than a preset threshold (eg, 0.5), based on the image data, the reliability of removing the occupant's body part from the window is specified as low. In this case, the determination result can be specified based on the second detection result. Specifically, when the second detection result indicates that the body part of the vehicle occupant was taken out of the window, the determination result specifies that the body part of the vehicle occupant was taken out of the window, and the second detection result indicates that the body part of the vehicle occupant was taken out of the window. If it indicates that the body part of the vehicle occupant was not taken out of the window, it is specified as a result of the determination that the body part of the vehicle occupant was not taken out of the window.
이와 같이 하여, 신뢰도와 제2 검출 결과를 종합적으로 고려할 수 있기 때문에, 판정 결과의 정확성의 향상에 유리하다.In this way, since reliability and the second detection result can be comprehensively considered, it is advantageous for improving the accuracy of the judgment result.
이상, 차체 신호 데이터와 적어도 2종류의 센싱 데이터에 기초하여 판정 결과를 특정하는 복수의 방법에 대해 설명했지만, 실제 상황에 따라 판정 결과를 특정하는 방법을 유연하게 선택할 수 있는 것을 이해해야 한다.Although a plurality of methods for specifying a decision result based on vehicle body signal data and at least two types of sensing data have been described above, it should be understood that a method for specifying a decision result can be flexibly selected according to the actual situation.
단계(S11∼S12)에 의해 판정 결과를 특정하였다. 단계(S13)에서, 상기 판정 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 주의 환기 정보를 생성할 수 있다.The determination result was specified in steps S11 to S12. In step S13, if the determination result indicates that the occupant's body part has been taken out of the window, attention-calling information may be generated.
따라서, 본 발명의 실시예에서는 적어도 2종류의 센싱 데이터 각각에 기초하여, 차량 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻음과 함께, 적어도 2계통의 검출 결과에 기초하여, 판정 결과를 특정하고, 판정 결과가 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 주의 환기 정보를 생성한다. 본 발명의 실시예에 의하면, 이미지 데이터와 레이더 센싱 데이터를 조합함으로써, 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 정확하게 식별하고, 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 판정 결과의 경우, 주의 환기 정보를 생성할 수 있기 때문에, 차실 내의 탑승자의 안전성의 향상에 유리하다.Therefore, in an embodiment of the present invention, based on each of at least two types of sensing data, it is detected whether a body part of the vehicle occupant has been taken out of the window, and at least two types of detection results are obtained, and at least two types of detection are performed. Based on the result, the judgment result is specified, and if the judgment result indicates that the occupant's body part was taken out of the window, attention-calling information is generated. According to an embodiment of the present invention, by combining image data and radar sensing data, it is possible to accurately identify whether the occupant's body part was taken out of the window, and in the case of a determination result indicating that the occupant's body part was taken out of the window, alerting attention. Since information can be generated, it is advantageous for improving the safety of occupants in the vehicle cabin.
본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리를 위반하지 않는 한, 서로 조합하여 실시예를 형성할 수 있음을 이해해야 한다. 분량에 한계가 있으므로, 본 발명에서는 상세한 설명을 생략한다. 당업자라면, 구체적인 실시형태의 상기 방법에서, 각 단계의 실행 순서가 그 기능과 가능한 내재적 논리에 의존하는 것을 당업자는 이해해야 한다.It should be understood that the embodiments of each method mentioned in the present invention can be combined with each other to form embodiments as long as the principles and logic are not violated. Since there is a limit to the quantity, detailed description is omitted in the present invention. Those skilled in the art should understand that in the above method of specific embodiments, the execution order of each step depends on its function and possible underlying logic.
또한, 본 발명은 추가로, 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램을 제공하며, 이들 전부는 본 발명에 따른 어느 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법의 실현에 사용할 수 있다. 이러한 기술적 해결 수단 및 설명은 방법에 관한 설명의 이러한 기재를 참조해도 되고, 여기서 상세한 설명은 생략한다.Additionally, the present invention further provides devices, electronic devices, computer-readable storage media, and programs for detecting that a body part of a vehicle occupant has been removed from a window, all of which detect a body part of a vehicle occupant according to the present invention. It can be used to implement a method for detecting something taken out of a window. For these technical solutions and explanations, reference may be made to the description of the method, and detailed descriptions thereof are omitted here.
도 3은 본 발명의 실시예에 따른 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 장치를 나타내는 블록도이다. 도 3에 나타내는 바와 같이, 상기 장치는Figure 3 is a block diagram showing a device for detecting that a body part of a vehicle occupant is taken out of a window according to an embodiment of the present invention. As shown in Figure 3, the device
차재 카메라로 수집된 이미지 데이터와 창 영역에서의 장애물을 탐지하기 위한 레이더 센서로 수집된 레이더 센싱 데이터를 포함하는 적어도 2종류의 센싱 데이터 각각에 기초하여 창에서 꺼냈는지 여부를 검출하고, 적어도 2계통의 검출 결과를 얻기 위한 검출 모듈(71)과,Detects whether the window has been taken out based on at least two types of sensing data, including image data collected by an in-vehicle camera and radar sensing data collected by a radar sensor for detecting obstacles in the window area, and at least two systems A detection module 71 to obtain a detection result of
상기 적어도 2계통의 검출 결과에 기초하여 판정 결과를 특정하기 위한 특정 모듈(72)과,a specific module 72 for specifying a determination result based on the detection results of the at least two systems;
상기 판정 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 주의 환기 정보를 생성하기 위한 주의 환기 모듈(73)을 포함한다.and an attention-calling module 73 for generating attention-calling information when the determination result indicates that the occupant's body part has been taken out of the window.
하나의 가능한 실시형태에서는 상기 장치는In one possible embodiment, the device
도어의 개폐 상태를 나타내는 도어 데이터와, 창의 개폐 상태를 나타내는 창 데이터를 포함하는 차체 신호 데이터를 취득하기 위한 취득 모듈을 추가로 포함하고,It further includes an acquisition module for acquiring vehicle body signal data including door data indicating the open/closed state of the door and window data indicating the open/closed state of the window,
상기 검출 모듈(71)은 상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 차량의 적어도 2종류의 센싱 데이터 각각에 기초하여, 상기 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 상기 적어도 2계통의 검출 결과를 얻는 것에 사용된다.The detection module 71 detects a body part of the occupant based on each of at least two types of sensing data of the vehicle when the vehicle body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open. It is used to detect whether it has been taken out from a window and to obtain the above two types of detection results.
하나의 가능한 실시형태에서는 상기 차체 신호 데이터가 도어가 닫혀 있고, 탑승자의 착석 위치에 대응하는 창이 열려 있는 것을 나타내는 경우, 상기 검출 모듈(71)은In one possible embodiment, if the body signal data indicates that the door is closed and the window corresponding to the occupant's seating position is open, the detection module 71
상기 레이더 센서에 센싱 데이터를 수집하는 트리거 신호를 송신하고, 상기 레이더 센서로 수집된 레이더 센싱 데이터를 취득하는 것과,transmitting a trigger signal for collecting sensing data to the radar sensor and acquiring radar sensing data collected by the radar sensor;
상기 차재 카메라로 수집된 이미지 데이터를 취득하는 것과,acquiring image data collected by the vehicle-mounted camera;
상기 레이더 센싱 데이터 및 상기 이미지 데이터 각각에 기초하여, 상기 탑승자의 신체 부위를 탑승자의 착석 위치에 대응하는 창에서 꺼냈는지 여부를 검출하고, 상기 레이더 센서에 기초한 검출 결과 및 상기 이미지 데이터에 기초한 검출 결과를 얻는 것에 사용된다.Based on each of the radar sensing data and the image data, detect whether the occupant's body part is taken out of the window corresponding to the occupant's seating position, and detect a detection result based on the radar sensor and a detection result based on the image data. It is used to obtain.
하나의 가능한 실시형태에서는 상기 장치는 추가로, 상기 차체 신호 데이터가 도어가 열려 있는 것, 또는 탑승자의 착석 위치에 대응하는 창이 전부 닫혀 있는 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 특정하는 것에 사용된다.In one possible embodiment, the device may further, if the body signal data indicates that the door is open or that the window corresponding to the occupant's seating position is fully closed, display the occupant's body part as a window as a result of the determination. It is used to specify something that was not taken out of.
하나의 가능한 실시형태에서는 상기 검출 모듈(71)은 상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하여 제1 검출 결과를 얻는 것과,In one possible embodiment, the detection module 71 obtains a first detection result by recognizing the relative states of the window and the occupant's body parts in the image data;
상기 레이더 센싱 데이터에 기초하여 제2 검출 결과를 얻는 것에 사용되고,Used to obtain a second detection result based on the radar sensing data,
상기 특정 모듈(72)은 상기 제1 검출 결과 및 상기 제2 검출 결과에 기초하여 판정 결과를 특정하는 것에 사용된다.The specification module 72 is used to specify a determination result based on the first detection result and the second detection result.
하나의 가능한 실시형태에서는 상기 특정 모듈(72)은In one possible embodiment, the particular module 72 is
상기 제1 검출 결과 및 상기 제2 검출 결과가 전부 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서, 상기 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,When both the first detection result and the second detection result indicate that the body part of the occupant was taken out of the window, specifying, as the determination result, that the body part of the occupant was taken out of the window;
상기 제1 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내고, 상기 제2 검출 결과가 신체 부위를 창에서 꺼내지 않은 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼내지 않은 것을 확인하고,When the first detection result indicates that a body part has been taken out of the window and the second detection result indicates that the body part has not been taken out of the window, it is confirmed as the determination result that the body part of the occupant has not been taken out of the window,
상기 제1 검출 결과가 신체 부위를 창에서 꺼내지 않은 것을 나타내고, 상기 제2 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것 중 적어도 하나에 사용된다.When the first detection result indicates that the body part was not taken out of the window and the second detection result indicates that the body part was taken out of the window, the determination result specifies that the body part of the occupant was taken out of the window. Used for at least one.
하나의 가능한 실시형태에서는 상기 검출 모듈(71)은In one possible embodiment the detection module 71 is
상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하여, 제1 검출 결과를 얻는 것과,Obtaining a first detection result by recognizing the relative states of the occupant's body parts and the window in the image data;
상기 제1 검출 결과가 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 제1 검출 결과에 기초하여, 상기 이미지 데이터에서의 신체 부위를 창에서 꺼낸 목표 탑승자의 좌석 정보를 취득하는 것과,When the first detection result indicates that the body part was taken out of the window, based on the first detection result, acquiring seat information of the target occupant who took out the body part in the image data from the window;
상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 센싱 데이터를 취득하는 것과,acquiring the radar sensing data of a target window corresponding to seat information of the target passenger;
상기 목표 창의 레이더 센싱 데이터에 기초하여 제2 검출 결과를 특정하는 것에 사용된다.It is used to specify a second detection result based on radar sensing data of the target window.
하나의 가능한 실시형태에서는 상기한, 상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 센싱 데이터를 취득하는 것은In one possible embodiment, acquiring the radar sensing data of a target window corresponding to the target occupant's seat information described above may include:
상기 목표 탑승자의 좌석 정보에 대응하는 목표 창의 상기 레이더 센싱 데이터 및 상기 목표 탑승자의 좌석 정보에 대응하는 도어인 목표 도어의 개폐 상태를 나타내는 제1 신호 데이터와, 상기 목표 창의 개폐 상태를 나타내는 제2 신호 데이터를 포함하는 상기 목표 탑승자의 좌석 정보와 관련된 차체 신호 데이터를 취득하는 것을 포함하고,The radar sensing data of the target window corresponding to the seat information of the target occupant and first signal data representing an open/closed state of the target door, which is the door corresponding to the seat information of the target occupant, and a second signal representing the open/closed state of the target window. comprising acquiring body signal data related to seat information of the target occupant including data;
상기한, 상기 목표 창의 레이더 센싱 데이터에 기초하여 제2 검출 결과를 특정하는 것은Specifying the second detection result based on the radar sensing data of the target window described above is
상기 레이더 센싱 데이터와 상기 차체 신호 데이터에 기초하여 상기 제2 검출 결과를 특정하는 것을 포함한다.and specifying the second detection result based on the radar sensing data and the vehicle body signal data.
하나의 가능한 실시형태에서는 상기 특정 모듈(72)은 상기 제2 검출 결과가 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 것으로 특정하는 것에 사용된다.In one possible embodiment, when the second detection result indicates that the occupant's body part was taken out of the window, the specific module 72 specifies that the occupant's body part was taken out of the window as the determination result. It is used for
하나의 가능한 실시형태에서는 상기한, 상기 이미지 데이터에서의 탑승자의 신체 부위와 창의 상대적인 상태를 인식하고, 제1 검출 결과를 얻는 것은In one possible embodiment, recognizing the relative states of the window and the occupant's body parts in the image data, as described above, and obtaining a first detection result
상기 이미지 데이터에 기초하여 차량 탑승자의 신체 부위와 창의 상대적인 상태를 인식하고, 상기 차량 탑승자의 신체 부위를 창에서 꺼냈다는 것에 대한 신뢰도를 얻는 것을 포함한다.Recognizing the relative state of the vehicle occupant's body part and the window based on the image data, and obtaining confidence that the vehicle occupant's body part has been removed from the window.
하나의 가능한 실시형태에서는 상기 특정 모듈(72)은 상기 신뢰도가 미리 설정된 임계값보다 큰 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서, 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,In one possible embodiment, the specific module 72 determines, as the determination result, if the confidence is greater than a preset threshold and the second detection result indicates that a body part of the vehicle occupant has been removed from the window. Identifying body parts of vehicle occupants as taken out of the window,
상기 신뢰도가 미리 설정된 임계값보다 작은 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼낸 것으로 특정하는 것과,If the reliability is less than a preset threshold and the second detection result indicates that the body part of the vehicle occupant was taken out of the window, specifying as the determination result that the body part of the vehicle occupant was taken out of the window;
상기 신뢰도가 미리 설정된 임계값보다 작은 경우, 상기 제2 검출 결과가 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것을 나타내는 경우, 상기 판정 결과로서 상기 차량 탑승자의 신체 부위를 창에서 꺼내지 않은 것으로 특정하는 것 중 적어도 하나에 사용된다.If the reliability is less than a preset threshold, and the second detection result indicates that the body part of the vehicle occupant is not taken out of the window, the determination result specifies that the body part of the vehicle occupant is not taken out of the window. used for at least one of the following:
하나의 가능한 실시형태에서는 상기 차재 카메라는 차실 내에 설치된 카메라 및/또는 차실 밖에 설치된 카메라를 포함한다.In one possible embodiment, the vehicle-mounted camera includes a camera installed within the vehicle compartment and/or a camera installed outside the vehicle compartment.
하나의 가능한 실시형태에서는 상기 레이더 센서는 창의 상부 가장자리/하부 가장자리에 제공된다.In one possible embodiment the radar sensor is provided at the upper/lower edge of the window.
하나의 가능한 실시형태에서는 상기 센싱 데이터는 적외선 센싱 데이터 및/또는 밀리파 센싱 데이터를 추가로 포함한다.In one possible embodiment, the sensing data further includes infrared sensing data and/or millimeter wave sensing data.
일부 실시예에서는 본 발명의 실시예에 따른 장치의 기능 또는 모듈은 상기한 방법 실시예에 기재된 방법을 살행하기 위해 사용된다. 구체적인 실시는 상기 방법 실시예의 기재를 참조하면 명확해지고, 간결함을 위해, 상세한 설명은 생략한다.In some embodiments, functions or modules of devices according to embodiments of the present invention are used to implement the methods described in the method embodiments above. Specific implementations will become clear by referring to the description of the method embodiments above, and detailed descriptions will be omitted for brevity.
본 발명의 실시예는 추가로, 차재 카메라로 수집된 이미지 데이터와 창 영역에서의 장애물을 탐지하기 위한 레이더 센서로 수집된 레이더 센싱 데이터를 포함하는 적어도 2종류의 센싱 데이터를 수집하기 위한 적어도 2종류의 센서와,Embodiments of the present invention additionally include at least two types of sensing data, including image data collected by an in-vehicle camera and radar sensing data collected by a radar sensor for detecting obstacles in the window area. A sensor,
상기 센서로부터 상기 적어도 2종류의 센싱 데이터를 취득하고, 상기 적어도 2종류의 센싱 데이터에 기초하여, 상기 차량의 탑승자의 신체 부위를 창에서 꺼냈는지 여부를 검출하고, 상기 탑승자의 신체 부위를 상기 창에서 꺼낸 경우, 주의 환기 정보를 생성하기 위한 컨트롤러를 포함하는 차량을 제공한다.Acquire the at least two types of sensing data from the sensor, detect whether a body part of the occupant of the vehicle is taken out of the window based on the at least two types of sensing data, and detect the body part of the occupant from the window. Provides a vehicle containing a controller for generating alert information when ejected from the vehicle.
여기서, 컨트롤러는 상기 실시예에 기재된 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법의 실현에 사용되어도 된다. 센싱 데이터는 적외선 센싱 데이터 및/또는 밀리파 센싱 데이터 등의 다른 타입의 센싱 데이터를 포함해도 된다. 컨트롤러 및 센서의 예시적인 실현 방식은 상기 내용을 참조하면 되고, 여기서는 상세한 설명을 생략한다.Here, the controller may be used to implement the method for detecting that a body part of the vehicle occupant is taken out of the window described in the above embodiment. Sensing data may include other types of sensing data, such as infrared sensing data and/or millimeter wave sensing data. For exemplary implementation methods of the controller and sensor, please refer to the above contents, and detailed description will be omitted here.
본 발명의 실시예는 추가로, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 상술한 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 제공한다. 컴퓨터 판독 가능 기억 매체는 휘발성 또는 불휘발성 컴퓨터 판독 가능 기억 매체여도 된다.An embodiment of the present invention further provides a computer-readable storage medium storing computer program instructions, wherein, when the computer program instructions are executed by a processor, a method of detecting that the above-described body part of the vehicle occupant is taken out of the window is provided. Provides a computer-readable storage medium that realizes the present invention. The computer-readable storage medium may be a volatile or non-volatile computer-readable storage medium.
본 발명의 실시예는 추가로, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 메모리에 기억되어 있는 명령을 불러내어 상술한 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 실행하도록 구성되는 전자 기기를 제공한다.An embodiment of the present invention further includes a processor and a memory for storing instructions executable by the processor, wherein the processor calls up the instructions stored in the memory and displays the above-described body part of the vehicle occupant from the window. An electronic device configured to implement a method for detecting withdrawal is provided.
본 발명의 실시예는 추가로, 컴퓨터 판독 가능 코드 또는 컴퓨터 판독 가능 코드가 기억되어 있는 컴퓨터 판독 가능 기억 매체를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기의 프로세서에서 동작하면, 상기 전자 기기의 프로세서에 상술한 차량 탑승자의 신체 부위를 창에서 꺼낸 것을 검출하는 방법을 실행시키는 컴퓨터 프로그램 제품을 제공한다.Embodiments of the present invention further include a computer-readable code or a computer-readable storage medium storing a computer-readable code, and when the computer-readable code operates on a processor of the electronic device, the processor of the electronic device Provided is a computer program product that executes the method for detecting that a body part of a vehicle occupant is taken out of a window as described above.
전자 기기는 단말, 서버 또는 다른 형태의 기기로서 제공되어도 된다.Electronic devices may be provided as terminals, servers, or other types of devices.
도 4는 본 발명의 실시예에 따른 전자 기기(1900)를 나타내는 블록도이다. 예를 들면, 전자 기기(1900)는 서버로 제공될 수 있다. 도 4를 참조하면, 전자 기기(1900)는 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 애플리케이션 프로그램을 기억하기 위한, 메모리(1932)를 대표로 하는 메모리 자원을 추가로 포함한다. 메모리(1932)에 기억되어 있는 애플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써 상기 방법을 실행하도록 구성된다.Figure 4 is a block diagram showing an electronic device 1900 according to an embodiment of the present invention. For example, the electronic device 1900 may be provided as a server. 4, the electronic device 1900 includes a processing component 1922 that includes one or more processors and a memory 1932 for storing instructions executable by the processing component 1922, for example, an application program. It additionally includes memory resources represented by . The application program stored in the memory 1932 may include one or more modules, each of which corresponds to one instruction group. Additionally, processing component 1922 is configured to execute the method by executing instructions.
전자 기기(1900)는 추가로, 전자 기기(1900)의 전원 관리를 실행하도록 구성되는 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 접속하도록 구성되는 유선 또는 무선 네트워크 인터페이스(1950) 및 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 전자 기기(1900)는 메모리(1932)에 기억되어 있는 운영 체제, 예를 들면, 마이크로 소프트 서버 운영 체제(Windows ServerTM), 애플의 그래픽 사용자 인터페이스 운영 체제(Mac OS XTM), 멀티 사용자멀티 프로세스 컴퓨터 운영 체제(UnixTM), 자유로운 오픈 소스 Unix 계열의 운영 체제(LinuxTM), 오픈 소스 코드 유닉스 계열 운영 체제(FreeBSDDTM) 또는 유사한 것에 기초하여 동작할 수 있다.The electronic device 1900 further includes a power component 1926 configured to perform power management of the electronic device 1900, a wired or wireless network interface 1950 configured to connect the electronic device 1900 to a network, and input/output (I/O) interface (1958) may be included. The electronic device 1900 may have an operating system stored in the memory 1932, such as Microsoft's server operating system (Windows ServerTM ), Apple's graphical user interface operating system (MacOS It may operate based on a computer operating system (UnixTM ), a free and open source Unix-like operating system (LinuxTM ), an open source code Unix-like operating system (FreeBSDDTM ), or something similar.
예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.Exemplary embodiments further provide a non-volatile computer-readable storage medium, e.g., a memory 1932 containing computer program instructions, which may be stored in a processing component 1922 of the electronic device 1900. When executed by , the above method can be executed.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령이 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.The invention may be a system, method and/or computer program product. The computer program product may include a computer-readable storage medium containing computer-readable program instructions for implementing each aspect of the present invention in a processor.
컴퓨터 판독 가능 기억 매체는 명령 실행 기기에 사용되는 명령을 저장 및 기억 가능한 실체가 있는 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치, 또는 상기 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 또 다른 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거·프로그래머블 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 컴팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치, 및 상기 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 통해 전파되는 전자파(예를 들면, 광섬유 케이블 통과하는 광 펄스) 또는 전선을 경유하여 전송되는 전기 신호로 해석되지 않는다.A computer-readable storage medium may be a tangible device capable of storing and memorizing instructions used in an instruction execution device. The computer-readable storage medium may be, for example, an electric memory device, a magnetic memory device, an optical memory device, an electronic memory device, a semiconductor memory device, or any suitable combination of the above, but is not limited to these. Other specific examples (non-exhaustive list) of computer readable storage media include portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory). ), static random access memory (SRAM), portable compact disk read-only memory (CD-ROM), digital versatile disk (DVD), memory stick, floppy disk, such as a punched card with stored instructions or a projection in a slot. mechanical encoding devices such as structures, and suitable combinations of any of the above. As used herein, computer-readable storage media may include the instantaneous signal itself, e.g., a radio wave or other freely propagating electromagnetic wave, an electromagnetic wave propagating through a waveguide or other transmission medium (e.g., an optical pulse passing through a fiber optic cable), or It is not interpreted as an electrical signal transmitted via wires.
여기서 기술된 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체로부터 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 경유하여 외부 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.The computer-readable program instructions described herein may be downloaded to each computing/processing device from a computer-readable storage medium, or may be downloaded to an external computer via a network, such as the Internet, a local area network, a wide area network, and/or a wireless network. Alternatively, it may be downloaded to an external storage device. The network may include copper transmission cables, fiber optic transmission, wireless transmission, routers, firewalls, switches, gateway computers, and/or edge servers. A network adapter card or network interface within each computing/processing device receives computer-readable program instructions from the network, transmits the computer-readable program instructions, and stores them in a computer-readable storage medium within each computing/processing device.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터, 또는 Smaltalk, C++ 등의 오브젝트 지향 프로그래밍 언어, 및 "C" 언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 완전히 리모트 컴퓨터 또는 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용하여 인터넷을 통해) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 개인화하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써, 본 발명의 각 측면을 실현하도록 해도 된다.Computer program instructions for executing the operations of the present invention include assembly instructions, instruction set architecture (ISA) instructions, machine language instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or object-oriented programming languages such as Smalltalk and C++. , and may be source code or target code written in any combination of one or more programming languages, including general procedural programming languages such as the "C" language or similar programming languages. The computer-readable program instructions may be executed entirely on the user's computer, partially on the user's computer, as a standalone software package, partially on the user's computer and partially on a remote computer, or completely on the user's computer. It may run on a remote computer or server. In the case of a remote computer, the remote computer may be connected to your computer via any type of network, including a local area network (LAN) or a wide area network (WAN), or (for example, through an Internet service provider). You can also connect to an external computer (via the Internet). In some embodiments, status information in computer-readable program instructions is used to personalize an electronic circuit, such as a programmable logic circuit, a field programmable gate array (FPGA), or a programmable logic array (PLA), and to the electronic circuit. Each aspect of the present invention may be realized by executing computer-readable program instructions.
여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 양태를 설명하였지만, 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있음을 이해해야 한다.Herein, each aspect of the present invention has been described with reference to flowcharts and/or block diagrams of the method, device (system), and computer program product according to the embodiments of the present invention, but each block of the flowchart and/or block diagram, and the flowchart and /Or, it should be understood that the combination of each block in the block diagram can be realized by computer-readable program instructions.
이들 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서에 제공되고, 이들 명령이 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현시키도록 장치를 제조해도 된다. 이들 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억되고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 다른 기기를 특정 방식으로 동작시키도록 해도 된다. 이에 의해, 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체는 플로우 차트 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하는 명령을 갖는 제품을 포함한다.These computer-readable program instructions are provided to a processor of a general-purpose computer, special-purpose computer, or other programmable data processing device, and when these instructions are executed by the processor of the computer or other programmable data processing device, one or more of the flowcharts and/or block diagrams The device may be manufactured to realize the function/operation specified in the block. These computer-readable program instructions may be stored in a computer-readable storage medium and cause a computer, programmable data processing device, and/or other device to operate in a specific manner. Thereby, the computer-readable storage medium in which the instructions are stored includes a product having instructions for realizing each aspect of the function/operation specified in one or more blocks of the flow chart and/or block diagram.
컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 다른 프로그래머블 데이터 처리 장치 또는 다른 기기에 로드되고, 컴퓨터, 다른 프로그래머블 데이터 처리 장치 또는 다른 기기에 일련의 동작 단계를 실행하게 함으로써 컴퓨터에 의해 실현 가능한 프로세스를 생성하도록 해도 된다. 이렇게 하여, 컴퓨터, 다른 프로그래머블 데이터 처리 장치, 또는 다른 기기에서 실행되는 명령에 의해, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현한다.Computer-readable program instructions may be loaded into a computer, other programmable data processing device, or other device, and cause the computer, other programmable data processing device, or other device to execute a series of operational steps, thereby creating a process feasible by the computer. . In this way, the functions/operations specified in one or more blocks of the flowchart and/or block diagram are realized by instructions executed on a computer, other programmable data processing device, or other device.
도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는, 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부를 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일 부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능 명령을 포함한다. 일부 대안으로서의 실현형태에서는 블록에 표기된 기능은 도면에 부여된 순서와 상이하게 실현해도 된다. 예를 들면, 연속적인 2개의 블록은 실질적으로 병렬로 실행해도 되고, 또한 이러한 기능에 따라 역순으로 실행되어도 되는 경우가 있다. 또한, 블록도 및/또는 흐름도에서의 각 블록, 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정된 기능 또는 동작을 실행하는 하드웨어에 기초한 전용 시스템에 의해 실현해도 되고, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현될 수 있다는 것에도 주의해야 한다.Flowcharts and block diagrams in the drawings represent feasible system architecture, functions, and operations of systems, methods, and computer program products according to multiple embodiments of the present invention. In this respect, each block in a flowchart or block diagram may represent one module, program segment, or portion of an instruction, and each portion of the module, program segment, or instruction may be one or more executions to realize a specified logical function. Includes possible commands. In some alternative implementation forms, the functions indicated in the blocks may be implemented differently from the order given in the drawings. For example, two consecutive blocks may be executed substantially in parallel, or may be executed in reverse order depending on this function. Additionally, each block in the block diagram and/or flowchart, and combinations of blocks in the block diagram and/or flowchart, may be realized by a dedicated system based on hardware that executes the designated function or operation, or by dedicated hardware and computer instructions. It should also be noted that it can be realized by a combination of .
상기 컴퓨터 프로그램 제품은 하드웨어, 소프트웨어 또는 이들의 조합에 의해 구체적으로 실현할 수 있다. 선택 가능한 실시예에서는 상기 컴퓨터 프로그램 제품은 컴퓨터 기억 매체로서 구체화된다. 다른 선택 가능한 실시예에서는 컴퓨터 프로그램 제품은 소프트웨어 개발 키트(Software Development Kit, SDK) 등의 소프트웨어 제품으로서 구체화된다.The computer program product can be specifically implemented by hardware, software, or a combination thereof. In optional embodiments, the computer program product is embodied as a computer storage medium. In another alternative embodiment, the computer program product is embodied as a software product, such as a Software Development Kit (SDK).
이상, 본 발명의 각 실시예를 설명했지만, 상기 설명은 예시적인 것에 지나지 않고, 망라적인 것이 아니며, 또한 피로된 각 실시예에 한정되는 것은 아니다. 당업자라면, 설명된 각 실시예의 범위 및 정신을 벗어나지 않고 다양한 수정 및 변경이 자명하다. 본 명세서에서 선택된 용어는 각 실시예의 원리, 실제 적용 또는 기존 기술에 대한 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본 명세서에 기재된 각 실시예를 이해하게 하기 위한 것이다.Although each embodiment of the present invention has been described above, the above description is only illustrative, not exhaustive, and is not limited to each embodiment shown. Various modifications and changes will be apparent to those skilled in the art without departing from the scope and spirit of each described embodiment. The terms selected in this specification are intended to preferably interpret the principle, practical application, or improvement over existing technology of each embodiment, or to enable others skilled in the art to understand each embodiment described in this specification.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111273194.9ACN114022899B (en) | 2021-10-29 | 2021-10-29 | Method, device and vehicle for detecting a body part of a vehicle occupant sticking out of a vehicle window |
| CN202111273194.9 | 2021-10-29 | ||
| PCT/CN2022/088509WO2023071089A1 (en) | 2021-10-29 | 2022-04-22 | Method and apparatus for detecting body part of vehicle occupant hanging out of vehicle window, and vehicle |
| Publication Number | Publication Date |
|---|---|
| KR20240097879Atrue KR20240097879A (en) | 2024-06-27 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247017553AWithdrawnKR20240097879A (en) | 2021-10-29 | 2022-04-22 | Method, device, and vehicle for detecting body parts of vehicle occupants taken out of window |
| Country | Link |
|---|---|
| JP (1) | JP7735565B2 (en) |
| KR (1) | KR20240097879A (en) |
| CN (1) | CN114022899B (en) |
| WO (1) | WO2023071089A1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022899B (en)* | 2021-10-29 | 2023-07-14 | 上海商汤临港智能科技有限公司 | Method, device and vehicle for detecting a body part of a vehicle occupant sticking out of a vehicle window |
| CN115384540B (en)* | 2022-08-03 | 2024-09-27 | 慧之安信息技术股份有限公司 | A vehicle-mounted safe driving detection device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009234435A (en)* | 2008-03-27 | 2009-10-15 | Xanavi Informatics Corp | Vehicular safety device |
| JP2014215718A (en)* | 2013-04-23 | 2014-11-17 | 株式会社東芝 | Vehicle detection device, and vehicle detection system |
| CN104442566B (en)* | 2014-11-13 | 2017-11-17 | 长安大学 | A kind of passenger's precarious position warning device and alarm method |
| JP6451619B2 (en)* | 2015-12-17 | 2019-01-16 | 株式会社デンソー | Object detection device |
| JP6519499B2 (en)* | 2016-02-23 | 2019-05-29 | 株式会社デンソー | Vehicle system and computer program |
| CN105866779A (en)* | 2016-04-06 | 2016-08-17 | 浙江大学 | Wearable barrier avoiding apparatus and barrier avoiding method based on binocular camera and millimeter-wave radar |
| CN110203130A (en)* | 2019-06-12 | 2019-09-06 | 九江学院 | Automobile is ridden early warning and reminding method and system |
| CN112750323A (en)* | 2019-10-30 | 2021-05-04 | 上海博泰悦臻电子设备制造有限公司 | Management method, apparatus and computer storage medium for vehicle safety |
| JP2021094900A (en)* | 2019-12-13 | 2021-06-24 | 株式会社デンソー | Vehicle control device |
| US20210191398A1 (en)* | 2019-12-20 | 2021-06-24 | Uber Technologies Inc. | System and Methods for Automated Detection of Vehicle Cabin Events for Triggering Remote Operator Assistance |
| CN112248950A (en)* | 2020-10-30 | 2021-01-22 | 东风小康汽车有限公司重庆分公司 | Vehicle window control system and method for improving opening and closing quality of vehicle door |
| CN114022899B (en)* | 2021-10-29 | 2023-07-14 | 上海商汤临港智能科技有限公司 | Method, device and vehicle for detecting a body part of a vehicle occupant sticking out of a vehicle window |
| Publication number | Publication date |
|---|---|
| CN114022899B (en) | 2023-07-14 |
| WO2023071089A1 (en) | 2023-05-04 |
| JP2024540118A (en) | 2024-10-31 |
| JP7735565B2 (en) | 2025-09-08 |
| CN114022899A (en) | 2022-02-08 |
| Publication | Publication Date | Title |
|---|---|---|
| JP7650964B2 (en) | Intelligent drive control method and device, vehicle, electronic device, and storage medium | |
| US10803326B2 (en) | Obstacle detecting method and apparatus, device and storage medium | |
| US10889240B2 (en) | Method, computer device and storage medium for communicating with a rear vehicle | |
| WO2020042859A1 (en) | Smart driving control method and apparatus, vehicle, electronic device, and storage medium | |
| US10140859B1 (en) | Amelioration of traffic gridlock conditions | |
| KR20240097879A (en) | Method, device, and vehicle for detecting body parts of vehicle occupants taken out of window | |
| CN110667506B (en) | Collision recognition method, device, equipment and storage medium | |
| CN106952303A (en) | Vehicle distance detection method, device and system | |
| JP2021054388A (en) | Method and apparatus for automatic driving control, electronic device, and storage medium | |
| US20170043717A1 (en) | System and Apparatus that Alert Car Drivers Approaching Obstacles in the Road | |
| US20200126276A1 (en) | Augmented Reality Display for a Vehicle | |
| US20230391362A1 (en) | Decision-making for autonomous vehicle | |
| US12307899B2 (en) | Light projection apparatus and method, and storage medium | |
| US20220363264A1 (en) | Assessing driver cognitive state | |
| US9779623B2 (en) | Communication of alerts to vehicles based on vehicle movement | |
| US12046048B2 (en) | Systems and methods for utilizing models to detect dangerous tracks for vehicles | |
| JP2025516846A (en) | Control method and control system for vehicle charge port cover, and vehicle | |
| US11148588B2 (en) | Reducing risks from emergency vehicle lights | |
| CN119672978A (en) | Multimodal-based emergency vehicle handling method, device, vehicle and medium | |
| EP4620760A1 (en) | Risk identification for autonomous driving | |
| CN119380306A (en) | Road abnormality prediction and warning method, device, equipment and computer-readable storage medium | |
| CN116901939A (en) | Method and device for controlling vehicle deceleration and electronic equipment | |
| CN114419912A (en) | Method and device for detecting static object, storage medium and electronic equipment | |
| HK40065250A (en) | Method and device for detecting body part of vehicle occupant protruding out of vehicle window, and vehicle | |
| CN118722612B (en) | Vehicle protective hood control method, device, equipment and storage medium |
| Date | Code | Title | Description |
|---|---|---|---|
| E13-X000 | Pre-grant limitation requested | St.27 status event code:A-2-3-E10-E13-lim-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| PA0105 | International application | St.27 status event code:A-0-1-A10-A15-nap-PA0105 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| D13-X000 | Search requested | St.27 status event code:A-1-2-D10-D13-srh-X000 | |
| PC1202 | Submission of document of withdrawal before decision of registration | St.27 status event code:N-1-6-B10-B11-nap-PC1202 |