DE102010053120A1 - Method and device for monitoring a driver of a vehicle - Google Patents

Abstract

Translated fromGerman

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Beobachtung eines Fahrers (2) eines Fahrzeuges mittels mindestens einer an einem Lenkrad (1.2) angeordneten Bilderfassungseinheit (3). Erfindungsgemäß wird mittels erfasster Bilddaten eine aus einer Lenkbewegung resultierende Lageänderung der Bilderfassungseinheit (3) relativ zu einer im Fahrzeuginnenraum (1) vorgegebenen statischen Referenzlinie oder relativ zu einer im Fahrzeuginnenraum (1) vorgegebenen Anzahl von statischen Referenzpunkten ermittelt, anhand derer ein Lenkradwinkel bestimmt wird.The invention relates to a method and a device for observing a driver (2) of a vehicle by means of at least one image acquisition unit (3) arranged on a steering wheel (1.2). According to the invention, a change in position of the image acquisition unit (3) resulting from a steering movement relative to a static reference line specified in the vehicle interior (1) or relative to a number of static reference points specified in the vehicle interior (1) is determined by means of which a steering wheel angle is determined.

Description

Translated fromGerman

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Beobachtung eines Fahrers eines Fahrzeuges mittels mindestens einer an einem Lenkrad angeordneten Bilderfassungseinheit.The invention relates to a method and a device for observing a driver of a vehicle by means of at least one image acquisition unit arranged on a steering wheel.

Aus derEP 1 838 550 B1 ist eine Lenkradbaugruppe für ein Kraftfahrzeug bekannt. Die Lenkradbaugruppe umfasst ein Lenkrad und eine am Lenkrad angeordnete Anzeigeeinrichtung, die mit einer an dem Kraftfahrzeug anzuordnenden Sensoreinrichtung zum Ermitteln mindestens einer Zustandsgröße eines Kraftfahrzeuges in Wirkverbindung steht. Dabei ist die Anzeigeeinrichtung zum Anzeigen der mittels der Sensoreinrichtung ermittelten Zustandsgröße vorgesehen. Darüber hinaus ist zumindest eine Erfassungseinrichtung am Lenkrad angeordnet, mittels welcher ein Aufmerksamkeitszustand eines Fahrers des Fahrzeuges ermittelbar ist, wobei die mindestens eine Erfassungseinrichtung zum Ansteuern der Anzeigeeinrichtung in Abhängigkeit von dem ermittelten Aufmerksamkeitszustand des Fahrers dient. Bei der mindestens einen Erfassungseinrichtung handelt es sich um eine Kamera, wobei die Erfassungseinrichtung benachbart zur Anzeigeeinrichtung an dem Lenkrad, insbesondere an dem Lenkradkranz in einer Geradeausstellung des Lenkradkranzes entlang der vertikalen Fahrzeugachse oberhalb der Lenkachse, angeordnet ist.From theEP 1 838 550 B1 a steering wheel assembly for a motor vehicle is known. The steering wheel assembly comprises a steering wheel and a display device arranged on the steering wheel, which is in operative connection with a sensor device to be arranged on the motor vehicle for determining at least one state variable of a motor vehicle. In this case, the display device is provided for displaying the state variable determined by means of the sensor device. In addition, at least one detection device is arranged on the steering wheel, by means of which an attention state of a driver of the vehicle can be determined, wherein the at least one detection device is used to control the display device as a function of the determined attention state of the driver. The at least one detection device is a camera, wherein the detection device is arranged adjacent to the display device on the steering wheel, in particular on the steering wheel rim in a straight-ahead position of the steering wheel rim along the vertical vehicle axis above the steering axis.

Darüber hinaus ist aus derUS 2010/0002075 A1 eine Vorrichtung zur Überwachung eines Fahrers eines Fahrzeuges bekannt, wobei eine Kamera zur Überwachung des Fahrers an einem Lenkrad des Fahrzeuges angeordnet ist. Die Vorrichtung zur Überwachung umfasst die Kamera und eine Steuereinheit. Mittels der Kamera wird ein Bild des Gesichts des Fahrers erfasst, wobei die Steuereinheit eine Schräglage des erfassten Gesichts des Fahrers durch einen Lenkwinkel, der auf der Drehung des Lenkrades basiert, korrigiert. Darüber hinaus werden mittels der Steuereinheit charakteristische Bereiche des Fahrers aus dem korrigierten Bild extrahiert, um einen Zustand des Fahrers festzustellen. Weiterhin umfasst die Vorrichtung eine Ausgabeeinheit und einen Lenkwinkelsensor.In addition, from the US 2010/0002075 A1 a device for monitoring a driver of a vehicle is known, wherein a camera for monitoring the driver is arranged on a steering wheel of the vehicle. The monitoring device comprises the camera and a control unit. By means of the camera, an image of the driver's face is detected, wherein the control unit corrects an inclination of the detected face of the driver by a steering angle based on the rotation of the steering wheel. Moreover, by means of the control unit, characteristic areas of the driver are extracted from the corrected image to detect a condition of the driver. Furthermore, the device comprises an output unit and a steering angle sensor.

Ferner offenbart dieJP 2009-208561 A eine Vorrichtung und ein Verfahren zum Fotografieren eines Fahrers eines Fahrzeuges. Eine Einrichtung zum Fotografieren ist an einer Lenksäule des Fahrzeuges angeordnet und fotografiert in eine Richtung eines Fahrersitzes. Die Einrichtung ist mittels einer Befestigungsvorrichtung lösbar an einem Lenkrad des Fahrzeuges befestigt, wobei die Befestigungsvorrichtung eine Markierung aufweist, um eine Lage der Einrichtung zum Fotografieren in Bezug auf eine Position des Fahrers zu bestimmen.Further, the JP 2009-208561 A an apparatus and method for photographing a driver of a vehicle. A photographing device is disposed on a steering column of the vehicle and photographed in a direction of a driver's seat. The device is releasably attached to a steering wheel of the vehicle by means of a fastening device, the fastening device having a marking to determine a position of the device for photographing with respect to a position of the driver.

Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Beobachtung eines Fahrers eines Fahrzeuges und eine Vorrichtung zur Durchführung des Verfahrens anzugeben.The invention has for its object to provide a comparison with the prior art improved method for monitoring a driver of a vehicle and an apparatus for performing the method.

Die Aufgabe wird erfindungsgemäß hinsichtlich des Verfahrens durch die in Anspruch 1 und hinsichtlich der Vorrichtung durch die in Anspruch 6 angegebenen Merkmale gelöst.The object is achieved with respect to the method by the inclaim 1 and in terms of the device by the features specified in claim 6.

Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous developments of the invention are the subject of the dependent claims.

Bei einem Verfahren zur Beobachtung eines Fahrers eines Fahrzeuges wird dieser mittels mindestens einer an einem Lenkrad angeordneten Bilderfassungseinheit beobachtet. Erfindungsgemäß wird mittels erfasster Bilddaten eine aus einer Lenkbewegung resultierende Lageänderung der Bilderfassungseinheit relativ zu einer im Fahrzeuginnenraum vorgegebenen statischen Referenzlinie oder relativ zu einer im Fahrzeuginnenraum vorgegebenen Anzahl von statischen Referenzpunkten ermittelt, anhand derer ein Lenkradwinkel bestimmt wird.In a method for observing a driver of a vehicle, this is observed by means of at least one image acquisition unit arranged on a steering wheel. According to the invention, by means of detected image data, a change in position of the image acquisition unit resulting from a steering movement is determined relative to a static reference line predetermined in the vehicle interior or relative to a predetermined number of static reference points in the vehicle interior, on the basis of which a steering wheel angle is determined.

Unter dem Lenkradwinkel wird ein Drehwinkel des Lenkrades verstanden. Mittels des Lenkradwinkels wird eine Stellung des Lenkrades beschrieben. Wird das Lenkrad durch Lenken bewegt, ändert sich die Stellung des Lenkrades und somit der Lenkradwinkel. Ein Winkel zwischen eine Radebene eines bewegbaren, insbesondere vorderen Fahrzeugrades und einer Geradeausstellung wird als Lenkwinkel bezeichnet. Wird eine Lenkbewegung am Lenkrad durchgeführt, bewegt sich das Fahrzeugrad. Eine Änderung des Lenkwinkels folgt einer Änderung des Lenkradwinkels.Under the steering wheel angle is understood a rotation angle of the steering wheel. By means of the steering wheel angle, a position of the steering wheel is described. If the steering wheel is moved by steering, the position of the steering wheel and thus the steering wheel angle changes. An angle between a wheel plane of a movable, in particular front vehicle wheel and a straight-ahead position is referred to as a steering angle. If a steering movement is performed on the steering wheel, the vehicle wheel moves. A change in the steering angle follows a change in the steering wheel angle.

Mittels der Referenzlinie oder der Anzahl von Referenzpunkten wird die Lageänderung der Bilderfassungseinheit in Bezug auf die Referenzlinie oder die Anzahl der Referenzpunkte ermittelt. Aus der Drehung des Lenkrades bei gewünschter Richtungsänderung des Fahrzeuges resultiert eine Lageänderung der Bilderfassungseinheit, so dass bei der Erfassung der Position des Fahrers ein Messfehler auftritt, da eine Ausrichtung der aufgenommenen Bilddaten nicht der tatsächlichen Ausrichtung, d. h. der Position des Fahrers relativ zum Lenkrad bei einem Lenkradwinkel von 0° entspricht. Durch die Lageänderung der Bilderfassungseinheit in Bezug auf die Referenzlinie oder der Anzahl der Referenzpunkte kann der Lenkradwinkel ermittelt werden und dadurch der Messfehler korrigiert werden. Dabei fungiert die Bilderfassungseinheit in besonders vorteilhafter Weise als präziser Lenkradwinkelsensor.By means of the reference line or the number of reference points, the change in position of the image acquisition unit with respect to the reference line or the number of reference points is determined. The rotation of the steering wheel with the desired change in direction of the vehicle results in a change in position of the image acquisition unit, so that a measurement error occurs when detecting the position of the driver, since an alignment of the recorded image data is not the actual orientation, d. H. the position of the driver relative to the steering wheel at a steering wheel angle of 0 ° corresponds. By changing the position of the image acquisition unit with respect to the reference line or the number of reference points, the steering wheel angle can be determined and thereby the measurement error can be corrected. In this case, the image capture unit functions in a particularly advantageous manner as a precise steering wheel angle sensor.

Dabei befindet sich die vorgegebene statische Referenzlinie oder die Anzahl der vorgegebenen statischen Referenzpunkte beispielsweise am Dachhimmel des Fahrzeuges oder an einer einem Fahrzeugsitz zugeordneten Kopfstütze.This is the default static reference line or the number of predetermined static reference points, for example, the headliner of the vehicle or on a vehicle seat associated headrest.

Dadurch, dass der Lenkradwinkel mittels der mindestens einen Bilderfassungseinheit und der statischen Referenzlinie oder der Anzahl von statischen Referenzpunkten ermittelt wird, können in Gewinn bringender Weise zusätzliche Sensoren zur Erfassung des Lenkradwinkels entfallen. Mittels des ermittelten Lenkradwinkels ist es möglich, sofern ein Übersetzungsverhältnis zwischen Lenkrad und vorderen Fahrzeugrädern bekannt ist, einen Lenkwinkel des Fahrzeuges zu ermitteln. Der somit ermittelte Lenkwinkel kann einem Fahrerassistenzsystem, beispielsweise einem elektronischen Stabilitätsprogramm, zugeführt werden, wodurch in Gewinn bringender Weise eine Anordnung eines Lenkwinkelsensors zur Erfassung des Lenkwinkels nicht erforderlich ist.By determining the steering wheel angle by means of the at least one image acquisition unit and the static reference line or the number of static reference points, additional sensors for detecting the steering wheel angle can be omitted in a profitable manner. By means of the determined steering wheel angle, it is possible, if a transmission ratio between the steering wheel and the front vehicle wheels is known to determine a steering angle of the vehicle. The thus determined steering angle can be supplied to a driver assistance system, for example an electronic stability program, whereby an arrangement of a steering angle sensor for detecting the steering angle is not required in a profit-making manner.

Alternativ dazu kann der Lenkradwinkel selbst dem Fahrerassistenzsystem zugeführt werden.Alternatively, the steering wheel angle itself can be supplied to the driver assistance system.

Mittels des erfindungsgemäßen Verfahrens ist es zum einen möglich, den Fahrer mittels der kopfnah angeordneten Bilderfassungseinheit zu beobachten und beispielsweise anhand seiner mittels der Bilderfassungseinheit erfassten Lidbewegungen einen Müdigkeitszustand zu ermitteln und zum anderen den Lenkradwinkel des Fahrzeuges zu ermitteln. Dabei wird zumindest das Gesicht des Fahrers im Betrieb des Fahrzeuges fortlaufend erfasst.By means of the method according to the invention, it is possible, on the one hand, to observe the driver by means of the image acquisition unit arranged near the head and, for example, to determine a state of tiredness on the basis of his eyelid movements detected by the image acquisition unit and, on the other hand, to determine the steering wheel angle of the vehicle. In this case, at least the face of the driver during operation of the vehicle is detected continuously.

Darüber hinaus ist es mittels der erfassten Bilddaten der mindestens einen Bilderfassungseinheit möglich, eine Position des Fahrers in Bezug auf das Lenkrad, die Richtung des Kopfes sowie die Blickrichtung des Fahrers zu ermitteln. Mittels dieser Kenntnis können entsprechende Vorrichtungen zur Erhöhung der aktiven und passiven Sicherheit wenigstens des Fahrers des Fahrzeuges optimiert angesteuert und aktiviert werden.Moreover, by means of the acquired image data of the at least one image acquisition unit, it is possible to determine a position of the driver with respect to the steering wheel, the direction of the head and the direction of view of the driver. By means of this knowledge, corresponding devices for increasing the active and passive safety of at least the driver of the vehicle can be optimally activated and activated.

Bei der mindestens einen Bilderfassungseinheit handelt es sich besonders bevorzugt um eine Weitwinkel-Miniaturkamera, vorzugsweise um eine so genannte Wafer-Level-Kamera. Eine derartige Bilderfassungseinheit weist vergleichsweise geringe Abmessungen und einen geringen Anschaffungspreis auf, wodurch sich die Wafer-Level-Kamera als Bilderfassungseinheit besonders für eine Integration insbesondere in den Pralltopf des Lenkrades eignet. Somit ist mit geringem Material-, Herstellungs- und Kostenaufwand eine Vorrichtung zur fortlaufenden Erfassung des Fahrers im Fahrbetrieb des Fahrzeuges realisierbar. Durch die geringe Größe und das geringe Gewicht der Bilderfassungseinheit ist eine Beeinträchtigung der Auslösung eines Fahrerairbags, welcher im Pralltopf des Lenkrades angeordnet ist, weitgehend vernachlässigbar.The at least one image acquisition unit is particularly preferably a wide-angle miniature camera, preferably a so-called wafer-level camera. Such an image acquisition unit has comparatively small dimensions and a low purchase price, as a result of which the wafer level camera as image acquisition unit is particularly suitable for integration, in particular into the baffle of the steering wheel. Thus, a device for continuous detection of the driver while driving the vehicle can be realized with low material, manufacturing and cost. Due to the small size and low weight of the image acquisition unit is a deterioration of the triggering of a driver's airbag, which is arranged in the baffle of the steering wheel, largely negligible.

In einer möglichen Ausgestaltung des erfindungsgemäßen Verfahrens kann zur Plausibilisierung des mittels des erfindungsgemäßen Verfahrens ermittelten Lenkradwinkels ein mittels eines herkömmlichen Lenkradwinkelsensors erfasster Lenkradwinkel herangezogen werden.In one possible embodiment of the method according to the invention, a steering wheel angle detected by means of a conventional steering wheel angle sensor can be used to check the plausibility of the steering wheel angle determined by means of the method according to the invention.

Sind an dem Lenkrad zwei Bilderfassungseinheiten in einer Stereoanordnung angeordnet, so können in vorteilhafter Weise Tiefeninformationen hinsichtlich der aufgenommenen Bilddaten bestimmt werden, wodurch ein Abstand zwischen Fahrer, insbesondere zwischen seinem Kopf und dem Lenkrad ermittelt wird. Dazu werden die Tiefeninformationen bevorzugt mittels eines Stereoanalyseverfahrens bestimmt.If two image acquisition units are arranged in a stereo arrangement on the steering wheel, it is advantageously possible to determine depth information with regard to the recorded image data, whereby a distance between the driver, in particular between his head and the steering wheel, is determined. For this purpose, the depth information is preferably determined by means of a stereo analysis method.

Besonders bevorzugt wird der ermittelte Abstand einer automatischen Ansteuerung des Fahrerairbags, einer automatischen Positionierung eines Fahrersitzes und/oder einer automatischen Positionierung von im und am Fahrzeug angeordneten Spiegeln zugrunde gelegt. Vorzugsweise können durch die Ermittlung des Abstandes zwischen Fahrer und Lenkrad in Bezug auf den Fahrer-Airbag Entfaltungsparameter festgelegt werden.Particularly preferably, the determined distance is based on an automatic actuation of the driver's airbag, an automatic positioning of a driver's seat and / or an automatic positioning of mirrors arranged in and on the vehicle. Preferably, deployment parameters may be determined by determining the distance between the driver and the steering wheel with respect to the driver's airbag.

Dadurch, dass die Bilderfassungseinheit an dem Lenkrad angeordnet ist, besteht die Gefahr, dass der Fahrer mittels seiner Hände die Bilderfassungseinheit verdeckt. Hierzu sieht das erfindungsgemäße Verfahren in besonders vorteilhafter Weise vor, dass bei Verdeckung wenigstens einer Bilderfassungseinheit ein Warnhinweis an den Fahrer ausgegeben wird. Dabei wird die Verdeckung mittels der erfassten Bilddaten bestimmt, so dass der Warnhinweis generiert und an den Fahrer ausgegeben wird. Dabei wird der Warnhinweis als optisches, akustisches und/oder haptisches Warnsignal ausgegeben, so dass der Fahrer auf die Verdeckung aufmerksam gemacht wird. Vorzugsweise kann der Warnhinweis zusätzlich auch wenigstens bei einer Störung der mindestens einen Bilderfassungseinheit ausgegeben werden.The fact that the image acquisition unit is arranged on the steering wheel, there is a risk that the driver covered by means of his hands, the image capture unit. For this purpose, the method according to the invention provides in a particularly advantageous manner that, when at least one image acquisition unit is covered, a warning is issued to the driver. In this case, the occlusion is determined by means of the acquired image data, so that the warning is generated and output to the driver. In this case, the warning is issued as an optical, audible and / or haptic warning signal, so that the driver is made aware of the occlusion. In addition, the warning may preferably also be output at least in the event of a malfunction of the at least one image acquisition unit.

Um die Verdeckung der Bilderfassungseinheit durch den Fahrer zu vermeiden, ist die wenigstens eine Bilderfassungseinheit in einer alternativen Ausführungsform so an dem Lenkrad angeordnet, dass eine Verdeckung weitgehend ausgeschlossen ist. Eine weitere Alternative zur Verhinderung, dass der Fahrer nicht fortlaufend erfasst wird, ist, mehrere redundante Bilderfassungseinheiten vorzusehen, so dass bei Verdeckung der einen Bilderfassungseinheit eine weitere Bilderfassungseinheit zur Erfassung des Fahrers aktiviert wird.In order to avoid the masking of the image acquisition unit by the driver, the at least one image acquisition unit is arranged on the steering wheel in an alternative embodiment in such a way that masking is largely precluded. Another alternative for preventing the driver from being continuously detected is to provide a plurality of redundant image capture units, such that when one image capture unit is obscured, another image capture unit is activated to capture the driver.

Eine Vorrichtung zur Beobachtung des Fahrers des Fahrzeuges weist die mindestens eine Bilderfassungseinheit auf, deren Erfassungsbereich in Richtung des Gesichts des Fahrers ausgerichtet ist, wobei die Bilderfassungseinheit mit einer Steuereinheit zur Auswertung erfasster Bilddaten verbunden ist, so dass mittels der Steuereinheit eine Lageänderung der Bilderfassungseinheit relativ zu der im Fahrzeuginnenraum vorgegebenen statischen Referenzlinie oder zu der Anzahl vorgegebener statischer Referenzpunkte ermittelbar ist und aus der ermittelten Lageänderung ein Lenkradwinkel bestimmbar ist. A device for monitoring the driver of the vehicle has the at least one image acquisition unit, the detection range of which is aligned in the direction of the driver's face, wherein the image acquisition unit is connected to a control unit for evaluating acquired image data, such that a position change of the image acquisition unit relative to the predetermined in the vehicle interior static reference line or the number of predetermined static reference points can be determined and from the determined change in position, a steering wheel angle can be determined.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.

Dabei zeigt:Showing:

1 schematisch in einer Ansicht einen Ausschnitt eines Fahrzeuginnenraumes mit einem Lenkrad und einer an einem Pralltopf angeordneten Kamera. 1 schematically in a view a section of a vehicle interior with a steering wheel and a camera arranged on a baffle pot.

In der einzigen Figur ist ein Ausschnitt eines Fahrzeuginnenraumes1 mit einem auf einen Fahrersitz1.1 sitzenden Fahrer2 und ein Lenkrad1.2 in einer Draufsicht dargestellt.In the single figure is a section of avehicle interior 1 with one on a driver's seat 1.1 seateddriver 2 and a steering wheel 1.2 shown in a plan view.

Das Lenkrad1.2 weist einen Lenkradkranz1.2.1 auf, der mittels einer Anzahl von Lenkradspeichen1.2.2 mit einem mittig angeordneten Pralltopf1.2.3, welcher auch als Lenkradtopf bezeichnet wird, verbunden ist.The steering wheel 1.2 has a steering wheel rim 1.2.1 on, by means of a number of steering wheel spokes 1.2.2 with a centrally located baffle 1.2.3 , which is also referred to as Lenkradtopf connected.

Das Lenkrad1.2 ist Bestandteil der Lenkung des Fahrzeuges, wobei durch Drehung des Lenkrades1.2 durch den Fahrer2 des Fahrzeuges eine Richtungsänderung im Fahrbetrieb des Fahrzeuges bewirkt wird, wobei das Lenkrad1.2 hierzu über ein Gestänge mit den vorderen Fahrzeugrädern verbunden ist.The steering wheel 1.2 is part of the steering of the vehicle, whereby by rotation of the steering wheel 1.2 by thedriver 2 the vehicle is a direction change in the driving operation of the vehicle is effected, wherein the steering wheel 1.2 this is connected via a linkage with the front vehicle wheels.

In dem Pralltopf1.2.3 des Lenkrades1.2 ist ein nicht näher dargestellter Airbag, der so genannte Fahrerairbag angeordnet.In the baffle 1.2.3 of the steering wheel 1.2 is an unillustrated airbag, the so-called driver's airbag arranged.

Um eine aktive und passive Sicherheit zumindest des Fahrers2 des Fahrzeuges mittels entsprechend ansteuerbarer Vorrichtungen zu erhöhen, ist es vorteilhaft, die Position des Fahrers2, seine Kopf- und seine Blickrichtung zu ermitteln. Hierzu sind in den Pralltopf1.2.3 des Fahrzeuges zwei Bilderfassungseinheiten3 integriert.To ensure active and passive safety of at least thedriver 2 of the vehicle by means of appropriately controllable devices, it is advantageous to the position of thedriver 2 to determine his head and eye direction. For this purpose are in the baffle 1.2.3 of the vehicle twoimage acquisition units 3 integrated.

Bei den Bilderfassungseinheiten3 handelt es sich um weitwinklige Miniaturkameras, insbesondere Wafer-Level-Kameras. Eine solche Bilderfassungseinheit3 weist ein nicht näher gezeigtes Substrat auf, auf welcher eine optische Linse befestigt ist, wobei das Substrat kreisrund oder quadratisch ausgebildet ist und vergleichsweise geringe Abmessungen aufweist. Durch die geringen Abmessungen und das geringe Gewicht derartiger Bilderfassungseinheiten3 sind diese ohne großen Aufwand und vergleichsweise kostengünstig in den Pralltopf1.2.3 integrierbar.In theimage acquisition units 3 These are wide-angle miniature cameras, especially wafer-level cameras. Such animage capture unit 3 has a substrate, not shown in detail on which an optical lens is mounted, wherein the substrate is circular or square and has comparatively small dimensions. Due to the small dimensions and the low weight of suchimage acquisition units 3 These are inexpensive and relatively inexpensive in the baffle pot 1.2.3 integrated.

Dabei ist ein Erfassungsbereich E der jeweiligen Bilderfassungseinheiten3 in Richtung eines Gesichts2.1 des Fahrers2 ausgerichtet, so dass die Position des Fahrers2, dessen Kopf- und Blickrichtung erfasst werden.In this case, a detection area E of the respectiveimage detection units 3 in the direction of a face 2.1 thedriver 2 aligned, so that the position of thedriver 2 whose head and eye direction are detected.

Die Bilderfassungseinheiten3 sind drahtlos oder drahtgebunden mit einer nicht gezeigten Steuereinheit gekoppelt, mittels welcher von den Bilderfassungseinheiten3 aufgenommene Bilddaten ausgewertet werden.Theimage capture units 3 are wireless or wired coupled to a control unit, not shown, by means of which of theimage acquisition units 3 recorded image data are evaluated.

Die Bilderfassungseinheiten3 sind in einer so genannten Stereoanordnung in den Pralltopf1.2.3 integriert, so dass Tiefeninformationen der aufgenommenen Bilddaten bestimmt werden können.Theimage capture units 3 are in a so-called stereo arrangement in the baffle 1.2.3 integrated, so that depth information of the recorded image data can be determined.

Mittels der Bilderfassungseinheiten3 werden Bilddaten des Fahrers2 im Fahrbetrieb des Fahrzeuges aufgenommen und in der Steuereinheit verarbeitet und ausgewertet. Dabei werden die Position des Fahrers2, die Kopf- und die Blickrichtung ermittelt. Weiterhin kann durch die im Fahrbetrieb fortlaufende Erfassung des Fahrers2 auch ein Müdigkeitszustand ermittelt werden, wobei dazu beispielsweise eine Lidbewegung des Fahrers2 fortlaufend erfasst und in der Steuereinheit ausgewertet wird.By means ofimage acquisition units 3 be image data of thedriver 2 taken while driving the vehicle and processed and evaluated in the control unit. This will be the position of thedriver 2 detecting head and eye direction. Furthermore, by the continuous driving while detecting thedriver 2 also a state of fatigue can be determined, for example, a lid movement of thedriver 2 continuously recorded and evaluated in the control unit.

Mittels der Tiefeninformationen, die aus den aufgenommenen Bilddaten bestimmt wird, wird ein Abstand a zwischen dem Fahrer2 und dem Lenkrad1.2 ermittelt, wodurch mittels der Steuereinheit beispielsweise Entfaltungsparameter des Fahrerairbags vorgegeben werden können.By means of the depth information, which is determined from the recorded image data, a distance a between thedriver 2 and the steering wheel 1.2 determined, which can be specified by the control unit, for example, deployment parameters of the driver's airbag.

Darüber hinaus können mittels der Steuereinheit eine Sitzeinstellung des Fahrersitzes1.1, Positionen von nicht näher gezeigten im und am Fahrzeug angeordneten Spiegeln und/oder virtuellen Spiegeln in Form von Kameras durch die Kenntnis der Position des Fahrers2, die Kopf- und die Blickrichtung automatisch angepasst, d. h. eingestellt werden.In addition, by means of the control unit, a seat adjustment of the driver's seat 1.1 Positions of not shown in and arranged on the vehicle mirrors and / or virtual mirrors in the form of cameras by the knowledge of the position of thedriver 2 , the head and eye direction automatically adjusted, ie adjusted.

In einer Geradeausstellung der vorderen Fahrzeugräder beträgt ein Lenkwinkel des Fahrzeuges und somit auch ein Lenkradwinkel 0°. In dieser Nullstellung des Lenkrades1.2 wird die Position des Fahrers2 mittels der Bilderfassungseinheiten3 relativ zu dem Lenkrad1.2 direkt erfasst.In a straight-ahead position of the front vehicle wheels, a steering angle of the vehicle and thus also a steering wheel angle is 0 °. In this zero position of the steering wheel 1.2 becomes the position of thedriver 2 by means of theimage acquisition units 3 relative to the steering wheel 1.2 recorded directly.

Führt der Fahrer2 eine Lenkbewegung durch, ändert sich der Lenkradwinkel und dadurch eine Lage der Bilderfassungseinheiten3, die sich entsprechend der Lenkbewegung mitdrehen. Durch die Lageänderung der Bilderfassungseinheiten3 tritt bei Erfassung der Position des Fahrers2 ein Messfehler auf. Der Messfehler äußert sich dahingehend, dass die Position des Fahrers2 im erfassten Bild nicht mehr der Position des Fahrers2 in der Nullstellung des Lenkrades1.2 entspricht.Leads the driver 2 a steering movement through, the steering wheel angle and thereby a position of the image sensing units changes 3 , which turn according to the steering movement. Due to the change in position of theimage acquisition units 3 occurs upon detection of the position of the driver 2 a measurement error. The measurement error manifests itself in that the position of thedriver 2 in the captured image no longer the driver'sposition 2 in the zero position of the steering wheel 1.2 equivalent.

Um den durch die Lageänderung der Bilderfassungseinheiten3 auftretenden Messfehler in Bezug auf die Position des Fahrers2 relativ zu dem Lenkrad1.2 zu korrigieren, ist im Fahrzeuginnenraum1 eine nicht näher dargestellte stationäre Referenzlinie oder eine Anzahl von stationären Bezugspunkten vorgegeben. Beispielsweise befindet sich die Referenzlinie oder die Anzahl der Referenzpunkte an einem Dachhimmel oder an einer Kopfstütze eines Fahrzeugsitzes. Diese stationäre Referenzlinie oder die stationären Referenzpunkte dient bzw. dienen als Markierung, um den Lenkradwinkel und somit die Lageänderung der Bilderfassungseinheiten3 zu ermitteln, wobei die Lageänderung dem momentanen Lenkradwinkel entspricht. Durch die momentane Lage der Bilderfassungseinheit3 relativ zu der Referenzlinie oder den Referenzpunkten als Markierung ist der momentane Lenkradwinkel ermittelbar, wodurch die erfasste Position des Fahrers2 relativ zu dem Lenkrad1.2 korrigierbar ist.To the by the change in position of theimage acquisition units 3 occurring measurement error with respect to the position of thedriver 2 relative to the steering wheel 1.2 to correct, is in the vehicle interior 1 a stationary reference line, not shown, or a number of stationary reference points. For example, the reference line or the number of reference points is located on a headliner or on a headrest of a vehicle seat. This stationary reference line or the stationary reference points serve as markings, around the steering wheel angle and thus the change in position of theimage acquisition units 3 to determine, wherein the change in position corresponds to the current steering wheel angle. Due to the current position of theimage acquisition unit 3 relative to the reference line or the reference points as a marker, the current steering wheel angle is determined, whereby the detected position of thedriver 2 relative to the steering wheel 1.2 is correctable.

Mittels des ermittelten Lenkradwinkels und eines bekannten Übersetzungsverhältnises zwischen Lenkrad1.2 und vorderen Fahrzeugrädern ist ein Lenkwinkel des Fahrzeuges ermittelbar, der beispielsweise einer Steuereinheit eines Fahrerassistenzsystems, beispielsweise einem elektronischen Stabilitätsprogramm zugeführt werden kann. Somit ist die Anordnung eines Lenkwinkelsensors zur Erfassung des Lenkwinkels des Fahrzeuges nicht erforderlich.By means of the determined steering wheel angle and a known transmission ratio between the steering wheel 1.2 and front vehicle wheels, a steering angle of the vehicle can be determined, for example, a control unit of a driver assistance system, for example, an electronic stability program can be supplied. Thus, the arrangement of a steering angle sensor for detecting the steering angle of the vehicle is not required.

Um den mittels der Lageänderung der Bilderfassungseinheiten3 ermittelten Lenkradwinkel auf seine Genauigkeit hin zu überprüfen, kann ein, sofern an dem Fahrzeug ein Lenkradwinkelsensor angeordnet ist, mittels des Lenkradwinkelsensors erfasster Lenkradwinkel herangezogen werden, um die erfasste Position des Fahrers2 relativ zu dem Lenkrad1.2 zu korrigieren.To that by means of the change in position of theimage acquisition units 3 If the determined steering wheel angle is checked for accuracy, a steering wheel angle detected by the steering wheel angle sensor can be used, if the steering wheel angle sensor is arranged on the vehicle, to determine the detected position of thedriver 2 relative to the steering wheel 1.2 to correct.

Dadurch, dass die Bilderfassungseinheiten3 in das Lenkrad1.2 integriert sind, besteht die Gefahr, dass der Fahrer2 im Betrieb des Fahrzeuges zumindest eine der Bilderfassungseinheiten3 mit seinen Händen2.2 verdeckt, so dass es nicht möglich ist, fortlaufend Bilddaten des Fahrers2 zu erfassen. Um zu vermeiden, dass der Fahrer2 die Bilderfassungseinheit3 über einen längeren Zeitraum verdeckt, ist vorgesehen, bei Verdeckung zumindest einer der Bilderfassungseinheiten3 einen Warnhinweis zu generieren und an den Fahrer2 auszugeben. Dabei wird das Verdecken mittels der erfassten Bilddaten detektiert, wobei z. B. die vorgegebene stationäre Referenzlinie oder die vorgegebene Anzahl stationärer Referenzpunkte in den aufgenommenen Bilddaten nicht mehr erfasst wird.Due to the fact that theimage acquisition units 3 in the steering wheel 1.2 are integrated, there is a risk that thedriver 2 during operation of the vehicle at least one of theimage capture units 3 with his hands 2.2 obscured, so that it is not possible to continuously image data of thedriver 2 capture. To avoid thedriver 2 theimage capture unit 3 is hidden over a longer period, is provided, if at least one of theimage capture units 3 to generate a warning and to thedriver 2 issue. In this case, the masking is detected by means of the acquired image data, wherein z. B. the predetermined stationary reference line or the predetermined number of stationary reference points in the recorded image data is no longer detected.

Der Warnhinweis wird als optisches, akustisches und/oder haptisches Warnsignal an den Fahrer2 ausgegeben, wobei der Fahrer2 mittels des Warnsignals darauf hingewiesen wird, dass zumindest eine der beiden Bilderfassungseinheiten3 verdeckt ist. Zusätzlich kann das Warnsignal auch ausgegeben werden, wenn beispielsweise hinsichtlich der Bilderfassungseinheiten3 und/oder der Steuereinheit Störungen auftreten.The warning message is sent to the driver as a visual, audible and / orhaptic warning signal 2 issued, thedriver 2 is indicated by means of the warning signal that at least one of the twoimage acquisition units 3 is covered. In addition, the warning signal can also be output when, for example, with regard to theimage acquisition units 3 and / or the control unit malfunctions occur.

Alternativ zur Ausgabe des Warnhinweises bei Verdeckung zumindest einer der beiden Bilderfassungseinheiten3 können diese auch an Positionen des Lenkrades1.2 angeordnet sein, bei denen ein Verdecken durch den Fahrer weitestgehend ausgeschlossen ist.Alternatively to the output of the warning when masking at least one of the twoimage acquisition units 3 These can also be at positions of the steering wheel 1.2 be arranged in which a cover by the driver is largely excluded.

Auch können mehrere redundante Bilderfassungseinheiten3 an dem Lenkrad1.2 angeordnet, d. h. in das Lenkrad integriert sein, so dass bei Verdecken einer Bilderfassungseinheit3 eine weitere Bilderfassungseinheit3 aktiviert wird, wodurch eine fortlaufende Erfassung des Fahrers2 weitgehend sichergestellt ist.Also, multiple redundantimage capture units 3 on the steering wheel 1.2 arranged, ie integrated into the steering wheel, so that when covering animage acquisition unit 3 anotherimage capture unit 3 is activated, creating a continuous detection of thedriver 2 is largely ensured.

Mittels des erfindungsgemäßen Verfahrens und der Vorrichtung ist eine Lösung geschaffen, mittels derer die aktive und passive Sicherheit zumindest des Fahrers2 des Fahrzeuges durch eine optimierte Ansteuerung entsprechender Vorrichtungen auf Grundlage der erfassten Position des Fahrers2 erhöht wird. Darüber hinaus ist mittels der Lageänderung der Bilderfassungseinheit durch eine Lenkbewegung der Lenkwinkel ermittelbar.By means of the method and the device according to the invention, a solution is created by means of which the active and passive safety of at least thedriver 2 of the vehicle by optimally driving corresponding devices based on the detected position of thedriver 2 is increased. In addition, by means of the change in position of the image acquisition unit by a steering movement of the steering angle can be determined.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11

FahrzeuginnenraumVehicle interior

1.11.1

Fahrersitzdriver's seat

1.21.2

Lenkradsteering wheel

1.2.11.2.1

Lenkradkranzsteering wheel rim

1.2.21.2.2

Lenkradspeichesteering wheel spoke

1.2.31.2.3

Pralltopfimpact absorber

22

Fahrerdriver

2.12.1

Gesichtface

2.22.2

Handhand

33

BilderfassungseinheitImage capture unit

Ee

Erfassungsbereichdetection range

aa

Abstanddistance

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• EP 1838550 B1[0002]EP 1838550 B1[0002]
• US 2010/0002075 A1[0003]US 2010/0002075 A1[0003]
• JP 2009-208561 A[0004]JP 2009-208561 A[0004]

Claims (10)

Translated fromGerman

Verfahren zur Beobachtung eines Fahrers (2) eines Fahrzeuges mittels mindestens einer an einem Lenkrad (1.2) angeordneten Bilderfassungseinheit (3),dadurch gekennzeichnet, dass mittels erfasster Bilddaten eine aus einer Lenkbewegung resultierende Lageänderung der Bilderfassungseinheit (3) relativ zu einer im Fahrzeuginnenraum (1) vorgegebenen statischen Referenzlinie oder relativ zu einer im Fahrzeuginnenraum (1) vorgegebenen Anzahl von statischen Referenzpunkten ermittelt wird, anhand derer ein Lenkradwinkel bestimmt wird.Method for monitoring a driver ( 2 ) of a vehicle by means of at least one on a steering wheel ( 1.2 ) image capture unit ( 3 ),characterized in that by means of detected image data a change in position of the image acquisition unit resulting from a steering movement ( 3 ) relative to a vehicle interior ( 1 ) predetermined static reference line or relative to a vehicle interior ( 1 ) predetermined number of static reference points is determined, based on which a steering wheel angle is determined.Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei Anordnung von zwei Bilderfassungseinheiten (3) ein Abstand (a) zwischen dem Fahrer (2) und dem Lenkrad (1.2) ermittelt wird.Method according to claim 1, characterized in that when two image acquisition units ( 3 ) a distance (a) between the driver ( 2 ) and the steering wheel ( 1.2 ) is determined.Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der ermittelte Abstand (a) einer automatischen Ansteuerung eines Fahrerairbags, einer automatischen Positionierung eines Fahrersitzes (1.1) und/oder einer automatischen Positionierung von im und am Fahrzeug angeordneten Spiegeln zugrunde gelegt wird.A method according to claim 2, characterized in that the determined distance (a) of an automatic control of a driver's airbag, an automatic positioning of a driver's seat ( 1.1 ) and / or an automatic positioning of arranged in and on the vehicle mirrors is based.Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer Verdeckung wenigstens einer Bilderfassungseinheit (3) ein Warnhinweis an den Fahrer (2) ausgegeben wird.Method according to one of the preceding claims, characterized in that, in the case of concealment of at least one image acquisition unit ( 3 ) a warning to the driver ( 2 ) is output.Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Warnhinweis als optisches, akustisches und/oder haptisches Warnsignal ausgegeben wird.A method according to claim 4, characterized in that the warning is issued as an optical, audible and / or haptic warning signal.Vorrichtung zur Beobachtung eines Fahrers (2) eines Fahrzeuges mit einem Lenkrad (1.2), wobei mindestens eine Bilderfassungseinheit (3) an oder mittelbar zu einem Pralltopf (1.2.3) des Lenkrades (1.2) angeordnet ist und ein Erfassungsbereich (E) der mindestens einen Bilderfassungseinheit (3) in Richtung eines Gesichts (2.1) des Fahrers (2) ausgerichtet ist, wobei die mindestens eine Bilderfassungseinheit (3) mit einer Steuereinheit zur Auswertung erfasster Bilddaten verbunden ist, dadurch gekennzeichnet, dass mittels der Steuereinheit anhand der erfassten Bilddaten eine Lageänderung der Bilderfassungseinheit (3) relativ zu einer im Fahrzeuginnenraum (1) vorgegebenen statischen Referenzlinie oder relativ zu einer vorgegebenen Anzahl von statischen Referenzpunkten ermittelbar ist und aus der ermittelten Lageänderung ein Lenkradwinkel bestimmbar ist.Device for monitoring a driver ( 2 ) of a vehicle with a steering wheel ( 1.2 ), wherein at least one image acquisition unit ( 3 ) or indirectly to a baffle pot ( 1.2.3 ) of the steering wheel ( 1.2 ) and a detection area (E) of the at least one image capture unit ( 3 ) in the direction of a face ( 2.1 ) of the driver ( 2 ), wherein the at least one image acquisition unit ( 3 ) is connected to a control unit for evaluating acquired image data, characterized in that by means of the control unit based on the acquired image data, a change in position of the image acquisition unit ( 3 ) relative to a vehicle interior ( 1 ) predetermined static reference line or relative to a predetermined number of static reference points can be determined and from the determined change in position, a steering wheel angle can be determined.Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die mindestens eine Bilderfassungseinheit (3) eine Weitwinkel-Miniaturkamera ist.Apparatus according to claim 6, characterized in that the at least one image acquisition unit ( 3 ) is a wide-angle miniature camera.Vorrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die mindestens eine Bilderfassungseinheit (3) eine Wafer-Level-Kamera ist.Apparatus according to claim 6 or 7, characterized in that the at least one image capture unit ( 3 ) is a wafer-level camera.Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Bilderfassungseinheit (3) in das Lenkrad (1.2) integriert ist.Device according to one of the preceding claims, characterized in that the at least one image acquisition unit ( 3 ) in the steering wheel ( 1.2 ) is integrated.Vorrichtung nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass eine Ausgabeeinheit vorgesehen ist, mittels derer ein Warnhinweis bei Verdeckung wenigstens einer Bilderfassungseinheit (3) ausgebbar ist.Device according to one of claims 6 to 9, characterized in that an output unit is provided, by means of which a warning when masking at least one image capture unit ( 3 ) is dispensable.

Images