Movatterモバイル変換


[0]ホーム

URL:


DE102013005342A1 - Motor vehicle control device has viewing direction sensor such as position sensor that is arranged at augmented reality glasses, to detect movements of head - Google Patents

Motor vehicle control device has viewing direction sensor such as position sensor that is arranged at augmented reality glasses, to detect movements of head
Download PDF

Info

Publication number
DE102013005342A1
DE102013005342A1DE201310005342DE102013005342ADE102013005342A1DE 102013005342 A1DE102013005342 A1DE 102013005342A1DE 201310005342DE201310005342DE 201310005342DE 102013005342 ADE102013005342 ADE 102013005342ADE 102013005342 A1DE102013005342 A1DE 102013005342A1
Authority
DE
Germany
Prior art keywords
motor vehicle
head unit
augmented reality
information
viewing direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201310005342
Other languages
German (de)
Inventor
Stefan Franz
Lars Krüger
Roland Schweiger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AGfiledCriticalDaimler AG
Priority to DE201310005342priorityCriticalpatent/DE102013005342A1/en
Publication of DE102013005342A1publicationCriticalpatent/DE102013005342A1/en
Withdrawnlegal-statusCriticalCurrent

Links

Images

Classifications

Landscapes

Abstract

The motor vehicle control device has head unit and augmented reality glasses with display, which is operatively connected to the head unit. A viewing direction sensor is configured to detect movements of the head. The viewing direction sensor is a position sensor arranged at augmented reality glasses. The augmented reality glasses and the head unit are communicatively connected with each other via a wireless connection such as short-range radio link or an optical link. Independent claims are included for the following: (1) motor vehicle; and (2) motor vehicle control method.

Description

Translated fromGerman

Die Erfindung betrifft eine Kraftfahrzeugbedienvorrichtung, ein Kraftfahrzeug mit einer solchen Kraftfahrzeugbedienvorrichtung und ein Kraftfahrzeugbedienverfahren.The invention relates to a motor vehicle operating device, a motor vehicle having such a motor vehicle operating device and a motor vehicle operating method.

Die Menge an Informationen, die dem Fahrer eines Kraftfahrzeugs mittlerweile präsentiert werden kann, kommt an die Grenzen oder übersteigt die Möglichkeiten konventioneller Anzeigekonzepte. Zu den streng fahrzeugbezogenen Informationen ist durch konsequente Aufrüstung der Sensorik zusammen mit dem gesteigerten Funktionsumfang (Sicherheits-, Assistenz- und Komfortsysteme) auch die zu vermittelnde Menge an Informationen gestiegen. Gleichzeitig ist der Wunsch, den Fahrer ohne Ablenkung vom Verkehrsgeschehen mit möglichst vielen Informationen zu versorgen höher denn je. Neben fahrzeugbezogenen Warnhinweisen sollen auch Kurznachrichten, Mails und Informationen aus Social-Networks angezeigt werden können. Neben klassischen Anzeigeinstrumenten besteht mit Displays im Kombiinstrument und/oder in der Mittelkonsole bereits die Möglichkeit, multimediale Darstellungen anzuzeigen und die Anzeigen benutzerspezifisch zu konfigurieren. Hierbei sind jedoch sowohl die Displaypositionierung als auch die Displaygröße an starke Randbedingungen hinsichtlich Design und Bauraum geknüpft. Besonders ausschließlich darstellende Systeme, die auf große und hochauflösende Displays angewiesen sind, können oft nicht so umgesetzt werden, wie es für eine optimale Benutzerinteraktion wünschenswert wäre. Daher wurde vorgeschlagen Head-Mounted-Displays zur Informationsanzeige im Kraftfahrzeug einzusetzen. Insbesondere sind so genannte Augmented-Reality-Brillen vorteilhaft, die die simultane Wahrnehmung eines Displayinhalts und der Realität erlauben.The amount of information that can now be presented to the driver of a motor vehicle, comes to the limits or exceeds the possibilities of conventional display concepts. In addition to the strictly vehicle-related information, the rigorous upgrading of the sensors together with the increased functionality (safety, assistance and comfort systems) has increased the amount of information that has to be conveyed. At the same time, the desire to provide the driver with as much information as possible without distraction from the traffic is higher than ever. In addition to vehicle-related warnings also short messages, mails and information from social networks can be displayed. In addition to classic display instruments, displays in the instrument cluster and / or in the center console can already be used to display multimedia presentations and configure the displays in a user-specific manner. Here, however, both the display positioning and the display size are linked to strong boundary conditions in terms of design and space. Especially dedicated systems, which rely on large and high-resolution displays, often can not be implemented as would be desirable for optimal user interaction. Therefore, it has been proposed to use head-mounted displays for displaying information in the motor vehicle. In particular, so-called augmented reality glasses are advantageous, which allow the simultaneous perception of a display content and reality.

So betrifft dieEP 1 990 674 A1 ein kopfgebundenes Anzeigesystem, das insbesondere für die Verwendung im Kraftfahrzeug bestimmt ist und als zentrale Komponente eine Displaybrille aufweist. Das Kraftfahrzeug hat Außenbereichssensoren, die mit einer Datenverarbeitungsvorrichtung verbunden sind. Die Displaybrille ist kommunikativ mit der Datenverarbeitungseinheit verbunden, wobei Daten der Außenbereichssensoren in der Displaybrille angezeigt werden. Zusätzlich können der Ansicht Fahrzeuginformationen überlagert werden, beispielsweise über den Ölstand, Motortemperatur und/oder die aktuelle Geschwindigkeit. Darüber hinaus kann ein Blickrichtungssensor fest am Kraftfahrzeug angeordnet sein, mit dem größere Kopfbewegungen detektierbar sind. An der Brille kann ein weiterer Blickrichtungssensor angeordnet sein, der Augenbewegungen des Benutzers detektiert. Die Blickrichtungsdaten können verwendet werden, um in Abhängigkeit der Blickrichtung unterschiedliche Informationen im Display anzuzeigen.So concerns theEP 1 990 674 A1 a head-mounted display system, which is intended in particular for use in motor vehicles and has as a central component display glasses. The motor vehicle has outside area sensors connected to a data processing device. The display glasses are communicatively connected to the data processing unit, with data from the outdoor sensors being displayed in the display glasses. In addition, the view can be overlaid with vehicle information, for example about the oil level, engine temperature and / or the current speed. In addition, a viewing direction sensor can be fixedly arranged on the motor vehicle, with which larger head movements can be detected. On the glasses, another viewing direction sensor can be arranged, which detects eye movements of the user. The viewing direction data can be used to display different information in the display depending on the viewing direction.

Ausgehend von diesem Stand der Technik ist es Aufgabe der vorliegenden Erfindung, das durch Blickrichtungsänderungen des Benutzers veranlasste Bedienen des Kraftfahrzeugs zu verbessern ohne oder möglichst wenig Einbauten im Fahrzeuginnenraum vorzusehen.Based on this prior art, it is an object of the present invention to improve the eye caused by changing the direction of the user operating the motor vehicle without or provide as little as possible installations in the vehicle interior.

Diese Aufgabe wird mit Hilfe einer Kraftfahrzeugbedienvorrichtung mit den Merkmalen des Anspruchs 1 gelöst.This object is achieved by means of a motor vehicle operating device having the features ofclaim 1.

Ferner ergibt sich die Aufgabe, ein Kraftfahrzeug zu schaffen, das durch Blickrichtungsänderungen des Benutzers optimal und ohne den Fahrer wesentlich zu stören bedient werden kann.Furthermore, the task results to create a motor vehicle that can be operated optimally and without disturbing the driver by changing the gaze direction of the user.

Diese Aufgabe wird durch ein Kraftfahrzeug mit den Merkmalen des Anspruchs 3 gelöst.This object is achieved by a motor vehicle having the features ofclaim 3.

Schließlich ergibt sich noch die Aufgabe, ein Kraftfahrzeugbedienverfahren zu schaffen, das es ermöglicht, ein solches Kraftfahrzeug intuitiver als bisher zu bedienen.Finally, there is the object of providing a motor vehicle operating method which makes it possible to operate such a motor vehicle more intuitively than before.

Diese Aufgabe wird durch ein Kraftfahrzeugbedienverfahren mit den Merkmalen des Anspruchs 5 gelöst.This object is achieved by a motor vehicle operating method with the features of claim 5.

Weiterbildungen der Vorrichtungen und des Verfahrens sind jeweils in den Unteransprüchen ausgeführt.Further developments of the devices and the method are each carried out in the subclaims.

Die erfindungsgemäße Kraftfahrzeugbedienvorrichtung umfasst in einer ersten Ausführungsform eine Head-Unit, eine oder mehrere Augmented-Reality-Brille(n), die wenigstens ein Display hat/haben und die operativ mit der Head-Unit verbunden ist/sind. Ferner weist die Kraftfahrzeugbedienvorrichtung einen Blickrichtungssensor auf, der zum Erfassen von Kopfbewegungen vorgesehen ist und der ein an der Augmented-Reality-Brille angeordneter Lagesensor ist.The motor vehicle operating device according to the invention comprises, in a first embodiment, a head unit, one or more augmented reality goggles having / having at least one display and being operatively connected to the head unit. Furthermore, the motor vehicle operating device has a viewing direction sensor which is provided for detecting head movements and which is a position sensor arranged on the augmented reality glasses.

Die Head-Unit ist die Datenverarbeitungsvorrichtung des Infotainmentsystems, in der Sensorsignale verarbeitet und Ausgabesignale erzeugt werden. Beispielsweise werden dort Anwendungen zur Navigation und/oder der Parkassistent ausgeführt. Die „Augmented-Reality-Brille” ist im Sinne der Erfindung zu verstehen als eine Brille, die zumindest ein Display zur Informationsanzeige und den Lagesensor aufweist, der dazu geeignet ist, die Relativposition und die Ausrichtung bzw. Neigung der Brille im Fahrzeug mit zu erfassen. Solche Sensoren sind beispielsweise Beschleunigungssensoren und/oder Sensoren, deren Position durch Funkortung bestimmt werden kann, wobei die Lage der Brille dann unter Verwendung mehrerer solcher Sensoren bestimmt werden kann. Im Gegensatz zu bekannten Kraftfahrzeugbedienvorrichtung, die auch die Bedienung mit einer Augmented-Reality-Brille kennen, ist erfindungsgemäß zur Lagebestimmung der Brille kein separater kraftfahrzeuggebundener Lagesensor, etwa eine auf dem Armaturenbrett oder im Spiegeldreieck montierte Kamera, nötig; die Sensorik ist vollständig der Brille zugeordnet. Daher ist es möglich, die erfindungsgemäße Kraftfahrzeugbedienvorrichtung sehr unauffällig in den Kraftfahrzeuginnenraum einzubauen. Ferner ist es auch möglich, dass nicht nur der Fahrer eine mit der Head-Unit gekoppelte Augmented-Reality-Brille verwendet, sondern beispielsweise auch Mitfahrer auf der Rückbank. Auch dort kann die Position und Neigung der Brille vorteilhaft erfasst werden, ohne dass dazu zusätzliche Kameras oder ähnliche Erfassungsvorrichtungen auf den Brillenträger gerichtet sein müssten.The head unit is the data processing device of the infotainment system, in which sensor signals are processed and output signals are generated. For example, applications for navigation and / or the parking assistant are executed there. Within the meaning of the invention, the "augmented reality glasses" are to be understood as spectacles which have at least one display for displaying information and the position sensor which is suitable for detecting the relative position and the orientation or inclination of the spectacles in the vehicle , Such sensors are, for example, acceleration sensors and / or sensors whose position can be determined by radio positioning, the position of the spectacles then determined using multiple such sensors. In contrast to known motor vehicle operating device, which also know the operation with an augmented reality glasses, according to the invention for determining the position of the glasses no separate motor vehicle-bound position sensor, such as a mounted on the dashboard or in the mirror triangle camera necessary; the sensors are completely assigned to the glasses. Therefore, it is possible to install the motor vehicle operating device according to the invention very inconspicuously in the motor vehicle interior. Furthermore, it is also possible that not only the driver uses an augmented reality pair of glasses coupled with the head unit, but also, for example, passengers in the back seat. There, too, the position and inclination of the glasses can be advantageously detected, without the need for additional cameras or similar detection devices should be directed to the wearer glasses.

In einer weiteren Ausführungsform der Kraftfahrzeugbedienvorrichtung können die Augmented-Reality-Brille und die Head-Unit über eine drahtlose Verbindung kommunikativ miteinander verbunden sein, vorteilhafterweise über eine Kurzstreckenfunkverbindung oder eine optische Verbindung. Alternativ oder zusätzlich kann das Display der Augmented-Reality-Brille ein semitransparentes Display sein, insbesondere ein semitransparentes Display mit einem Strahlteiler. Des Weiteren kann die Augmented-Reality-Brille wenigstens einen Schallwandler aufweisen, etwa ein Mikrofon und/oder einen Lautsprecher. Ferner kann ein kraftfahrzeuggebundener Außenbereichssensor kommunikativ mit der Head-Unit verbunden sein, wobei es sich bei dem Außenbereichssensor vorteilhaft um eine Kamera handelt und eine Nachtsichtkamera und/oder eine Rückfahrkamera besonders vorteilhaft sind bzw. ist.In a further embodiment of the motor vehicle operating device, the augmented reality glasses and the head unit can be communicatively connected to one another via a wireless connection, advantageously via a short-range radio connection or an optical connection. Alternatively or additionally, the display of the augmented reality glasses can be a semi-transparent display, in particular a semi-transparent display with a beam splitter. Furthermore, the augmented reality glasses may have at least one sound transducer, such as a microphone and / or a loudspeaker. Furthermore, a motor vehicle-bounded outside area sensor can be communicatively connected to the head unit, the outside area sensor advantageously being a camera, and a night-vision camera and / or a reversing camera being or being particularly advantageous.

Darüber hinaus kann die Kraftfahrzeugbedienvorrichtung eine operativ mit der Head-Unit verbundene Eingabevorrichtung aufweisen, wobei ein Eingabetaster, insbesondere ein Dreh-Drück-Steller, vorteilhaft ist.In addition, the motor vehicle operating device can have an input device operatively connected to the head unit, wherein an input key, in particular a rotary-push-dial, is advantageous.

„Kommunikative Verbindung” soll hierin bedeuten, dass die Augmented-Reality-Brille vorteilhafterweise zum bidirektionalen Datenaustausch mit der Head-Unit gekoppelt ist. Insbesondere werden von der Augmented-Reality-Brille Positions- und Lagedaten des Lagesensors an die Head-Unit gesendet, während die Brille Displaydaten und/oder Audiodaten empfängt und wiedergibt. Der Ausdruck semitransparentes Display meint hierin, dass beim Betrachten des Displays simultan noch die Realität hinter dem Display wahrgenommen werden kann. Dies kann beispielsweise durch ein teiltransparentes LCD-Display geschehen, das direkt vor dem Auge positioniert ist, oder durch ein Strahlteilerprisma, mit dem ein Bild eines beispielsweise in einem Bügel der Brille angeordneten Projektors eingespiegelt wird. Zur drahtlosen Datenübertragung von der Augmented-Reality-Brille zur Head-Unit und umgekehrt sind Verbindungstechniken und -protokolle bekannt, etwa Bluetooth® oder WLAN. Eine drahtlose Verbindung ist mit besonderen Vorteilen verbunden, da keine störenden Kabel im Innenraum verlaufen und die Optik des Innenraums sehr aufgeräumt gehalten werden kann.As used herein, "communicative connection" is intended to mean that the augmented reality goggles are advantageously coupled to the head unit for bidirectional data exchange. In particular, position and position data of the position sensor are transmitted to the head unit by the augmented reality glasses, while the glasses receive and reproduce display data and / or audio data. The term semitransparent display herein means that when viewing the display, the reality behind the display can still be perceived simultaneously. This can be done, for example, by a partially transparent LCD display, which is positioned directly in front of the eye, or by a beam splitter prism with which an image of, for example, arranged in a bracket of the glasses projector is reflected. For wireless data transmission from the augmented reality goggles to the head-unit and vice versa are joining techniques and protocols known as Bluetooth® or Wi-Fi. A wireless connection is associated with special advantages, since no disruptive cables run in the interior and the appearance of the interior can be kept very tidy.

Ein erfindungsgemäßes Kraftfahrzeug weist gemäß einer ersten Ausführungsform eine erfindungsgemäße Kraftfahrzeugbedienvorrichtung auf.A motor vehicle according to the invention has, according to a first embodiment, a motor vehicle operating device according to the invention.

Vorteilhaft müssen zur Erfassung der Lageinformation der Augmented-Reality-Brille keine zusätzlichen Kameras oder andere Erfassungsvorrichtungen am Kraftfahrzeug oder im Kraftfahrzeug-Innenraum angeordnet werden, da die Sensorik hierfür vollständig in der Brille integriert ist. Dadurch ist es möglich, den Innenraum unauffällig zu gestalten; es fällt nicht auf, dass das Kraftfahrzeug mit der erfindungsgemäßen Kraftfahrzeugbedienvorrichtung ausgerüstet ist.Advantageously, no additional cameras or other detection devices on the motor vehicle or in the motor vehicle interior must be arranged for detecting the position information of the augmented reality glasses, since the sensor system for this is completely integrated in the glasses. This makes it possible to make the interior inconspicuous; it does not occur that the motor vehicle is equipped with the motor vehicle operating device according to the invention.

In einer weiteren Ausführungsform kann die Head-Unit eine Internetverbindung und/oder TV-Empfangsvorrichtung aufweisen. Alternativ oder zusätzlich kann eine Vorrichtung zum autonomen Fahren operativ mit der Head-Unit gekoppelt sein.In a further embodiment, the head unit can have an Internet connection and / or TV reception device. Alternatively or additionally, an autonomous driving device may be operatively coupled to the head unit.

Die Vorrichtung zum autonomen Fahren kann beispielsweise zur Eingabe von Soll-Daten, wie einer Soll-Geschwindigkeit und/oder einem Zielort und zur Ausgabe von Status und Warninformationen, etwa der Kontrollübergabe an den Fahrer, mit der Head-Unit verbunden sein.The device for autonomous driving can be connected to the head unit, for example, for inputting desired data, such as a desired speed and / or a destination, and for outputting status and warning information, for example the transfer of control to the driver.

Eine erste Ausführungsform des Kraftfahrzeugbedienverfahrens wird unter Verwendung des erfindungsgemäßen Kraftfahrzeugs ausgeführt und umfasst die Schritte:

  • – Einstellen einer vorbestimmten Blickrichtung und Erfassen von kraftfahrzeugrelativen Blickrichtungsdaten durch den Lagesensor der Augmented-Reality-Brille,
  • – Senden der Blickrichtungsdaten von der Augmented-Reality-Brille an die Head-Unit und Verarbeiten der Blickrichtungsdaten durch die Head-Unit,
  • – Senden eines den Blickrichtungsdaten zugewiesenen vorbestimmten Displayinhalts von der Head-Unit an die Augmented-Reality-Brille und Anzeigen auf dem Display.
A first embodiment of the motor vehicle operating method is carried out using the motor vehicle according to the invention and comprises the steps:
  • Setting of a predetermined viewing direction and detection of motor vehicle relative viewing direction data by the position sensor of the augmented reality glasses,
  • Sending the gaze direction data from the augmented reality goggles to the head unit and processing the gaze direction data through the head unit;
  • - Sending a viewing direction data assigned predetermined display content from the head unit to the augmented reality glasses and displays on the display.

Vorteilhaft können virtuelle Inhalte bzw. Projektionsflächen durch das erfindungsgemäße Verfahren intuitiver zur Kenntnis genommen werden als bisher. Bestimmten Orten im oder am Kraftfahrzeug sind hierzu Displayinformationen zugeordnet. Der Benutzer muss, um diese Informationen wahrzunehmen, wie auch bei konventionellen Instrumenten, seinen Blick zu ebendieser Position schwenken. Dies entspricht in weit höherem Maße der bekannten Interaktion mit Instrumenten. Das Benutzerverhalten zur Kenntnisnahme bei konventionellen Instrumenten wird quasi auf die einem bestimmten Ort zugeordneten „virtuellen Instrumente” übertragen. Es sind vielfältige Displayinhalte vorstellbar, die beim Blicken auf ganz unterschiedliche Orte im oder außerhalb des Fahrzeugs angezeigt werden können.Advantageously, virtual contents or projection surfaces can be more intuitively noted by the method according to the invention than hitherto. Certain places in or on the motor vehicle display information is assigned to this. The user must, to perceive this information, as with conventional instruments, swing his gaze to this very position. This corresponds much more to the familiar interaction with instruments. The user behavior for acquaintance with conventional instruments is virtually transferred to the "virtual instruments" assigned to a specific location. There is a variety of display content conceivable that can be displayed when looking at very different places in or outside of the vehicle.

Bei den Displayinhalten kann es sich etwa um eine Fahrdynamikinformation, Abbildungsdaten des Außenbereichssensors, eine Fahrzeuginformation, eine Reifeninformation, eine Darstellung eines Kommunikationsmittels, insbesondere eines Internetbrowsers und/oder einer Social-Networking-Anwendung, eine Video- und/oder TV-Bilddarstellung, eine interaktive Wartungsanweisung, bevorzugt mit Ausführungsanleitung, handeln. Dabei kann insbesondere dem Blick auf eine Tür eine Türwarnung, dem Blick auf einen anderen Verkehrsteilnehmer eine Abstandswarnung, dem Blick auf einen Sitz eine Gurtwarnung, dem Blick in Fahrtrichtung, eine Fahrtrichtungsinformation, Geschwindigkeitsinformation, Reichweiteinformation, Navigationsinformation und/oder Abbildungsdaten der Nachsichtkamera, dem Blick zum Fahrzeugheck und/oder einer Rückspiegelposition Abbildungsdaten des Außenbereichssensors, bevorzugt Abbildungsdaten der Rückfahrkamera, dem Blick auf einen Energiebefüllungsanschluss eine Energiespeicherinformation, dem Blick auf den Motorraum eine Motorinformation aus der Gruppe, umfassend Öltemperatur, Ölstand, Öltemperatur, Kühlmittelstand, Kühlmitteltemperatur, Betriebsflüssigkeitsnachfüllanleitung, dem Blick auf einen Reifen eine Reifeninformation, dem Blick auf einen Vordersitz und/oder eine Kopfstütze von einer Rückbank aus eine Video- und/oder TV-Bilddarstellung, dem Blick auf ein Rad oder den Kofferraum eine Radwechselanleitung zugeordnet sein.The display contents may be, for example, vehicle dynamics information, imaging data of the outside area sensor, vehicle information, tire information, a representation of a communication means, in particular an internet browser and / or a social networking application, a video and / or TV image display, a interactive maintenance instruction, preferably with instructions, act. In this case, in particular the view of a door, a door warning, the view of another road user distance warning, the view of a seat a seatbelt warning, the view in direction, direction information, speed information, range information, navigation information and / or image data of the indulgence camera, the view to the rear of the vehicle and / or a rear-view mirror image data of the outside area sensor, preferably imaging data of the rear view camera, the view of an energy filling connection an energy storage information, the view of the engine compartment engine information from the group comprising oil temperature, oil level, oil temperature, coolant level, coolant temperature, Betriebsflüssigkeitsnachfüllanleitung, the view on a tire a tire information, the view of a front seat and / or a headrest from a back seat from a video and / or TV image, the view of a wheel or the Koffe rraum be assigned a wheel change instructions.

Die Aufzählung der Displayinhalte ist nicht abschließend, vielmehr sind noch weitere Displayinhalte inklusive weiterer zugeordneter Orte möglich. Vorteilhaft ist es durch das erfindungsgemäße Verfahren möglich, ein Kraftfahrzeug, das keine Rückspiegel hat, zu bedienen wie ein konventionelles Kraftfahrzeug mit Rückspiegeln. Den Spiegelpositionen sind dabei jeweils Abbildungsdaten einer oder mehrerer Rückfahrkameras zugeordnet. Um die Orientierung des Fahrers bei der Nutzung der Rückfahrkamera weiter zu verbessern, kann ihm das Bild aber auch im Bereich der Frontscheibe angezeigt werden, so dass sich für ihn der Eindruck ergibt, er säße rückwärts im Fahrzeug. Dem Blick in Fahrtrichtung kann bei Dunkelheit auch das Bild einer in Fahrtrichtung weisenden Nachtsichtkamera überlagert werden sowie alternativ oder zusätzlich ein Fußgängerwarnsystem angezeigt werden. Das Verfahren ermöglicht eine verbesserte Sicherheit dadurch, dass der Fahrer die zahlreichen Assistenzsysteme intuitiver Bedienen kann und diese dadurch auch eher nutzt als bei einem konventionellen Bedienkonzept. Die Displayinhalte sind jedoch nicht auf fahrsicherheitsrelevante Inhalte begrenzt, vielmehr können beispielsweise Mitfahrer auf der Rückbank auf einem virtuellen Display an den Vordersitzen oder an einer Trennebene zur vorderen Sitzreihe Fernsehen und/oder ein Video schauen. Die Anzeige von spezifischen Wartungsanleitungen mit Schritt-für-Schritt Ausführungsanweisungen ist insbesondere aufgrund der wachsenden Komplexität und des abnehmenden technischen Verständnisses der Benutzer ein sehr wichtiger Displayinhalt, der sogar die Kaufentscheidung für ein Kraftfahrzeug mit dem erfindungsgemäßen Verfahren beeinflussen kann.The enumeration of the display contents is not conclusive, but more display content including other associated places are possible. Advantageously, it is possible by the method according to the invention, a motor vehicle that has no rearview mirror to operate as a conventional motor vehicle with rear-view mirrors. The mirror positions are each associated with imaging data of one or more reversing cameras. In order to further improve the orientation of the driver when using the rear view camera, the image can also be displayed in the area of the windshield, so that he has the impression that he was sitting backwards in the vehicle. The view in the direction of travel can be superimposed in the dark, the image of a pointing in the direction of travel night-vision camera and alternatively or additionally, a pedestrian warning system can be displayed. The method allows for improved safety by allowing the driver to operate the numerous assistance systems more intuitively, thereby making them more useful than with a conventional operating concept. However, the contents of the display are not limited to driving safety-relevant content, but passengers in the back seat, for example, can watch television and / or a video on a virtual display in the front seats or at a separation level to the front seat row. The display of specific maintenance instructions with step-by-step execution instructions is a very important display content, in particular due to the increasing complexity and the decreasing technical understanding of the users, which can even influence the purchase decision for a motor vehicle with the method according to the invention.

In einer noch weiteren Ausführungsform des Verfahrens kann der Displayinhalt nur eine Teilmenge der Abbildungsdaten des Außenbereichssensors umfassen. Die Teilmenge wird in Abhängigkeit der Blickrichtungsdaten durch die Head-Unit aus einer Gesamtheit der Abbildungsdaten ausgewählt, wobei vorteilhafterweise jene Abbildungsdaten ausgewählt werden, die den Teil des Außenbereichs zeigen, der von der Position der Augmented-Reality-Brille aufgrund Verdeckung durch ein Karosseriebauteil nicht einsehbar ist.In yet another embodiment of the method, the display content may include only a subset of the imaging data of the exterior area sensor. The subset is selected as a function of the viewing direction data by the head unit from a total of the image data, wherein advantageously those image data are selected which show the part of the exterior, not visible from the position of the augmented reality glasses due to occlusion by a body component is.

Die Teile des Außenbereichs, die vom opaken Karosseriebauteil, wie etwa den Säulen, Türen usw. verdeckt werden, können vom Fahrer ohne Hilfsmittel gar nicht eingesehen werden. Jedoch können Außenbereichssensoren in diese Bereiche „blicken”. Die Daten der Außenbereichssensoren werden nun perspektivisch korrekt im Display der Augmented-Reality-Brille angezeigt, so dass sich für den Träger der Brille der Eindruck ergibt, das Fahrzeug sei wenigstens teilweise „durchsichtig”. Hierdurch wird eine bisher unerreichte Rundumsicht erreicht, die es erlaubt selbst kleine Kinder oder Liegeradfahrer problemlos zu erkennen, was die Verkehrssicherheit, insbesondere bei Fahrten in der Stadt, deutlich verbessert. Ein mit dem Verfahren ausgestattetes Kraftfahrzeug kann jedoch auch viel stärker aerodynamisch optimiert werden, da nicht mehr so stark auf Randbedingungen, die der Übersichtlichkeit geschuldet sind, geachtet werden muss.The parts of the exterior, which are covered by the opaque body component, such as the columns, doors, etc., can not be viewed by the driver without tools. However, outside area sensors can "look" into these areas. The data of the outdoor sensors are now displayed in perspective correct in the display of the augmented reality glasses, so that the wearer of the glasses gives the impression that the vehicle is at least partially "transparent". As a result, a previously unattained all-round visibility is achieved, which allows even small children or recumbent drivers to easily recognize what the traffic safety, especially when driving in the city, significantly improved. However, a motor vehicle equipped with the method can also be much more aerodynamically optimized, since it is no longer necessary to pay so much attention to boundary conditions that are due to clarity.

Darüber hinaus kann der Displayinhalt ein navigierbares Auswahlmenü der Head-Unit umfassen. Die Menünavigation kann durch Ausführen einer oder mehrerer vorbestimmter Geste/n, bevorzugt Nicken oder Drehen des Kopfes, gleichzeitigem Erfassen der Blickrichtungsdaten durch den Lagesensor der Augmented-Reality-Brille und Senden an die Head-Unit erfolgen. Alternativ kann auch durch Betätigen der Eingabevorrichtung durch das Menü navigiert werden.In addition, the display content may include a navigable selection menu of the head unit. The menu navigation may be accomplished by executing one or more predetermined gestures, preferably nodding or turning the head, simultaneously acquiring the gaze direction data through the augmented reality gantry sensor and sending to the head unit. Alternatively, it is also possible to navigate through the menu by operating the input device.

Es sind auch Kombinationen der Eingabe durch die Augmented-Reality-Brille und die Eingabevorrichtung denkbar, beispielsweise kann ein Drop-Down-Menü unter Zuhilfenahme der Augmented-Reality-Brille durchblättert werden, während die Anwahl durch die Eingabevorrichtung erfolgt. Durch ein solches Bedienkonzept wird ermöglicht, Menüfunktionen mit deutlich weniger Betätigungen der „Hardware”-Eingabevorrichtung zu erreichen als bisher, wodurch die Fahrsicherheit gesteigert werden kann, da der Fahrer seine Hände zur Bedienung nicht mehr von Lenkrad nehmen muss. Die Aufzählung der Gesten ist nicht als abschließend aufzufassen, falls es beispielsweise aufgrund kultureller Unterschiede sinnvoll erscheint, können auch ganz andere Gesten zum Einsatz kommen. Combinations of the input through the augmented reality goggles and the input device are also conceivable; for example, a drop-down menu can be scrolled with the aid of the augmented reality goggles while the selection is made by the input device. Such an operating concept makes it possible to achieve menu functions with significantly fewer actuations of the "hardware" input device than before, as a result of which the driving safety can be increased since the driver no longer has to take his hands from the steering wheel for operation. The list of gestures is not to be taken as conclusive, if it makes sense, for example, due to cultural differences, quite different gestures can be used.

Alternativ oder zusätzlich kann ein blickrichtungsunabhängiger Displayinhalt von der Head-Unit an die Augmented-Reality-Brille gesendet und auf dem Display angezeigt werden. Dabei umfasst der blickrichtungsunabhängige Displayinhalt vorteilhafterweise eine Warninformation, besonders vorteilhaft eine der Vorrichtung zum autonomen Fahren zugeordnete Information.Alternatively or additionally, a viewing direction-independent display content can be sent from the head unit to the augmented reality glasses and displayed on the display. In this case, the viewing direction-independent display content advantageously comprises warning information, particularly advantageously information associated with the device for autonomous driving.

Der blickrichtungsunabhängige Displayinhalt kann zu jedem Zeitpunkt auf der Augmented-Reality-Brille angezeigt werden, ganz gleich welcher Displayinhalt zeitlich davor angezeigt wurde. Insbesondere ist diese Funktion als Sicherheitsfunktion wichtig, da stets, auch wenn der Fahrer gerade durch die Augmented-Reality-Brille fernsieht während das Fahrzeug autonom fährt, ein Fehler auftreten kann, der unverzüglich mitgeteilt werden muss. Diese Warninformation kann den aktuellen Displayinhalt überlagern oder vollständig verdrängen. Die Anzeige erfolgt unabhängig von der Schwenkung und Position der Brille, sodass der Brillenträger die Warnmeldung ortsfest wahrnimmt, was es ihm schwer macht, diese zu ignorieren. Insbesondere trifft dies zu, wenn die Vorrichtung zum autonomen Fahren die Fahrzeugkontrolle zurück an den Fahrer gibt; in diesem, Fall kann als ortsfester Displayinhalt beispielsweise ein Countdown bis zur Übergabe angezeigt werden.The viewing direction independent display content can be displayed at any time on the augmented reality glasses, no matter which display content was displayed before that time. In particular, this function is important as a safety function, since always, even if the driver is watching television through the augmented reality glasses while the vehicle is driving autonomously, an error can occur, which must be communicated immediately. This warning information can overlay or completely displace the current display content. The display is independent of the tilt and position of the glasses, so that the wearer perceives the warning stationary, which makes it difficult for him to ignore them. In particular, this is true when the autonomous driving device gives the vehicle control back to the driver; In this case, as stationary display content, for example, a countdown to be displayed until the handover.

Gemäß einer weiteren Ausführungsform kann ein Displayinhalt-Konfigurationsverfahren innerhalb des Kraftfahrzeugbedienverfahrens ausgeführt werden. Es weist die folgenden Schritte auf:

  • – Auswählen eines einer Blickrichtung zuzuordnenden Displayinhalts durch die Head-Unit,
  • – Einstellen der Blickrichtung, Erfassen der Blickrichtungsdaten durch den Lagesensor und Senden an die Head-Unit,
  • – Betätigen der Eingabevorrichtung oder Beibehalten der Blickrichtung für einen vorbestimmten Zeitraum, dadurch Zuordnen der Blickrichtungsdaten zu dem Displayinhalt und Speichern der Zuordnung in der Head-Unit.
According to another embodiment, a display content configuration method may be performed within the vehicle operation method. It has the following steps:
  • Selecting a display content to be assigned to the viewing direction by the head unit,
  • Adjusting the viewing direction, detecting the viewing direction data by the position sensor and sending to the head unit,
  • - Operating the input device or maintaining the viewing direction for a predetermined period of time, thereby assigning the gaze direction data to the display content and storing the assignment in the head unit.

Unter Verwendung des Displayinhalt-Konfigurationsverfahren ist es möglich, die virtuellen Projektionsflächen des Bedienkonzepts zu personalisieren. Entsprechend seiner Vorlieben kann der Fahrer bestimmte Displayinhalte an beliebigen Fahrzeugpositionen positionieren, beispielsweise kann er die Darstellung von Kommunikationsmitteln, wie einem Internetbrowser, eines Mailingdienstes oder beliebiger anderer Apps, auf dem Bereich des Beifahrersitzes positionieren, sodass von seinem Fahrersitz aus quasi ein „rollendes Büro” intuitiv und bequem bedient werden kann. Das Auswählen des zuzuordnenden Displayinhalts kann wahlweise selbstverständlich auch durch die Eingabevorrichtung geschehen. Es kann jedoch nicht nur vorgesehen sein, die Displayinhalte und zugeordnete Positionen zu konfigurieren, vielmehr ist es auch möglich, die zur Eingabe zu erkennenden Gesten individuell festzulegen.Using the display content configuration method, it is possible to personalize the virtual projection surfaces of the control concept. According to his preferences, the driver can position certain display contents at any vehicle positions, for example he can position the representation of means of communication, such as an internet browser, a mailing service or any other apps, on the area of the passenger seat, so that from his driver's seat, as it were, a "rolling office" can be operated intuitively and comfortably. Of course, the selection of the display content to be assigned can also be done by the input device. However, it can not only be provided to configure the display contents and associated positions, but it is also possible to individually determine the gestures to be recognized for input.

Diese und weitere Vorteile werden durch die nachfolgende Beschreibung unter Bezug auf die begleitende Figur dargelegt.These and other advantages will be set forth by the following description with reference to the accompanying figure.

Der Bezug auf die Figur in der Beschreibung dient der Unterstützung der Beschreibung und dem erleichterten Verständnis des Gegenstands. Die Figur ist lediglich eine schematische Darstellung einer Ausführungsform der Erfindung.The reference to the figure in the description is to aid in the description and understanding of the subject matter. The figure is merely a schematic representation of an embodiment of the invention.

Dabei zeigt die einzige Figur ein Kraftfahrzeug-Cockpit aus der Sicht eines Fahrzeugbenutzers, der die mit der Head-Unit des Fahrzeugs gekoppelte Augmented-Reality-Brille trägt. Die Brille weist einen Lagesensor auf, mit dem es stets möglich ist, zum Fahrzeug relativ die Blickrichtung des Trägers zu bestimmen und an die Head-Unit zu senden. Je nachdem, in welche Richtung der Brillenträger schaut, wird durch die Head-Unit ein anderer Displayinhalt an die Augmented-Reality-Brille übermittelt und angezeigt. So können beispielsweise beim Blick auf eine Position des Innenrückspiegels1 Abbildungsdaten einer Rückfahrkamera in einer virtuellen Projektionsfläche eingeblendet werden oder beim Blick auf eine Position der Außenspiegel2 Bilder einer anderen oder der gleichen Rückfahrkamera in andere virtuelle Projektionsflächen. Erfindungsgemäß findet der Fahrer die bekannten Informationsquellen bzw. Instrumente an den seit langem bekannten Orten wieder, obwohl sie rein physisch nicht vorhanden sind; es handelt sich dabei lediglich um virtuelle Instrumente bzw. Informationsquellen, denen aber quasi eine feste Position zugewiesen ist. Es können jedoch noch viele weitere Informationen angezeigt werden, beispielsweise kann beim Blick auf einen Sitz3, als überlagerte Darstellung angezeigt werden, ob der Sicherheitsgurt angelegt ist oder nicht. Die Möglichkeiten des Bedienkonzepts unter Verwendung der Augmented-Reality-Brille ist zudem nicht auf den Innenraum beschränkt, vielmehr können auch wichtige Informationen aus dem Außenbereich, etwa beim Blick auf den Tankstutzen eine aktuelle Füllmenge oder dem Blick auf ein Rad, eine Radwechselanleitung, zugeordnet sein. Für besonders wichtige Warnmeldungen kann zudem vorgesehen sein, dass diese lageunabhängig eingeblendet werden, insbesondere trifft dies für Warnmeldungen des Abstandsregeltempomats oder für den Fall, dass die Vorrichtung zum autonomen Fahren die Kontrolle an den Fahrer übergibt.The sole figure shows a motor vehicle cockpit from the perspective of a vehicle user wearing the coupled with the head unit of the vehicle augmented reality glasses. The glasses has a position sensor, with which it is always possible to determine relative to the vehicle, the viewing direction of the wearer and to send to the head unit. Depending on the direction in which the wearer is looking, the head unit transmits another display content to the augmented reality glasses and displays it. For example, when looking at a position of the interiorrearview mirror 1 Image data of a rearview camera in a virtual projection screen are displayed or when looking at a position of the exterior mirrors 2 Pictures of another or the same reversing camera in other virtual projection screens. According to the invention, the driver finds the known sources of information or instruments in the long-known places, although they are not physically present; they are merely virtual instruments or sources of information, but they are virtually assigned a fixed position. However, many more information can be displayed, for example, when looking at aseat 3 , are displayed as a superimposed representation, whether the seat belt is worn or not. The possibilities of the operating concept using the augmented reality glasses is not limited to the interior, but can also important information from the outside, such as the view be assigned to the filler neck a current capacity or the view of a wheel, a Radwechselanleitung. For particularly important warning messages can also be provided that they are displayed location-independent, in particular this is true for warning messages of the Abstandsregeltempomats or in the event that the device for autonomous driving passes the control to the driver.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • EP 1990674 A1[0003]EP 1990674 A1[0003]

Claims (10)

Translated fromGerman
Kraftfahrzeugbedienvorrichtung, die eine Head-Unit und zumindest eine Augmented-Reality-Brille mit einem Display, die operativ mit der Head-Unit verbunden ist und einen Blickrichtungssensor, der zum Erfassen von Kopfbewegungen ausgebildet ist, aufweist,dadurch gekennzeichnet, dass der Blickrichtungssensor ein an der Augmented-Reality-Brille angeordneter Lagesensor ist.A motor vehicle operating device comprising a head unit and at least one augmented reality goggles with a display operatively connected to the head unit and a gaze direction sensor configured to detect head movements,characterized in that the gaze direction sensor is on the Augmented reality glasses arranged position sensor is.Kraftfahrzeugbedienvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass – die Augmented-Reality-Brille und die Head-Unit über eine drahtlose Verbindung kommunikativ miteinander verbunden sind, bevorzugt über eine Kurzstreckenfunkverbindung oder eine optische Verbindung und/oder – das Display der Augmented-Reality-Brille ein semitransparentes Display ist, bevorzugt ein semitransparentes Display mit einem Strahlteiler und/oder – die Augmented-Reality-Brille zumindest einen Schallwandler aufweist, bevorzugt ein Mikrofon und/oder einen Lautsprecher, und/oder – ein kraftfahrzeuggebundener Außenbereichssensor kommunikativ mit der Head-Unit verbunden ist, wobei der Außenbereichssensor bevorzugt eine Kamera ist, besonders bevorzugt eine Nachtsichtkamera und/oder eine Rückfahrkamera und/oder – eine Eingabevorrichtung, bevorzugt ein Eingabetaster, besonders bevorzugt ein Dreh-Drück-Steller, operativ mit der Head-Unit verbunden ist.Motor vehicle operating device according to claim 1,characterized in that- The augmented reality glasses and the head unit are communicatively connected to each other via a wireless connection, preferably via a short-range radio link or an optical connection and / or- The display of augmented reality glasses is a semi-transparent display, preferably a semi-transparent display with a beam splitter and / or- The augmented reality glasses has at least one sound transducer, preferably a microphone and / or a speaker, and / orA motor vehicle bounded outdoor area sensor is communicatively connected to the head unit, wherein the outdoor area sensor is preferably a camera, more preferably a night vision camera and / or a reversing camera and / or- An input device, preferably an input key, particularly preferably a rotary-push-adjuster, is operatively connected to the head unit.Kraftfahrzeug mit zumindest einer Kraftfahrzeugbedienvorrichtung, dadurch gekennzeichnet, dass die Kraftfahrzeugbedienvorrichtung eine Kraftfahrzeugbedienvorrichtung nach Anspruch 1 oder 2 ist.Motor vehicle with at least one motor vehicle operating device, characterized in that the motor vehicle operating device is a motor vehicle operating device according to claim 1 or 2.Kraftfahrzeug nach Anspruch 3, dadurch gekennzeichnet, dass – die Head-Unit eine Internetverbindung und/oder TV-Empfangsvorrichtung aufweist und/oder – eine Vorrichtung zum autonomen Fahren operativ mit der Head-Unit gekoppelt ist.Motor vehicle according to claim 3,characterized in that- The head unit has an Internet connection and / or TV reception device and / or- An autonomous driving device is operatively coupled to the head unit.Kraftfahrzeugbedienverfahren für ein Kraftfahrzeug gemäß Anspruch 3 oder 4, umfassend die Schritte: – Einstellen einer vorbestimmten Blickrichtung und Erfassen von kraftfahrzeugrelativen Blickrichtungsdaten durch den Lagesensor der Augmented-Reality-Brille, – Senden der Blickrichtungsdaten von der Augmented-Reality-Brille an die Head-Unit und Verarbeiten der Blickrichtungsdaten durch die Head-Unit, – Senden eines den Blickrichtungsdaten zugewiesenen vorbestimmten Displayinhalts von der Head-Unit an die Augmented-Reality-Brille und Anzeigen auf dem Display.Motor vehicle operating method for a motor vehicle according to claim 3 or 4, comprising the steps:Setting of a predetermined viewing direction and detection of motor vehicle relative viewing direction data by the position sensor of the augmented reality glasses,Sending the gaze direction data from the augmented reality goggles to the head unit and processing the gaze direction data through the head unit;- Sending a viewing direction data assigned predetermined display content from the head unit to the augmented reality glasses and displays on the display.Kraftfahrzeugbedienverfahren nach Anspruch 5, wobei der vorbestimmte Displayinhalt eine Sicherheitswarnung, eine Fahrdynamikinformation, Abbildungsdaten des Außenbereichssensors, eine Fahrzeuginformation, eine Reifeninformation, eine Darstellung eines Kommunikationsmittels, bevorzugt eines Internetbrowsers und/oder einer Social-Networking-Anwendung, eine Video- und/oder TV-Bilddarstellung, eine interaktive Wartungsanweisung, bevorzugt mit Ausführungsanleitung, umfasst, wobei bevorzugt einem Blick – auf eine Türe eine Türwarnung und/oder – auf einen anderen Verkehrsteilnehmer eine Abstandswarnung und/oder – auf einen Sitz (3) eine Gurtwarnung und/oder – in Fahrtrichtung, eine Fahrtrichtungsinformation, Geschwindigkeitsinformation, Reichweiteinformation, Navigationsinformation und/oder Abbildungsdaten der Nachsichtkamera und/oder – zum Fahrzeugheck und/oder einer Rückspiegelposition (1,2) Abbildungsdaten des Außenbereichssensors, bevorzugt Abbildungsdaten der Rückfahrkamera, und/oder – auf einen Energiebefüllungsanschluss eine Energiespeicherinformation und/oder – auf den Motorraum eine Motorinformation aus der Gruppe, umfassend Öltemperatur, Ölstand, Öltemperatur, Kühlmittelstand, Kühlmitteltemperatur, Betriebsflüssigkeitsnachfüllanleitung und/oder – auf einen Reifen eine Reifeninformation und/oder – auf einen Vordersitz und/oder eine Kopfstütze von einer Rückbank aus eine Video- und/oder TV-Bilddarstellung und/oder – auf ein Rad oder den Kofferraum eine Radwechselanleitung zugeordnet ist/sind.The vehicle operation method according to claim 5, wherein the predetermined display content includes a security warning, vehicle dynamics information, outside area sensor map data, vehicle information, tire information, a presentation of a communication means, preferably an internet browser and / or a social networking application, a video and / or TV Image representation, an interactive maintenance instruction, preferably with instructions, includes, preferably with a view - on one door a door warning and / or - on another road user a distance warning and / or - on a seat ( 3 ) a seatbelt warning and / or - in the direction of travel, direction information, speed information, range information, navigation information and / or image data of the forbidden camera and / or - to the vehicle rear and / or a rear-view mirror position ( 1 . 2 Imaging data of the outdoor sensor, preferably imaging data of the reversing camera, and / or - on an energy filling connection an energy storage information and / or - on the engine compartment engine information from the group comprising oil temperature, oil level, oil temperature, coolant level, coolant temperature, Betriebsflüssigkeitsnachfüllanleitung and / or - to a Tire tire information and / or - on a front seat and / or a headrest from a back seat from a video and / or TV image representation and / or - is assigned to a wheel or trunk a wheel change instructions / are.Kraftfahrzeugbedienverfahren nach Anspruch 5 oder 6, wobei der Displayinhalt eine Teilmenge der Abbildungsdaten des Außenbereichssensors umfasst, die in Abhängigkeit der Blickrichtungsdaten mittels der Head-Unit aus einer Gesamtheit der Abbildungsdaten ausgewählt wird, wobei bevorzugt Abbildungsdaten eines Außenbereichs, der von einer Position der Augmented-Reality-Brille aufgrund Verdeckung durch ein Karosseriebauteil nicht einsehbar ist, ausgewählt werden.An automotive operation method according to claim 5 or 6, wherein the display content comprises a subset of the imaging data of the exterior sensor selected in dependence of the gaze direction data from the entirety of the imaging data by means of the head unit, preferably imaging data of an exterior area derived from a position of the augmented reality -Glasses due to occlusion by a body component is not visible, to be selected.Kraftfahrzeugbedienverfahren nach Anspruch 5, wobei der Displayinhalt ein navigierbares Auswahlmenü der Head-Unit umfasst und zum Navigieren in dem Auswahlmenü der Schritt: – Ausführen zumindest einer vorbestimmten Geste, bevorzugt Nicken oder Drehen des Kopfes, Erfassen der Blickrichtungsdaten durch den Lagesensor der Augmented-Reality-Brille und Senden an die Head-Unit, und/oder – Betätigen der Eingabevorrichtung, ausgeführt wird.Motor vehicle operating method according to claim 5, wherein the display content comprises a navigable selection menu of the head unit and for navigating in the selection menu of the step: - performing at least one predetermined gesture, preferably nodding or turning the head, detecting the sight line data by the position sensor of the augmented reality Goggles and sending to the head unit, and / or - Operating the input device is executed.Kraftfahrzeugbedienverfahren nach zumindest einem der Ansprüche 5 bis 8, umfassend den Schritt: Senden eines blickrichtungsunabhängigen Displayinhalts von der Head-Unit an die Augmented-Reality-Brille und Anzeigen auf dem Display, wobei der blickrichtungsunabhängige Displayinhalt bevorzugt eine Warninformation, besonders bevorzugt eine der Vorrichtung zum autonomen Fahren zugeordnete Information umfasst.Motor vehicle operating method according to at least one of claims 5 to 8, comprising the step:Transmitting a viewing direction independent display content from the head unit to the augmented reality glasses and displays on the display, wherein the viewing direction independent display content preferably comprises a warning information, particularly preferably one of the device for autonomous driving associated information.Kraftfahrzeugbedienverfahren nach zumindest einem der Ansprüche 5 bis 9, wobei ein Displayinhalt-Konfigurationsverfahren ausgeführt wird, das die Schritte umfasst: – Auswählen eines einer Blickrichtung zuzuordnenden Displayinhalts mittels der Head-Unit, – Einstellen der Blickrichtung, Erfassen der Blickrichtungsdaten durch den Lagesensor und Senden an die Head-Unit, – Betätigen der Eingabevorrichtung oder Beibehalten der Blickrichtung für einen vorbestimmten Zeitraum, dadurch Zuordnen der Blickrichtungsdaten zu dem Displayinhalt und Speichern der Zuordnung in der Head-Unit.Motor vehicle operating method according to at least one of claims 5 to 9,wherein a display content configuration method is carried out, comprising the steps of:Selecting a display content to be assigned to a viewing direction by means of the head unit,Adjusting the viewing direction, detecting the viewing direction data by the position sensor and sending to the head unit,- Operating the input device or maintaining the viewing direction for a predetermined period of time, thereby assigning the gaze direction data to the display content and storing the assignment in the head unit.
DE2013100053422013-03-262013-03-26Motor vehicle control device has viewing direction sensor such as position sensor that is arranged at augmented reality glasses, to detect movements of headWithdrawnDE102013005342A1 (en)

Priority Applications (1)

Application NumberPriority DateFiling DateTitle
DE201310005342DE102013005342A1 (en)2013-03-262013-03-26Motor vehicle control device has viewing direction sensor such as position sensor that is arranged at augmented reality glasses, to detect movements of head

Applications Claiming Priority (1)

Application NumberPriority DateFiling DateTitle
DE201310005342DE102013005342A1 (en)2013-03-262013-03-26Motor vehicle control device has viewing direction sensor such as position sensor that is arranged at augmented reality glasses, to detect movements of head

Publications (1)

Publication NumberPublication Date
DE102013005342A1true DE102013005342A1 (en)2013-09-19

Family

ID=49044093

Family Applications (1)

Application NumberTitlePriority DateFiling Date
DE201310005342WithdrawnDE102013005342A1 (en)2013-03-262013-03-26Motor vehicle control device has viewing direction sensor such as position sensor that is arranged at augmented reality glasses, to detect movements of head

Country Status (1)

CountryLink
DE (1)DE102013005342A1 (en)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
WO2015090569A1 (en)*2013-12-212015-06-25Audi AgDevice and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
DE102014105374A1 (en)*2014-04-152015-10-15Deutsches Zentrum für Luft- und Raumfahrt e.V. Driver assistance system
DE102014208310A1 (en)*2014-05-052015-11-05Bayerische Motoren Werke Aktiengesellschaft Driver assistance system for displaying an augmented reality
DE102014208973A1 (en)2014-05-132015-11-19Volkswagen Aktiengesellschaft Device for a driver assistance system, method and computer program
DE102014211803A1 (en)2014-06-192015-12-24Volkswagen Aktiengesellschaft Augmented reality system for a motor vehicle
DE102014213020A1 (en)2014-07-042016-01-07Bayerische Motoren Werke Aktiengesellschaft Takeover request for highly automated driving on data glasses
DE102014214516A1 (en)2014-07-242016-01-28Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for reproducing data in augmented reality for an occupant of a vehicle
DE102014214514A1 (en)2014-07-242016-01-28Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for exchanging data between vehicles for setting up a convoy
DE102014214507A1 (en)2014-07-242016-01-28Bayerische Motoren Werke Aktiengesellschaft Method for creating an environment model of a vehicle
DE102014214505A1 (en)2014-07-242016-01-28Bayerische Motoren Werke Aktiengesellschaft Method for creating an environment model of a vehicle
DE102014214506A1 (en)2014-07-242016-01-28Bayerische Motoren Werke Aktiengesellschaft Method for creating an environment model of a vehicle
DE102014223821A1 (en)2014-11-212016-05-25Continental Automotive Gmbh Method for transmitting signals between an interaction system and an operator
DE102015003973B3 (en)*2015-03-262016-06-23Audi Ag A method of operating a arranged in a motor vehicle virtual reality glasses and system with a virtual reality glasses
DE102016002498A1 (en)2016-03-022016-09-29Daimler Ag A method of determining an orientation of a person's head by means of a head-worn device and a head-worn device
WO2016184541A1 (en)*2015-05-212016-11-24Audi AgMethod for operating a head-mounted display in a motor vehicle, and system comprising a head-mounted display
DE102015220683A1 (en)2015-10-222017-04-27Robert Bosch Gmbh Driver information system with a drive device and a display device and method for operating a driver information system
DE102017200733A1 (en)2017-01-182018-07-19Audi Ag An entertainment system for a motor vehicle and method for operating an entertainment system
DE102017216240A1 (en)*2017-09-142019-03-14Bayerische Motoren Werke Aktiengesellschaft Method for operating data glasses in a vehicle
EP3457254A1 (en)*2017-09-152019-03-20Seat, S.A.Method and system for displaying virtual reality information in a vehicle
DE102017218215A1 (en)*2017-10-122019-04-18Audi Ag A method of operating a head-mounted electronic display device and display system for displaying a virtual content
DE102018206655A1 (en)*2018-04-302019-10-31Audi Ag Method and system for passenger transport
DE102015007246B4 (en)2015-06-052019-12-05Audi Ag A method of operating a display system and display system for a motor vehicle
DE102018211261A1 (en)2018-07-092020-01-09Audi Ag Method for operating a display device and display system for a motor vehicle worn on the head by a vehicle occupant of a motor vehicle
WO2021032381A1 (en)*2019-08-222021-02-25Bayerische Motoren Werke AktiengesellschaftDisplay system for a motor vehicle
WO2021233995A1 (en)2020-05-192021-11-25Holoride GmbhMethod and control device for operating, in a vehicle, a display device worn on the head of a user
DE102021108287A1 (en)2021-03-312022-10-06Bayerische Motoren Werke Aktiengesellschaft Notification device and motor vehicle for displaying a vehicle automation status
DE102013225496B4 (en)2013-12-102022-11-17Bayerische Motoren Werke Aktiengesellschaft View-dependent control of menus in head-up displays
DE102021207639A1 (en)2021-07-162023-01-19Volkswagen Aktiengesellschaft Method for operating a motor vehicle and motor vehicle
DE102021119275A1 (en)2021-07-262023-01-26Bayerische Motoren Werke Aktiengesellschaft Positioning of content displayed on data glasses in a contact-analogous manner in a vehicle
DE102021128257A1 (en)2021-10-292023-05-04Bayerische Motoren Werke Aktiengesellschaft Presentation of information on board a vehicle
DE102022123223A1 (en)*2022-09-122024-03-14Bayerische Motoren Werke Aktiengesellschaft Transmission of visual display content between a vehicle-based and a glasses-based display in a vehicle
EP3932506B1 (en)2014-08-112024-04-17VR Coaster GmbH & Co. KGMethod for operating a device, in particular an amusement ride, a means of transport, a fitness machine or the like
DE102023108110A1 (en)*2023-03-302024-10-02Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a display system with one or more data glasses in a vehicle
DE102015017339B4 (en)2015-05-212025-01-16Audi Ag Method for operating data glasses in a motor vehicle and system with a motor vehicle and data glasses
DE102024202425A1 (en)*2024-03-142025-09-18Fca Us Llc Induction-supported positioning of VR glasses in the vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
EP1990674A1 (en)2007-05-092008-11-12Harman Becker Automotive Systems GmbHHead-mounted display system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
EP1990674A1 (en)2007-05-092008-11-12Harman Becker Automotive Systems GmbHHead-mounted display system

Cited By (57)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
DE102013225496B4 (en)2013-12-102022-11-17Bayerische Motoren Werke Aktiengesellschaft View-dependent control of menus in head-up displays
DE102013021834B4 (en)*2013-12-212021-05-27Audi Ag Device and method for navigating within a menu for vehicle control and selecting a menu entry from the menu
WO2015090569A1 (en)*2013-12-212015-06-25Audi AgDevice and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
CN105829994A (en)*2013-12-212016-08-03奥迪股份公司Device and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
CN105829994B (en)*2013-12-212018-06-19奥迪股份公司For for controlling the device and method navigated in the menu of vehicle and from menu selection menu item
US9645640B2 (en)2013-12-212017-05-09Audi AgDevice and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
US20160313792A1 (en)*2013-12-212016-10-27Audi AgDevice and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
DE102014105374A1 (en)*2014-04-152015-10-15Deutsches Zentrum für Luft- und Raumfahrt e.V. Driver assistance system
DE102014105374B4 (en)*2014-04-152017-02-09Deutsches Zentrum für Luft- und Raumfahrt e.V. Driver assistance system
DE102014208310A1 (en)*2014-05-052015-11-05Bayerische Motoren Werke Aktiengesellschaft Driver assistance system for displaying an augmented reality
DE102014208973A1 (en)2014-05-132015-11-19Volkswagen Aktiengesellschaft Device for a driver assistance system, method and computer program
DE102014208973B4 (en)2014-05-132024-10-17Volkswagen Aktiengesellschaft Device for a driver assistance system, method and computer program
DE102014211803A1 (en)2014-06-192015-12-24Volkswagen Aktiengesellschaft Augmented reality system for a motor vehicle
DE102014213020A1 (en)2014-07-042016-01-07Bayerische Motoren Werke Aktiengesellschaft Takeover request for highly automated driving on data glasses
DE102014214505A1 (en)2014-07-242016-01-28Bayerische Motoren Werke Aktiengesellschaft Method for creating an environment model of a vehicle
DE102014214507A1 (en)2014-07-242016-01-28Bayerische Motoren Werke Aktiengesellschaft Method for creating an environment model of a vehicle
DE102014214516A1 (en)2014-07-242016-01-28Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for reproducing data in augmented reality for an occupant of a vehicle
DE102014214514A1 (en)2014-07-242016-01-28Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for exchanging data between vehicles for setting up a convoy
DE102014214506A1 (en)2014-07-242016-01-28Bayerische Motoren Werke Aktiengesellschaft Method for creating an environment model of a vehicle
EP3932506B1 (en)2014-08-112024-04-17VR Coaster GmbH & Co. KGMethod for operating a device, in particular an amusement ride, a means of transport, a fitness machine or the like
WO2016079335A1 (en)2014-11-212016-05-26Continental Automotive GmbhOptical cockpit monitoring in a vehicle
DE102014223821A1 (en)2014-11-212016-05-25Continental Automotive Gmbh Method for transmitting signals between an interaction system and an operator
DE102015003973B3 (en)*2015-03-262016-06-23Audi Ag A method of operating a arranged in a motor vehicle virtual reality glasses and system with a virtual reality glasses
US20180288337A1 (en)*2015-05-212018-10-04Audi AgMethod for operating smartglasses in a motor vehicle, and system comprising smartglasses
DE102015017339B4 (en)2015-05-212025-01-16Audi Ag Method for operating data glasses in a motor vehicle and system with a motor vehicle and data glasses
CN107850944A (en)*2015-05-212018-03-27奥迪股份公司The method of service data glasses and the system with data glasses in the motor vehicle
US10868976B2 (en)2015-05-212020-12-15Audi AgMethod for operating smartglasses in a motor vehicle, and system comprising smartglasses
WO2016184541A1 (en)*2015-05-212016-11-24Audi AgMethod for operating a head-mounted display in a motor vehicle, and system comprising a head-mounted display
CN107850944B (en)*2015-05-212021-08-03奥迪股份公司 Method for operating data glasses in a motor vehicle and system with data glasses
DE102015007246B4 (en)2015-06-052019-12-05Audi Ag A method of operating a display system and display system for a motor vehicle
DE102015220683A1 (en)2015-10-222017-04-27Robert Bosch Gmbh Driver information system with a drive device and a display device and method for operating a driver information system
DE102016002498A1 (en)2016-03-022016-09-29Daimler Ag A method of determining an orientation of a person's head by means of a head-worn device and a head-worn device
WO2018134123A1 (en)2017-01-182018-07-26Audi AgEntertainment system for a motor vehicle and method for operating an entertainment system
DE102017200733A1 (en)2017-01-182018-07-19Audi Ag An entertainment system for a motor vehicle and method for operating an entertainment system
DE102017216240A1 (en)*2017-09-142019-03-14Bayerische Motoren Werke Aktiengesellschaft Method for operating data glasses in a vehicle
EP3457254A1 (en)*2017-09-152019-03-20Seat, S.A.Method and system for displaying virtual reality information in a vehicle
DE102017218215A1 (en)*2017-10-122019-04-18Audi Ag A method of operating a head-mounted electronic display device and display system for displaying a virtual content
US11364441B2 (en)2017-10-122022-06-21Audi AgMethod for operating an electronic display device wearable on the head and display system for displaying virtual content
DE102017218215B4 (en)2017-10-122024-08-01Audi Ag Method for operating a head-mounted electronic display device and display system for displaying virtual content
DE102018206655A1 (en)*2018-04-302019-10-31Audi Ag Method and system for passenger transport
US11364803B2 (en)2018-07-092022-06-21Audi AgMethod for operating a display device worn on the head by a vehicle occupant of a motor vehicle, and display system for a motor vehicle
DE102018211261A1 (en)2018-07-092020-01-09Audi Ag Method for operating a display device and display system for a motor vehicle worn on the head by a vehicle occupant of a motor vehicle
CN112384401A (en)*2018-07-092021-02-19奥迪股份公司Method for operating a display device worn on the head by a vehicle occupant of a motor vehicle and display system for a motor vehicle
CN112384401B (en)*2018-07-092022-02-01奥迪股份公司Method for operating a display device worn on the head by a vehicle occupant of a motor vehicle and display system for a motor vehicle
WO2020011383A1 (en)2018-07-092020-01-16Audi AgMethod for operating a display device worn on the head by a vehicle occupant of a motor vehicle, and display system for a motor vehicle
WO2021032381A1 (en)*2019-08-222021-02-25Bayerische Motoren Werke AktiengesellschaftDisplay system for a motor vehicle
CN113874238A (en)*2019-08-222021-12-31宝马股份公司Display system for a motor vehicle
US20220219536A1 (en)*2019-08-222022-07-14Bayerische Motoren Werke AktiengesellschaftDisplay System for a Motor Vehicle
WO2021233995A1 (en)2020-05-192021-11-25Holoride GmbhMethod and control device for operating, in a vehicle, a display device worn on the head of a user
DE102020113485A1 (en)2020-05-192021-11-25Holoride Gmbh Method and control device for operating a display device carried on the head of a user in a vehicle
DE102021108287A1 (en)2021-03-312022-10-06Bayerische Motoren Werke Aktiengesellschaft Notification device and motor vehicle for displaying a vehicle automation status
DE102021207639A1 (en)2021-07-162023-01-19Volkswagen Aktiengesellschaft Method for operating a motor vehicle and motor vehicle
DE102021119275A1 (en)2021-07-262023-01-26Bayerische Motoren Werke Aktiengesellschaft Positioning of content displayed on data glasses in a contact-analogous manner in a vehicle
DE102021128257A1 (en)2021-10-292023-05-04Bayerische Motoren Werke Aktiengesellschaft Presentation of information on board a vehicle
DE102022123223A1 (en)*2022-09-122024-03-14Bayerische Motoren Werke Aktiengesellschaft Transmission of visual display content between a vehicle-based and a glasses-based display in a vehicle
DE102023108110A1 (en)*2023-03-302024-10-02Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a display system with one or more data glasses in a vehicle
DE102024202425A1 (en)*2024-03-142025-09-18Fca Us Llc Induction-supported positioning of VR glasses in the vehicle

Similar Documents

PublicationPublication DateTitle
DE102013005342A1 (en)Motor vehicle control device has viewing direction sensor such as position sensor that is arranged at augmented reality glasses, to detect movements of head
EP3027484B1 (en)Method for using a communication terminal in a motor vehicle while autopilot is activated and motor vehicle
EP3658976B1 (en)Method for providing a display in a motor vehicle, and motor vehicle
EP2172801A2 (en)Method for displaying a visual warning sign
EP2420410A1 (en)Method for Presenting an Image in a Vehicle
EP3619074B1 (en)Mobile sensor apparatus for a head-worn visual output device usable in a vehicle, and method for operating a display system
DE102017221871A1 (en) Method for calculating the movement data of the head of a driver of a vehicle, data glasses and vehicle for use in the method and computer program
US10391844B2 (en)Vehicle display screen safety and privacy system
DE102016007522A1 (en) Mirror replacement system for a vehicle
DE102015101183A1 (en) Method for operating a driver assistance system of a motor vehicle with display of environmental data in an autonomous driving mode, driver assistance system and motor vehicle
DE102014211803A1 (en) Augmented reality system for a motor vehicle
DE102016225268A1 (en) Method and device for operating a display system with data glasses
DE102012018556B4 (en) Assistance system to enable an extended foresight for subsequent road users
DE102016225269A1 (en) Method and device for operating a display system with data glasses
DE102006029994A1 (en) System and method for displaying images of the surroundings of a motor vehicle
EP3296795A1 (en)Method for displaying an image object in a vehicle on a display seen inside and outside the vehicle
DE102014221821B4 (en) Method and device for supporting the operation of a motor vehicle designed for autonomous driving
DE102018108438A1 (en) Information presentation device
EP3874450A1 (en)Method for avoiding a field of view disturbance for an operator of an object, device for carrying out the method as well as vehicle and computer program
EP4178822A1 (en)Intelligent head-up display
DE102015207474A1 (en) Method and device for changing the field of vision or field of vision of a driver of a motor vehicle
DE102019208235B4 (en) Method for operating an HMD display unit for a vehicle, HMD display unit, multifunction steering wheel and vehicle for use in the method
DE102021215029B4 (en) Procedures for exchanging information between vehicles
WO2020035380A1 (en)Operating vr glasses in autonomously driving vehicle
DE102015214761A1 (en) Apparatus and method for assisting a guide of a means of locomotion

Legal Events

DateCodeTitleDescription
R230Request for early publication
R119Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

[8]ページ先頭

©2009-2025 Movatter.jp