DE102023207968A1 - Method for displaying an environment of a vehicle, driver assistance system and vehicle - Google Patents

Abstract

Translated fromGerman

Verfahren zur Darstellung einer Umgebung eines Fahrzeugs (1), wobei mittels eines wenigstens eine Bildaufnahmeeinrichtung (3) umfassenden Bildaufnahmesystems (12) des Fahrzeugs (1) die Umgebung des Fahrzeugs (1) abbildende Bilddaten aufgenommen werden, wobei die Bilddaten erste Bilddaten im sichtbaren Spektrum sowie zweite Bilddaten im infraroten Spektrum umfassen, wobei aus den ersten Bilddaten eine Umgebungsdarstellung (13) erzeugt und auf einer Anzeigeeinrichtung (9) des Fahrzeugs dargestellt wird,
dadurch gekennzeichnet,
dass die zweiten Bilddaten hinsichtlich des Vorhandenseins von einem oder
mehreren Wärme emittierenden Objekten (14) in der Umgebung ausgewertet werden, wobei erkannte Wärme emittierende Objekte (14) in der Umgebungsdarstellung (13) mittels wenigstens einer Hervorhebungsmaßnahme hervorgehoben werden.

Method for displaying an environment of a vehicle (1), wherein image data depicting the environment of the vehicle (1) are recorded by means of an image recording system (12) of the vehicle (1) comprising at least one image recording device (3), wherein the image data comprise first image data in the visible spectrum and second image data in the infrared spectrum, wherein an environment representation (13) is generated from the first image data and displayed on a display device (9) of the vehicle,
characterized by
that the second image data regarding the presence of one or
several heat-emitting objects (14) in the environment are evaluated, wherein detected heat-emitting objects (14) are highlighted in the environment representation (13) by means of at least one highlighting measure.

Description

Translated fromGerman

Die Erfindung betrifft ein Verfahren zur Darstellung einer Umgebung eines Fahrzeugs, wobei mittels eines wenigstens eine Bildaufnahmeeinrichtung umfassenden Bildaufnahmesystems des Fahrzeugs die Umgebung des Fahrzeugs abbildende Bilddaten aufgenommen werden, wobei die Bilddaten erste Bilddaten im sichtbaren Spektrum sowie zweite Bilddaten im infraroten Spektrum umfassen, wobei aus den ersten Bilddaten eine Umgebungsdarstellung erzeugt und auf einer Anzeigeeinrichtung des Fahrzeugs dargestellt wird. Weiterhin betrifft die Erfindung ein Fahrerassistenzsystem und ein Fahrzeug.The invention relates to a method for displaying the surroundings of a vehicle, wherein image data depicting the surroundings of the vehicle are recorded by means of an image recording system of the vehicle comprising at least one image recording device, wherein the image data comprise first image data in the visible spectrum and second image data in the infrared spectrum, wherein a representation of the surroundings is generated from the first image data and displayed on a display device of the vehicle. The invention further relates to a driver assistance system and a vehicle.

Moderne Fahrzeuge weisen in der Regel Fahrerassistenzsysteme auf, welche einem Fahrer eine Sicht in vom Fahrersitz aus schlecht einsehbare oder verdeckte Sichtbereiche ermöglichen. Dabei können insbesondere Kameras verwendet werden, deren Bilder auf einem Monitor im Fahrzeuginneren dargestellt werden. Neben dem Erleichtern eines Manövrierens des Fahrzeugs bei niedrigen Geschwindigkeiten dienen solche Systeme zunehmend auch zur Überwachung des umgebenden Verkehrsgeschehens bei höheren Geschwindigkeiten, sodass ihnen in Bezug zu der Sicherheit weiterer Verkehrsteilnehmer grundsätzlich eine wichtige Rolle zukommt.Modern vehicles generally have driver assistance systems that allow the driver to see areas that are difficult to see or obscured from the driver's seat. Cameras can be used in particular, the images of which are displayed on a monitor inside the vehicle. In addition to making it easier to maneuver the vehicle at low speeds, such systems are increasingly being used to monitor the surrounding traffic at higher speeds, meaning that they play an important role in the safety of other road users.

Die dabei eingesetzten Kameras umfassen normalerweise Bildsensoren, mit denen Licht im sichtbaren Spektrum aufgenommen werden kann. Es ist aus dem Stand der Technik bekannt, zusätzlich oder alternativ dazu auch Infrarot-Kameras einzusetzen, mittels denen Licht im infraroten Spektrum erfasst werden kann.The cameras used normally include image sensors that can record light in the visible spectrum. It is known from the state of the art to additionally or alternatively use infrared cameras that can record light in the infrared spectrum.

InDE 10 2010 026 223 A1 wird ein Fahrzeug mit mehreren Bilderfassungseinheiten zur Erfassung eines seitlich neben und seitlich hinter dem Fahrzeug befindlichen Bereichs beschrieben. Die Bilderfassungseinheiten umfassen dabei jeweils zumindest eine Infrarotkamera, welche zur Erfassung von naher und/oder ferner Infrarotstrahlung ausgebildet sind. Um auch bei guten Sichtverhältnissen wie bei Tageslicht optimierte Bilddaten einer Umgebung des Fahrzeugs darstellen zu können, umfassen die Bilderfassungseinheiten zusätzlich weitere optische Sensoren bzw. Kameras.In DE 10 2010 026 223 A1 A vehicle with several image capture units for capturing an area to the side of and behind the vehicle is described. The image capture units each comprise at least one infrared camera, which is designed to capture near and/or far infrared radiation. In order to be able to display optimized image data of the vehicle's surroundings even in good visibility conditions such as daylight, the image capture units also comprise further optical sensors or cameras.

DE 10 2012 022 150 A1 offenbart ein Kraftfahrzeug mit einer Wärmebildkamera und einer Bildverarbeitungseinrichtung, welche zum Erkennen von Objekten auf einem Wärmebild der Wärmebildkamera ausgebildet ist. Dabei wird wenigstens eine Objekteigenschaft des Objekts durch eine Auswertung der Wärmeverteilung im Wärmebild ermittelt. Die Objekteigenschaft wird anschließend bei einem Betrieb eines Fahrzeugsystems des Kraftfahrzeugs genutzt.DE 10 2012 022 150 A1 discloses a motor vehicle with a thermal imaging camera and an image processing device which is designed to recognize objects in a thermal image of the thermal imaging camera. At least one object property of the object is determined by evaluating the heat distribution in the thermal image. The object property is then used when operating a vehicle system of the motor vehicle.

Um den Nutzen von Bilderfassungseinrichtungen an einem Fahrzeug zu optimieren, ist es wünschenswert, dass ein Fahrer die dargestellten Bildinhalte und somit auch das Fahrzeugumfeld möglichst intuitiv erfassen kann.In order to optimize the use of image capture devices on a vehicle, it is desirable that a driver can perceive the displayed image content and thus also the vehicle environment as intuitively as possible.

Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zur Darstellung einer Umgebung eines Fahrzeugs anzugeben, welches insbesondere eine visuelle Erfassbarkeit von relevanten Objekten im Fahrzeugumfeld erhöht.The invention is therefore based on the object of specifying an improved method for displaying the surroundings of a vehicle, which in particular increases the visual detectability of relevant objects in the vehicle environment.

Zur Lösung dieser Aufgabe ist es bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass die zweiten Bilddaten hinsichtlich des Vorhandenseins von einem oder mehreren Wärme emittierenden Objekten in der Umgebung ausgewertet werden, wobei erkannte Wärme emittierende Objekte in der Umgebungsdarstellung mittels wenigstens einer Hervorhebungsmaßnahme hervorgehoben werden.To achieve this object, in a method of the type mentioned at the outset, it is provided according to the invention that the second image data are evaluated with regard to the presence of one or more heat-emitting objects in the environment, wherein detected heat-emitting objects are highlighted in the environment representation by means of at least one highlighting measure.

Mittels des Bildaufnahmesystems bzw. der einen oder mehreren Bildaufnahmeeinrichtungen des Bildaufnahmesystems werden Bilddaten gewonnen, welche zumindest einen Teilbereich der Umgebung des Fahrzeugs abbilden. Die Bildaufnahmeeinrichtung oder die mehreren Bildaufnahmeeinrichtungen des Bildaufnahmesystems, welche zum Beispiel jeweils als eine Kamera ausgeführt sein können, sind dazu ausgebildet, erste Bilddaten, welche aus Licht im sichtbaren Spektrum erzeugt werden, sowie zweite Bilddaten, welche aus Licht im Infrarotspektrum gebildet werden, zu erzeugen. Die ersten Bilddaten und die zweiten Bilddaten können dabei von einer einzelnen Bildaufnahmeeinrichtung oder von mehreren Bildaufnahmeeinrichtungen erzeugt werden. Die zweiten Bilddaten werden dabei anhand von Infrarotstrahlung, welche vorliegend auch als Licht im Infrarotspektrum bezeichnet wird, erzeugt, wobei es sich bei der Infrarotstrahlung um nahe Infrarotstrahlung und/oder ferne Infrarotstrahlung handeln kann.By means of the image recording system or the one or more image recording devices of the image recording system, image data is obtained which depicts at least a partial area of the surroundings of the vehicle. The image recording device or the multiple image recording devices of the image recording system, which can each be designed as a camera, for example, are designed to generate first image data which are generated from light in the visible spectrum, and second image data which are formed from light in the infrared spectrum. The first image data and the second image data can be generated by a single image recording device or by multiple image recording devices. The second image data are generated using infrared radiation, which is also referred to here as light in the infrared spectrum, whereby the infrared radiation can be near infrared radiation and/or far infrared radiation.

Aus den ersten Bilddaten wird eine Umgebungsdarstellung erzeugt, welche auf der Anzeigeeinrichtung des Fahrzeugs dargestellt wird. Die Anzeigeeinrichtung kann dabei in einem Innenraum des Fahrzeugs angeordnet sein, sodass sie von einem Fahrer bzw. einem Benutzer des Fahrzeugs betrachtet werden kann. Da die Umgebungsdarstellung auf Grundlage der ersten Bilddaten erzeugt wird, entspricht sie zumindest im Wesentlichen der menschlichen Wahrnehmung des Lichts im sichtbaren Spektrum. Durch die Umgebungsdarstellung wird es ermöglicht, dass der Fahrer des Fahrzeugs Teile der Fahrzeugumgebung auf der Anzeigeeinrichtung betrachten kann, ohne dazu beispielsweise seinen Kopf drehen zu müssen. Zusätzlich ist es möglich, dass die Umgebungsdarstellung Bereiche des Fahrzeugumfelds umfasst, welche von dem Fahrersitz des Fahrzeugs aus nicht eingesehen werden können, beispielsweise weil sie zu nah an einer Karosserie des Fahrzeugs liegen und/oder von Abschnitten der Karosserie verdeckt werden.A representation of the environment is generated from the first image data and is shown on the display device of the vehicle. The display device can be arranged in an interior of the vehicle so that it can be viewed by a driver or a user of the vehicle. Since the representation of the environment is generated on the basis of the first image data, it corresponds at least essentially to the human perception of light in the visible spectrum. The representation of the environment enables the driver of the vehicle to view parts of the vehicle's environment on the display. direction without having to turn his head, for example. In addition, it is possible that the representation of the surroundings includes areas of the vehicle's surroundings that cannot be seen from the driver's seat of the vehicle, for example because they are too close to the vehicle's body and/or are hidden by sections of the body.

Die zweiten Bilddaten werden hinsichtlich des Vorhandenseins von einem oder mehreren Wärme emittierenden Objekten in der Umgebung ausgewertet. Ein Wärme emittierendes Objekt kann dabei insbesondere dadurch erkannt werden, dass von ihm in besonderem Maße Infrarotstrahlung bzw. infrarotes Licht emittiert wird. Das Erkennen der Wärme emittierenden Objekte kann dabei mittels maschinellem Sehen, d.h. durch eine computerbasierte Auswertung des Bildinhalts zumindest der zweiten Bilddaten, erfolgen. Dabei ist es möglich, dass beispielsweise unterschiedliche Typen von Objekten anhand ihrer Außenkontur und/oder weiterer, in den zweiten Bilddaten erkennbarer Objekteigenschaften, unterschieden werden.The second image data are evaluated with regard to the presence of one or more heat-emitting objects in the environment. A heat-emitting object can be recognized in particular by the fact that it emits a particularly high level of infrared radiation or infrared light. The heat-emitting objects can be recognized using machine vision, i.e. by a computer-based evaluation of the image content of at least the second image data. It is possible, for example, to differentiate between different types of objects based on their outer contour and/or other object properties that can be recognized in the second image data.

In den zweiten Bilddaten erkannte Wärme emittierende Objekte werden in der Umgebungsdarstellung mittels wenigstens einer Hervorhebungsmaßnahme hervorgehoben. Mit anderen Worten erfolgt eine Hervorhebung der Wärme emittierenden Objekte, welche auf Grundlage der zweiten Bilddaten erkannt wurden, in der mithilfe der ersten Bilddaten erzeugten Umgebungsdarstellung.Heat-emitting objects identified in the second image data are highlighted in the environment representation by means of at least one highlighting measure. In other words, the heat-emitting objects identified on the basis of the second image data are highlighted in the environment representation generated using the first image data.

Dies ermöglicht es vorteilhaft, dass Wärme emittierende Objekte in Situationen, in denen die Umgebung des Fahrzeugs durch die ersten Bilddaten nur unzureichend wiedergegeben werden kann, gezielt hervorgehoben werden können, sodass diese in der Umgebungsdarstellung besser erkannt werden können. Derartige Situationen können zum Beispiel bei Dämmerung oder bei anderen schlechten Lichtverhältnissen, welche insbesondere eine nur geringe Ausleuchtung der Umgebung erreichen, auftreten.This advantageously makes it possible to specifically highlight heat-emitting objects in situations in which the surroundings of the vehicle can only be inadequately reproduced by the first image data, so that they can be better recognized in the representation of the surroundings. Such situations can occur, for example, at dusk or in other poor lighting conditions, which in particular only achieve a low level of illumination of the surroundings.

Das Hervorheben der Objekte in der Umgebungsdarstellung hat den Vorteil, dass das Vorhandensein dieser Objekte für den Fahrer einfach und intuitiv zu erkennen ist. Negative Aspekte, beispielsweise eine Überbeanspruchung des Fahrers durch komplexe oder versteckte Inhalte, welche sich beispielsweise ergeben kann, wenn sowohl die ersten Bilddaten als auch die zweiten Bilddaten dem Fahrer nebeneinander angezeigt werden, können somit vermieden werden. Durch die intuitive Erkennbarkeit der Objekte wird vorteilhaft auch eine Reaktionszeit des Fahrers reduziert, wenn aufgrund des Vorhandenseins des Objekts eine spezielle Fahrerreaktion, beispielsweise ein Ausweichen oder ein Bremsen, erforderlich ist.Highlighting the objects in the environment display has the advantage that the presence of these objects is easy and intuitive for the driver to recognize. Negative aspects, such as overburdening the driver due to complex or hidden content, which can arise, for example, if both the first image data and the second image data are shown to the driver next to each other, can thus be avoided. The intuitive recognizability of the objects also has the advantage of reducing the driver's reaction time if a special driver reaction, such as swerving or braking, is required due to the presence of the object.

Gegenüber dem Verwenden einer rein auf Wärmebildern bzw. Infrarotbildern basierenden Umgebungsansicht, welche beispielsweise im Jagd- oder Wehrbereich eingesetzt wird, hat das erfindungsgemäße Verfahren den Vorteil, dass beispielsweise bei Tageslicht ein natürliches, farbtreues Bild der Umgebungsansicht erzeugt werden kann. Ferner ist kein Umschalten zwischen unterschiedlichen Ansichten erforderlich, da mithilfe der Hervorhebung auch bei sich ändernden Lichtverhältnissen, beispielsweise in der Abenddämmerung oder ähnlichem, stets eine Erkennbarkeit der Wärme emittierenden Objekte gegeben ist.Compared to using an environmental view based purely on thermal images or infrared images, which is used in hunting or defense, for example, the method according to the invention has the advantage that a natural, true-color image of the environmental view can be generated, for example in daylight. Furthermore, switching between different views is not necessary, since the highlighting means that the heat-emitting objects can always be recognized even in changing lighting conditions, for example at dusk or similar.

Da auch bei restlichtstarken Bildsensoren in der Dämmerung im Allgemeinen kaum ein Vorteil gegenüber der menschlichen Wahrnehmung besteht, wird durch das erfindungsgemäße Verfahren vorteilhaft die Erkennbarkeit der Wärme emittierenden Objekte in der Umgebungsdarstellung signifikant erhöht.Since even with image sensors with high residual light there is generally hardly any advantage over human perception at dusk, the method according to the invention advantageously significantly increases the detectability of the heat-emitting objects in the environmental representation.

In einer bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass als Wärme emittierende Objekte weitere Verkehrsteilnehmer, insbesondere ungeschützte Verkehrsteilnehmer, und/oder Tiere erkannt und hervorgehoben werden. Ungeschützte Verkehrsteilnehmer, welche auch als VRU (engl.: vulnerable road user) bezeichnet werden, umfassen insbesondere Fußgänger, Radfahrer, Rollerfahrer und ähnliche Verkehrsteilnehmer, welche nicht durch die Bauart ihres Fahrzeugs in besonderem Maße geschützt sind.In a preferred embodiment of the invention, it is provided that other road users, in particular unprotected road users, and/or animals are recognized and highlighted as heat-emitting objects. Unprotected road users, also referred to as VRU (vulnerable road user), include in particular pedestrians, cyclists, scooter riders and similar road users who are not particularly protected by the design of their vehicle.

Darüber hinaus können als Wärme emittierende Objekte auch Tiere erkannt werden, welche sich insbesondere in der Dämmerung auf oder zumindest in der Nähe von Straßen aufhalten können. Durch die Hervorhebung derartiger Wärme emittierende Objekte in der Umgebungsdarstellung wird vorteilhaft die Sicherheit dieser Objekte erhöht, da sie von einem Fahrer des Fahrzeugs besser wahrgenommen werden können.In addition, animals can also be recognized as heat-emitting objects, which can be found on or at least near roads, especially at dusk. By highlighting such heat-emitting objects in the environmental display, the safety of these objects is advantageously increased, as they can be better perceived by a vehicle driver.

Erfindungsgemäß kann vorgesehen sein, dass eine Bildaufnahmeeinrichtung verwendet wird, welche auf einer gemeinsamen Aufnahmefläche sowohl zur Aufnahme von Licht im sichtbaren Spektrum als auch zur Aufnahme von Licht im infraroten Spektrum ausgebildet ist. Die Bildaufnahmeeinrichtung kann beispielsweise einen Bildsensor umfassen, welcher sowohl zur Aufnahme von Licht im sichtbaren Spektrum als auch zur Aufnahme von Licht im Infrarotspektrum ausgebildet ist. Dabei können beispielsweise einzelne Pixel sowohl Licht im sichtbaren Spektrum als auch im Infrarotspektrum aufnehmen, wobei aus dem sichtbaren Licht die ersten Bilddaten und aus dem Infrarotlicht die zweiten Bilddaten erzeugt werden können. Vorteilhaft ergibt sich so zwischen den ersten Bilddaten und den zweiten Bilddaten eine pixelgenaue Zuordnung, welche nach dem Erkennen der Wärme emittierenden Objekte in den zweiten Bilddaten ein Hervorheben derselben Objekte in den ersten Bilddaten signifikant erleichtert.According to the invention, it can be provided that an image recording device is used which is designed on a common recording surface both to record light in the visible spectrum and to record light in the infrared spectrum. The image recording device can, for example, comprise an image sensor which is designed both to record light in the visible spectrum and to record light in the infrared spectrum. In this case, for example, individual pixels can record light in the visible spectrum as well as in the infrared spectrum, with the first The first image data can be generated from the infrared light and the second image data can be generated. This advantageously results in a pixel-precise assignment between the first image data and the second image data, which, after the heat-emitting objects in the second image data have been identified, makes it significantly easier to highlight the same objects in the first image data.

Darüber hinaus ermöglicht es eine Bildaufnahmeeinrichtung mit einer gemeinsamen Aufnahmefläche die volle Qualität des natürlichen, mithilfe des sichtbaren Spektrums erzeugten Bildes aufrechtzuerhalten.In addition, an image acquisition device with a common recording surface makes it possible to maintain the full quality of the natural image produced using the visible spectrum.

Dabei kann erfindungsgemäß vorgesehen sein, dass als Bildaufnahmeeinrichtung eine Kamera mit wenigstens einem RGB-IR-Bildsensor verwendet wird. Ein RGB-IR-Bildsensor bezeichnet dabei einen Bildsensor mit einem Chip, bei dem pro Pixel jeweils rotes, grünes und blaues Licht (RGB) sowie infrarotes Licht (IR) detektiert werden kann. Auf diese Weise können in einfacher Weise pixelgenau übereinstimmende erste Bilddaten aus dem RGB-Anteil und zweite Bilddaten aus dem IR-Anteil erzeugt werden. Die Verwendung eines RGB-IR-Bildsensors hat den Vorteil, dass er ohne großen Aufwand in bereits bestehende Systemarchitekturen von Bildaufnahmeeinrichtungen bzw. Fahrerassistenzsystemen integriert werden kann.According to the invention, a camera with at least one RGB-IR image sensor can be used as the image recording device. An RGB-IR image sensor refers to an image sensor with a chip in which red, green and blue light (RGB) as well as infrared light (IR) can be detected per pixel. In this way, first image data from the RGB component and second image data from the IR component can be generated in a simple manner with pixel-precise matching. The use of an RGB-IR image sensor has the advantage that it can be integrated into existing system architectures of image recording devices or driver assistance systems without great effort.

In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass durch Auswertung der ersten Bilddaten und/oder der zweiten Bilddaten ein Objekttyp eines erkannten Wärme emittierenden Objekts ermittelt wird, wobei die Hervorhebungsmaßnahme in Abhängigkeit des ermittelten Objekttyps aus einer Mehrzahl von Hervorhebungsmaßnahmen gewählt wird. Die Bestimmung eines Objekttyps des Objekts kann analog zum Erkennen des Objekts in den zweiten Bilddaten durch eine Auswertung des Inhalts der Bilddaten mittels maschinellem Sehen, beispielsweise mit Verfahren wie semantischer Segmentierung oder ähnlichem, durchgeführt werden. Die Bestimmung eines Objekttyps kann dabei anhand der zweiten Bilddaten, insbesondere zusammen mit dem Schritt des erkennen des Vorhandenseins des Objekts, durchgeführt werden. Zusätzlich oder alternativ dazu kann auch der Bildinhalt der ersten Bilddaten ausgewertet werden, um eine Bestimmung eines Objekttyps eines erkannten Objekts zu ermöglichen.In a preferred embodiment of the invention, it can be provided that an object type of a recognized heat-emitting object is determined by evaluating the first image data and/or the second image data, wherein the highlighting measure is selected from a plurality of highlighting measures depending on the determined object type. The determination of an object type of the object can be carried out analogously to the recognition of the object in the second image data by evaluating the content of the image data using machine vision, for example using methods such as semantic segmentation or the like. The determination of an object type can be carried out using the second image data, in particular together with the step of recognizing the presence of the object. In addition or alternatively, the image content of the first image data can also be evaluated in order to enable a determination of an object type of a recognized object.

In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass als Hervorhebungsmaßnahme ein Kennzeichnen des wenigstens einen Objekts in der Umgebungsdarstellung mit einer Markierung, insbesondere mit einem Rahmen und/oder mit einem Warnsymbol, erfolgt. Der Rahmen kann dabei zum Beispiel rechteckig oder als Box ausgeführt sein. Alternativ ist auch ein Rahmen möglich, welcher durch Hervorhebung der Umrisse oder der Kontur des jeweiligen Objekts gebildet wird. Daneben können auch andere Arten von Markierungen und/oder Warnsymbolen eingesetzt werden. Die Markierungen können dabei das Objekt umgeben oder neben dem Objekt platziert werden. Insbesondere die Größe und die Form von das Objekt umgebenden Rahmen können dabei in Abhängigkeit der aus den zweiten Bilddaten ermittelten Objektgeometrie gewählt werden, sodass das Objekt insbesondere als Ganzes markiert werden kann, auch wenn es in den ersten Bilddaten zum Beispiel aufgrund von schlechter Beleuchtung nicht oder nur teilweise zu erkennen ist. Es ist möglich, dass für unterschiedliche Objekttypen unterschiedliche Markierungen verwendet werden oder dass für alle Typen von erkannten Wärme emittierenden Objekten die gleichen Markierungen eingesetzt werden.In a preferred embodiment of the invention, it can be provided that the at least one object in the environment representation is marked with a marking, in particular with a frame and/or with a warning symbol, as a highlighting measure. The frame can be rectangular or designed as a box, for example. Alternatively, a frame is also possible which is formed by highlighting the outline or contour of the respective object. In addition, other types of markings and/or warning symbols can also be used. The markings can surround the object or be placed next to the object. In particular, the size and shape of the frame surrounding the object can be selected depending on the object geometry determined from the second image data, so that the object can be marked in particular as a whole, even if it cannot be recognized or can only be partially recognized in the first image data, for example due to poor lighting. It is possible that different markings are used for different object types or that the same markings are used for all types of detected heat-emitting objects.

Eine Markierung kann beispielsweise unmittelbar in die ersten Bilddaten und/oder die daraus erzeugte Umgebungsansicht eingefügt werden. Alternativ können die eine oder mehreren Markierungen auch als ein Overlay erzeugt werden, welches zusammen mit der Umgebungsansicht auf der Anzeigeeinrichtung dargestellt wird.For example, a marker can be inserted directly into the first image data and/or the environmental view generated therefrom. Alternatively, the one or more markers can also be generated as an overlay, which is displayed together with the environmental view on the display device.

Erfindungsgemäß kann vorgesehen sein, dass als Hervorhebungsmaßnahme eine Veränderung einer Darstellung des Objekts, insbesondere ein Einfärben des wenigstens einen Objekts und/oder ein Darstellen mit einer erhöhten Helligkeit, erfolgt. Die Darstellung der Veränderung des Objekts kann dabei zusätzlich oder alternativ zu der Verwendung der vorangehend beschriebenen Markierung erfolgen.According to the invention, it can be provided that a change in a representation of the object, in particular a coloring of the at least one object and/or a representation with increased brightness, takes place as a highlighting measure. The representation of the change in the object can take place in addition to or as an alternative to the use of the marking described above.

Durch eine veränderte Darstellung des Objekts in der Umgebungsansicht kann es durch den Fahrer einfacher und schneller wahrgenommen werden. Dabei kann ein Objekt in der Umgebungsansicht in einer falschen Farbe, beispielsweise in rot oder dergleichen, angezeigt werden, wenn es in den zweiten Bilddaten erkannt wurde. Auch eine Darstellung eines solchen Objekts mit einer erhöhten Helligkeit, wodurch insbesondere bei geringer Umgebungsausleuchtung eine verbesserte Wahrnehmung des Objekts möglich ist, kann vorgesehen sein. Dabei können für alle Objekte die gleichen Veränderungen an der Darstellung des Objekts vorgenommen werden oder es können für unterschiedliche Objekttypen unterschiedliche Veränderungen, insbesondere unterschiedliche Farben, eingesetzt werden. Insbesondere kann das Objekt durch eine veränderte Darstellung umrissgetreu hervorgehoben werden. Vorteilhaft kann das Objekt durch die veränderte Darstellung auch intuitiver hervorgehoben werden, da diese Art der Hervorhebung als weniger störend empfunden werden kann als beispielsweise ein zusätzlich eingeblendeter Rahmen um das Objekt.By changing the representation of the object in the surrounding view, the driver can perceive it more easily and quickly. An object in the surrounding view can be shown in a wrong color, for example red or the like, if it was recognized in the second image data. A representation of such an object with increased brightness, which enables an improved perception of the object, particularly when the ambient lighting is low, can also be provided. The same changes to the representation of the object can be made for all objects, or different changes, in particular different colors, can be used for different object types. In particular, the object can be highlighted true to its outline by changing the representation. Advantageously, the object can also be highlighted more intuitively by changing the representation, since this type of highlighting is considered to be less disruptive. can be perceived as more attractive than, for example, an additional frame displayed around the object.

Die Erfindung betrifft weiterhin ein Fahrerassistenzsystem für ein Fahrzeug, wobei das Fahrerassistenzsystem eine Steuereinrichtung, eine Anzeigeeinrichtung sowie ein Bildaufnahmesystem mit wenigstens einer Bildaufnahmeeinrichtung umfasst, wobei das Bildaufnahmesystem zur Aufnahme von Bilddaten einer Umgebung des Fahrzeugs ausgebildet ist, wobei die Bilddaten erste Bilddaten im sichtbaren Spektrum sowie zweite Bilddaten im infraroten Spektrum umfassen, wobei die Steuereinrichtung dazu eingerichtet ist, aus den ersten Bilddaten eine Umgebungsdarstellung zu erzeugen und auf der Anzeigeeinrichtung darzustellen, wobei die Steuereinrichtung weiterhin dazu eingerichtet ist die zweiten Bilddaten hinsichtlich des Vorhandenseins von einem oder mehreren Wärme emittierenden Objekten in der Umgebung auszuwerten und erkannte Wärme emittierende Objekte in der Umgebungsdarstellung mittels wenigstens einer Hervorhebungsmaßnahme hervorzuheben.The invention further relates to a driver assistance system for a vehicle, wherein the driver assistance system comprises a control device, a display device and an image recording system with at least one image recording device, wherein the image recording system is designed to record image data of an environment of the vehicle, wherein the image data comprise first image data in the visible spectrum and second image data in the infrared spectrum, wherein the control device is set up to generate an environment representation from the first image data and to display it on the display device, wherein the control device is further set up to evaluate the second image data with regard to the presence of one or more heat-emitting objects in the environment and to highlight detected heat-emitting objects in the environment representation by means of at least one highlighting measure.

Erfindungsgemäß kann das Bildaufnahmesystem ein Surroundview-System, eine Frontkamera, eine Rückfahrkamera, und/oder eine elektronische Einrichtung zur rückwärtigen Sicht sein oder umfassen. Eine elektronische Einrichtung zur rückwärtigen Sicht kann insbesondere eine elektronischer Seitenspiegel oder ein elektronischer Rückspiegel sein.According to the invention, the image recording system can be or include a surround view system, a front camera, a rear view camera, and/or an electronic device for rear vision. An electronic device for rear vision can in particular be an electronic side mirror or an electronic rear view mirror.

Sämtliche vorangehend in Bezug zu dem erfindungsgemäßen Verfahren beschriebenen Vorteile und Ausgestaltungen gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem und umgekehrt.All advantages and embodiments described above in relation to the method according to the invention apply accordingly to the driver assistance system according to the invention and vice versa.

Insbesondere kann erfindungsgemäß vorgesehen sein, dass die Steuereinrichtung dazu eingerichtet ist, als Wärme emittierende Objekte weitere Verkehrsteilnehmer, insbesondere ungeschützte Verkehrsteilnehmer, und/oder Tiere zu erkennen und hervorzuheben.In particular, it can be provided according to the invention that the control device is designed to recognize and highlight other road users, in particular unprotected road users, and/or animals as heat-emitting objects.

Zusätzlich oder alternativ dazu kann es erfindungsgemäß vorgesehen sein, dass die Bildaufnahmeeinrichtung eine gemeinsame Aufnahmefläche umfasst, welche sowohl zur Aufnahme von Licht im sichtbaren Spektrum als auch zur Aufnahme von Licht im Infrarotspektrum ausgebildet ist. Die Bildaufnahmeeinrichtung kann dabei erfindungsgemäß eine Kamera mit wenigstens einem RGB-IR-Bildsensor sein.In addition or alternatively, according to the invention, the image recording device can comprise a common recording surface which is designed both to record light in the visible spectrum and to record light in the infrared spectrum. According to the invention, the image recording device can be a camera with at least one RGB-IR image sensor.

Die Steuereinrichtung kann erfindungsgemäß dazu eingerichtet sein, durch Auswertung der ersten Bilder und/oder der zweiten Bilder einen Objekttyp eines erkannten Wärme emittierenden Objekts zu ermitteln, wobei die Hervorhebungsmaßnahme in Abhängigkeit des ermittelten Objekttyps aus einer Mehrzahl von Hervorhebungsmaßnahmen gewählt wird.According to the invention, the control device can be set up to determine an object type of a detected heat-emitting object by evaluating the first images and/or the second images, wherein the highlighting measure is selected from a plurality of highlighting measures depending on the determined object type.

Erfindungsgemäß kann die Steuereinrichtung dazu eingerichtet sein, als Hervorhebungsmaßnahme das wenigstens eine Objekt in der Umgebungsdarstellung mit einer Markierung, insbesondere mit einem Rahmen und/oder mit einem Warnsymbol, zu kennzeichnen. Zusätzlich oder alternativ dazu kann die Steuereinrichtung dazu eingerichtet sein, als Hervorhebungsmaßnahme eine Darstellung des Objekts zu verändern, insbesondere durch ein Einfärben des wenigstens einen Objekts und/oder durch ein Darstellen des Objekts mit einer erhöhten Helligkeit.According to the invention, the control device can be set up to mark the at least one object in the environment representation with a marking, in particular with a frame and/or with a warning symbol, as a highlighting measure. In addition or alternatively, the control device can be set up to change a representation of the object as a highlighting measure, in particular by coloring the at least one object and/or by displaying the object with increased brightness.

Weiterhin betrifft die Erfindung ein Fahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem. Sämtliche Vorteile und Ausgestaltungen des erfindungsgemäßen Fahrerassistenzsystems betreffen analog auch das erfindungsgemäße Fahrzeug und umgekehrt. Auch die Vorteile und Ausgestaltungen des erfindungsgemäßen Verfahrens sind auf das erfindungsgemäße Fahrzeug übertragbar und umgekehrt.The invention further relates to a vehicle with a driver assistance system according to the invention. All advantages and configurations of the driver assistance system according to the invention also analogously relate to the vehicle according to the invention and vice versa. The advantages and configurations of the method according to the invention can also be transferred to the vehicle according to the invention and vice versa.

Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:

• 1 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs mit einem Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems,
• 2 ein Beispiel zu einer aus ersten Bilddaten erzeugten Umgebungsansicht und
• 3 ein Beispiel einer Hervorhebung eines Objekts in der Umgebungsansicht zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.

Further advantages and details of the invention emerge from the embodiments described below and from the drawings. These are schematic representations and show:

• 1 an embodiment of a vehicle according to the invention with an embodiment of a driver assistance system according to the invention,
• 2 an example of an environmental view generated from initial image data and
• 3 an example of highlighting an object in the surrounding view to explain an embodiment of a method according to the invention.

In1 ist ein Ausführungsbeispiel eines Fahrzeugs 1 gezeigt. Bei dem Fahrzeug 1 kann es sich zum Beispiel um ein Kraftfahrzeug, insbesondere einen Personenkraftwagen, einen Lastkraftwagen oder eine andere Art von Nutzfahrzeug, handeln. Es ist auch möglich, dass das Fahrzeug 1 ein unmotorisiertes Fahrzeug wie ein Anhänger ist oder dass es sich um ein Gespann aus einem Zugfahrzeug und einem Anhänger handelt. Das Fahrzeug 1 kann auch ein schienengebundenes Fahrzeug, wie eine Straßenbahn oder dergleichen, sein.In 1 an embodiment of avehicle 1 is shown. Thevehicle 1 can be, for example, a motor vehicle, in particular a passenger car, a truck or another type of commercial vehicle. It is also possible for thevehicle 1 to be a non-motorized vehicle such as a trailer or for it to be a combination of a towing vehicle and a trailer. Thevehicle 1 can also be a rail-bound vehicle such as a tram or the like.

Das Fahrzeug 1 umfasst ein Ausführungsbeispiel eines Fahrerassistenzsystems 2, welches ein Bildaufnahmesystem 12 mit einer oder mehreren Bildaufnahmeeinrichtungen 3 sowie eine Steuereinrichtung 4 umfasst. Im vorliegenden Ausführungsbeispiel ist das Bildaufnahmesystem 12 als ein Surroundview-System ausgeführt und umfasst vier Bildaufnahmeeinrichtungen 3, welche jeweils als eine Kamera ausgeführt sind. Eine erste Kamera 5 ist dabei als eine Frontkamera des Fahrzeugs 1, eine zweite Kamera 6 als eine Rückfahrkamera des Fahrzeugs 1, sowie eine dritte Kamera 7 und eine vierte Kamera 8 jeweils als eine Seitenkamera des Fahrzeugs 1 angeordnet. Die Steuereinrichtung 4 kann zum Beispiel als ein Mikrocontroller, als ein Prozessor oder eine andere Art von Recheneinrichtung ausgebildet sein.Thevehicle 1 comprises an embodiment of adriver assistance system 2, which has animage recording system 12 with one or more Image recording devices 3 and acontrol device 4. In the present exemplary embodiment, theimage recording system 12 is designed as a surround view system and comprises four image recording devices 3, each of which is designed as a camera. A first camera 5 is arranged as a front camera of thevehicle 1, a second camera 6 as a rear view camera of thevehicle 1, and a third camera 7 and a fourth camera 8 are each arranged as a side camera of thevehicle 1. Thecontrol device 4 can be designed, for example, as a microcontroller, as a processor or another type of computing device.

Alternativ ist es möglich, dass das Fahrerassistenzsystem 2 ein Spiegelersatzsystem bzw. ein Computer-Monitor-System (CMS) ist, welches mehrere elektronische Einrichtungen zur rückwärtigen Sicht, insbesondere zwei elektronische Seitenspiegel und/oder einen elektronischen Rückspiegel, umfasst. Als Ersatz der Spiegel können dabei mehrere der Kameras 3 eingesetzt werden. Beispielsweise können dabei zwei zur Seite und/oder nach hinten gerichtete Seitenkameras 7,8, welche insbesondere im Bereich der Vordertüren des Fahrzeugs 1 angeordnet sein können, und/oder die Rückfahrkamera 6 verwendet werden.Alternatively, it is possible for thedriver assistance system 2 to be a mirror replacement system or a computer monitor system (CMS), which comprises several electronic devices for rear vision, in particular two electronic side mirrors and/or an electronic rearview mirror. Several of the cameras 3 can be used to replace the mirrors. For example, two side cameras 7, 8 facing to the side and/or to the rear, which can be arranged in particular in the area of the front doors of thevehicle 1, and/or the rearview camera 6 can be used.

Das Fahrerassistenzsystem 2 umfasst weiterhin eine Anzeigeeinrichtung 9, über die grafische Informationen für einen Fahrer bzw. einen Benutzer des Fahrzeugs 1 dargestellt werden können. Bei der Anzeigeeinrichtung 9 kann es sich zum Beispiel um einen oder mehrere in einem Innenraum des Fahrzeugs 1 angeordnete Bildschirme bzw. Displays handeln.Thedriver assistance system 2 further comprises adisplay device 9, via which graphic information can be displayed for a driver or a user of thevehicle 1. Thedisplay device 9 can, for example, be one or more screens or displays arranged in an interior of thevehicle 1.

Mittels den Bildaufnahmeeinrichtungen 3 können jeweils Bilddaten aus einem Teilbereich einer Umgebung des Fahrzeugs 1 erzeugt werden. Die von den Bildaufnahmeeinrichtungen 3 erzeugten Bilddaten umfassen erste Bilddaten im sichtbaren Spektrum sowie zweite Bilddaten im infraroten Spektrum. Im vorliegenden Ausführungsbeispiel ist jede der Bildaufnahmeeinrichtungen 3 dazu ausgebildet, die ersten Bilddaten und die zweiten Bilddaten des jeweils von ihr erfassten Umfeldteilbereichs zu erzeugen. Die Bildaufnahmeeinrichtungen 3 umfassen dazu jeweils eine Aufnahmefläche 11, welche sowohl zur Aufnahme von Licht im sichtbaren Spektrum als auch zur Aufnahme von Licht im infraroten Spektrum ausgebildet ist.The image recording devices 3 can be used to generate image data from a sub-area of the surroundings of thevehicle 1. The image data generated by the image recording devices 3 include first image data in the visible spectrum and second image data in the infrared spectrum. In the present exemplary embodiment, each of the image recording devices 3 is designed to generate the first image data and the second image data of the respective sub-area of the surroundings captured by it. The image recording devices 3 each comprise arecording surface 11, which is designed both to record light in the visible spectrum and to record light in the infrared spectrum.

Die Aufnahmefläche 11 kann dabei zum Beispiel als ein RGB-IR-Bildsensor ausgeführt sein, welcher eine Vielzahl von Pixeln umfasst, für die jeweils sichtbares Licht und infrarotes Licht erfasst und ausgewertet werden kann. Durch die für sichtbares Licht und infrarotes Licht gemeinsam nutzbare Aufnahmefläche 11 kann mit jeder der Bildaufnahmeeinrichtungen 3 simultan jeweils ein erstes Bild und ein zweites Bild bzw. erste Bilddaten und zweite Bilddaten erzeugt werden. Dabei stimmen die ersten Bilddaten und die zweiten Bilddaten insbesondere pixelgenau überein, d. h. es wird in den ersten Bilddaten und den zweiten Bilddaten jeweils derselbe Bildbereich auf einem Pixel abgebildet, sodass leicht eine Zuordnung der Bildinhalte zwischen den ersten Bilddaten und den zweiten Bilddaten möglich ist.Therecording surface 11 can be designed, for example, as an RGB-IR image sensor, which comprises a large number of pixels, for each of which visible light and infrared light can be recorded and evaluated. Therecording surface 11, which can be used jointly for visible light and infrared light, allows each of the image recording devices 3 to simultaneously generate a first image and a second image or first image data and second image data. The first image data and the second image data match in particular with pixel precision, i.e. the same image area is mapped onto a pixel in the first image data and the second image data, so that it is easy to assign the image content between the first image data and the second image data.

Die ersten und die zweiten Bilddaten werden von den Bildaufnahmeeinrichtungen 3 insbesondere jeweils kontinuierlich als ein Videostream erzeugt und an die Steuereinrichtung 4 übertragen. Dazu sind die Bildaufnahmeeinrichtungen 3 mit der Steuereinrichtung 4 über eine Kommunikationsverbindung 10, beispielsweise ein Bus-System des Fahrzeugs 1 o. ä., verbunden.The first and the second image data are generated by the image recording devices 3, in particular continuously as a video stream, and transmitted to thecontrol device 4. For this purpose, the image recording devices 3 are connected to thecontrol device 4 via acommunication connection 10, for example a bus system of thevehicle 1 or the like.

Das Fahrerassistenzsystem 2 ist dazu eingerichtet, ein Verfahren zur Darstellung einer Umgebung des Fahrzeugs 1 durchzuführen. Dazu kann die Steuereinrichtung 4 aus den von den Bildaufnahmeeinrichtungen 3 des Bildaufnahmesystems 12 erzeugten ersten Bilddaten eine Umgebungsansicht erstellen. Je nach Ausprägung des Bildaufnahmesystems 12 bzw. des Fahrerassistenzsystems 2 können dabei unterschiedlich orientierte und/oder unterschiedlich große Ausschnitte des Fahrzeugumfelds 1 in der Umgebungsansicht abgebildet werden. Auch eine Ausführung der Umgebungsansicht als Rundumsicht oder als eine Aufsicht auf das Fahrzeug 1 sowie die unmittelbare Umgebung des Fahrzeugs 1 sind möglich.Thedriver assistance system 2 is set up to carry out a method for displaying the surroundings of thevehicle 1. To do this, thecontrol device 4 can create a view of the surroundings from the first image data generated by the image recording devices 3 of theimage recording system 12. Depending on the design of theimage recording system 12 or thedriver assistance system 2, differently oriented and/or differently sized sections of thevehicle surroundings 1 can be shown in the view of the surroundings. It is also possible to design the view of the surroundings as an all-round view or as a top view of thevehicle 1 and the immediate surroundings of thevehicle 1.

In2 ist beispielhaft eine aus ersten Bilddaten erzeugte Umgebungsansicht 13 dargestellt. Diese zeigt einen Ausschnitt der Fahrzeugumgebung, welcher zum Beispiel bei dem Blick in einen elektronischen Seitenspiegel auf einer entsprechenden Anzeigeeinrichtung 9 angezeigt wird. Die Umgebungsansicht 13 kann dabei zum Beispiel aus den ersten Bilddaten einer seitlich am Fahrzeug angeordneten Bildaufnahmeeinrichtung 3, beispielsweise einer der Kameras 7 und/oder 8, erzeugt werden. Die in2 dargestellte Umgebungsansicht 13 stellt dabei eine Umgebungsansicht dar, welche nur aus den ersten Bilddaten, d. h. aus den durch Aufnahme des sichtbaren Spektrums erzeugten Bilddaten, abgeleitet wurde.In 2 1 shows an example of anenvironmental view 13 generated from first image data. This shows a section of the vehicle environment, which is displayed on acorresponding display device 9 when looking into an electronic side mirror. Theenvironmental view 13 can be generated, for example, from the first image data of an image recording device 3 arranged on the side of the vehicle, for example one of the cameras 7 and/or 8. The 2 Theenvironmental view 13 shown represents an environmental view which was derived only from the first image data, ie from the image data generated by recording the visible spectrum.

Um einem Fahrer des Fahrzeugs 1 das Erkennen von Wärme emittierenden Objekten 14 in der Umgebung des Fahrzeugs 1 zu erleichtern, wird durch die Steuereinrichtung 4 in den zweiten Bilddaten, welche ebenfalls durch die Bildaufnahmeeinrichtungen 3 des Bildaufnahmesystems 12 erzeugt werden, nach einem oder mehreren Wärme emittierenden Objekten in der Umgebung des Fahrzeugs 1 gesucht. Dazu können die zweiten Bilddaten inhaltlich durch die Steuereinrichtung 4 ausgewertet werden.In order to make it easier for a driver of thevehicle 1 to recognize heat-emitting objects 14 in the surroundings of thevehicle 1, thecontrol device 4 searches the second image data, which are also generated by the image recording devices 3 of theimage recording system 12, for one or more heat-emitting objects in the surroundings of the vehicle.vehicle 1. For this purpose, the second image data can be evaluated in terms of content by thecontrol device 4.

Aufgrund der Verwendung der gemeinsamen Aufnahmefläche 11 in den Bildaufnahmeeinrichtung 3 entspricht der Bildinhalt der zweiten Bilddaten dem Bildinhalt der ersten Bilddaten gemäß der Darstellung in2, wobei jedoch anstelle des sichtbaren Lichts in den zweiten Bilddaten der Bildinhalt auf Grundlage von infrarotem Licht abgebildet ist. Bei dem Wärme emittierenden Objekt 14 kann es sich beispielsweise um einen Fußgänger 15 handeln. Weiterhin ist es möglich, dass als Wärme emittierende Objekte 14 auch andere Verkehrsteilnehmer, insbesondere ungeschützte Verkehrsteilnehmer, und/oder Tiere erkannt werden.Due to the use of thecommon recording surface 11 in the image recording device 3, the image content of the second image data corresponds to the image content of the first image data as shown in 2 , but instead of visible light in the second image data, the image content is depicted on the basis of infrared light. The heat-emitting object 14 can be, for example, a pedestrian 15. It is also possible that other road users, in particular unprotected road users, and/or animals are also recognized as heat-emitting objects 14.

Die Steuereinrichtung 4 ist dazu eingerichtet, in den zweiten Bilddaten Wärme emittierende Objekte 14 wie den Fußgänger 15 zu erkennen. Dazu kann die Steuereinrichtung 4 den Inhalt der zweiten Bilddaten auswerten, insbesondere mittels Verfahren des maschinellen Sehens. Die Erkennung der Wärme emittierenden Objekte 14 kann zum Beispiel mittels semantischer Segmentierung oder anderer Verfahren, welche in der Lage sind, einzelne Objekte, insbesondere andere Verkehrsteilnehmer, sowie die Position dieser Objekte in den Bilddaten zu identifizieren. Insbesondere kann die Erkennung die Tatsache berücksichtigen, dass Wärme emittierende Objekte 14 durch eine verstärkte Infrarotlichtabstrahlung, welche sich durch eine erhöhte Helligkeit des Objekts in den zweiten Bilddaten ausdrückt, erkannt werden können.Thecontrol device 4 is designed to recognize heat-emitting objects 14 such as the pedestrian 15 in the second image data. To do this, thecontrol device 4 can evaluate the content of the second image data, in particular using machine vision methods. The heat-emitting objects 14 can be recognized, for example, using semantic segmentation or other methods that are able to identify individual objects, in particular other road users, as well as the position of these objects in the image data. In particular, the recognition can take into account the fact that heat-emitting objects 14 can be recognized by increased infrared light radiation, which is expressed by an increased brightness of the object in the second image data.

Wenn in den zweiten Bilddaten ein oder mehrere Wärme emittierenden Objekte erkannt werden, so werden sie in der aus den ersten Bilddaten erzeugten Umgebungsansicht 13 mittels einer Hervorhebungsmaßnahme hervorgehoben. Die Hervorhebungsmaßnahme bewirkt dabei, dass der Benutzer das Vorhandensein des Objekts 14 in der Umgebungsansicht 13 schneller erkennen kann. Vorteilhaft bewirkt dies, dass der Fahrer des Fahrzeugs 1 auch schneller auf die Anwesenheit des Objektes 14 reagieren kann, falls eine Reaktion durch den Fahrer erforderlich sein sollte.If one or more heat-emitting objects are detected in the second image data, they are highlighted in the surroundingview 13 generated from the first image data by means of a highlighting measure. The highlighting measure means that the user can recognize the presence of the object 14 in the surroundingview 13 more quickly. This advantageously means that the driver of thevehicle 1 can also react more quickly to the presence of the object 14 should a reaction by the driver be required.

Das Objekt 14 kann in der Umgebungsdarstellung 13 mittels unterschiedlicher Hervorhebungsmaßnahmen markiert werden, wobei für jedes Objekt 14 eine Hervorhebungsmaßnahme oder eine beliebige Kombination von mehreren der nachfolgend beschriebenen Hervorhebungsmaßnahmen eingesetzt werden können.The object 14 can be marked in theenvironment representation 13 by means of different highlighting measures, whereby one highlighting measure or any combination of several of the highlighting measures described below can be used for each object 14.

3 zeigt ein Ausführungsbeispiel einer Umgebungsansicht 13, in welcher das Objekt 14 bzw. der Fußgänger 15 mittels mehrerer Hervorhebungsmaßnahmen hervorgehoben wurde. Als eine erste Hervorhebungsmaßnahme ist der Fußgänger 15 mit einem Rahmen 16 umgeben, wobei der Rahmen 16 eine rechteckige Form aufweist bzw. als Box ausgebildet ist. Die Größe und die Form des Rahmens 16 können dabei in Abhängigkeit der aus den zweiten Bilddaten ermittelten Objektgeometrie gewählt werden, sodass das Objekt 14 als Ganzes markiert werden kann, auch wenn es in den ersten Bilddaten zum Beispiel aufgrund von schlechter Beleuchtung nicht oder nur teilweise zu erkennen ist. Zusätzlich oder alternativ dazu kann ein Rahmen 16 auch dadurch erzeugt werden, dass eine Kontur 17 des Objekts 14 hervorgehoben wird. Dies ist in3 schematisch durch die höhere Strichdicke der Umrisse des Objekts 14 dargestellt.3 shows an embodiment of anenvironmental view 13 in which the object 14 or the pedestrian 15 has been highlighted by means of several highlighting measures. As a first highlighting measure, the pedestrian 15 is surrounded by aframe 16, wherein theframe 16 has a rectangular shape or is designed as a box. The size and shape of theframe 16 can be selected depending on the object geometry determined from the second image data, so that the object 14 can be marked as a whole, even if it cannot be recognized or can only be partially recognized in the first image data, for example due to poor lighting. In addition or alternatively, aframe 16 can also be created by highlighting a contour 17 of the object 14. This is shown in 3 schematically represented by the higher line thickness of the outline of object 14.

Zusätzlich oder alternativ dazu kann als eine zweite Hervorhebungsmaßnahme auch ein Warnsymbol 18 zum Beispiel in der Nähe des Objekts 14 oder teilweise auf dem Objekt 14 dargestellt werden. Als eine weitere Hervorhebungsmaßnahme kann das Objekt 14 in der Umgebungsansicht 13 in veränderter Weise, d. h. gegenüber der Darstellung des Objekts 14 in den ersten Bilddaten verändert, dargestellt werden. Dazu kann das Objekt 14 beispielsweise eingefärbt werden, sodass es in einer anderen Farbe als gewöhnlich, insbesondere in einer Signalfarbe, erscheint. Das Einfärben des Objekts 13 kann zum Beispiel durch das Einfügen eines farbigen, teiltransparenten Overlays in der Umgebungsansicht 13 erfolgen. Es ist auch möglich, dass das Objekt 14 als Hervorhebungsmaßnahme mit einer geänderten Helligkeit, beispielsweise heller als in den ersten Bildern, dargestellt wird. Diese Weise kann die Erkennbarkeit des Objekts 14 insbesondere bei schlechteren Lichtverhältnissen in der Umgebung des Fahrzeugs 1 verbessert werden. Vorteilhaft können dabei auch Abschnitte bzw. Teile des Objekts 14, welche in den ersten Bilddaten nicht von einem Hintergrund bzw. einer Umgebung des Objekts 14 unterschieden werden können, als dem Objekt 14 zugehörig dargestellt werden.Additionally or alternatively, as a second highlighting measure, awarning symbol 18 can also be displayed, for example, near the object 14 or partially on the object 14. As a further highlighting measure, the object 14 can be displayed in the surroundingview 13 in a modified manner, i.e. modified compared to the representation of the object 14 in the first image data. For this purpose, the object 14 can be colored, for example, so that it appears in a different color than usual, in particular in a signal color. The coloring of theobject 13 can be done, for example, by inserting a colored, partially transparent overlay in the surroundingview 13. It is also possible for the object 14 to be displayed with a modified brightness, for example brighter than in the first images, as a highlighting measure. In this way, the recognizability of the object 14 can be improved, especially in poor lighting conditions in the surroundings of thevehicle 1. Advantageously, sections or parts of the object 14 which cannot be distinguished from a background or surroundings of the object 14 in the first image data can also be represented as belonging to the object 14.

Die Hervorhebungsmaßnahmen können dabei für alle Arten von erkannten Objekten 14 gleich sein oder es können unterschiedlichen Objekttypen zugeordnete Hervorhebungsmaßnahmen aus einer Mehrzahl von vorgegebenen Hervorhebungsmaßnahmen gewählt werden. Der Objekttyp eines Objekts 14 kann ebenfalls durch die Steuereinrichtung 4 mittels Verfahren des maschinellen Sehens bestimmt werden.The highlighting measures can be the same for all types of recognized objects 14 or highlighting measures assigned to different object types can be selected from a plurality of predetermined highlighting measures. The object type of an object 14 can also be determined by thecontrol device 4 using machine vision methods.

Bei der Verwendung typabhängiger Hervorhebungsmaßnahmen können beispielsweise Objekttypen wie Fußgänger, Fahrradfahrer, Tiere und dergleichen jeweils mit andersfarbigen und/oder anders geformten Rahmen 16 bzw. Warnhinweisen 18 versehen werden. Zusätzlich oder alternativ dazu kann auch die Art der Darstellung für die unterschiedlichen Objekttypen unterschiedlich verändert werden, sodass dieser je nach Objekttyp in einer anderen Helligkeit und/oder einer anderen farblichen Darstellung in der Umgebungsansicht 13 angezeigt werden.When using type-dependent highlighting measures, object types such as pedestrians, cyclists, animals and the like can each be provided with differently colored and/or differently shapedframes 16 or warning notices 18. In addition or alternatively, The type of representation for the different object types can also be changed differently, so that depending on the object type, they are displayed in a different brightness and/or a different color representation in theenvironment view 13.

Das Verfahren zum Erzeugen einer Umgebungsansicht kann für verschiedene Arten von Umgebungsansichten verwendet werden. Neben dem vorliegend als Beispiel dargestellten Bild eines elektrischen Seitenspiegels, welches mithilfe dem als Surroundview-System ausgebildeten Bildaufnahmesystems 12 des Fahrzeugs 1 erzeugt wurde, können analog auch andere Fahrzeugumgebungsansichten erzeugt werden. So kann es sich bei dem Bildaufnahmesystem 12 auch nur um eine Frontkamera, nur um eine Rückfahrkamera und/oder um einen elektrischen Rückspiegel und/oder einen oder mehrere elektrische Seitenspiegel handeln. Insbesondere ist es dabei möglich, dass das Bilderfassungssystem 2 weniger als die vier in1 dargestellten Bildaufnahmeeinrichtung 3 umfasst, wobei beispielsweise nur Bilddaten der Rückfahrkamera 5 und/oder der Frontkamera 6 zu der Umgebungsansicht 13 verarbeitet werden. Die Anzahl von Bildschirmen der Anzeigeeinrichtung 9 sowie die Anordnung der Bildschirme im Innenraum des Fahrzeugs 1 können sich dabei nach der jeweils durch das Bildaufnahmesystem 2 bereitgestellten Funktionen richten.The method for generating an environmental view can be used for different types of environmental views. In addition to the image of an electric side mirror shown here as an example, which was generated using theimage recording system 12 of thevehicle 1 designed as a surround view system, other vehicle environmental views can also be generated analogously. Theimage recording system 12 can also be just a front camera, just a rear view camera and/or an electric rearview mirror and/or one or more electric side mirrors. In particular, it is possible for theimage recording system 2 to have fewer than the four in 1 illustrated image recording device 3, wherein, for example, only image data from the rear view camera 5 and/or the front camera 6 are processed to form the surroundingview 13. The number of screens of thedisplay device 9 and the arrangement of the screens in the interior of thevehicle 1 can be based on the functions provided by theimage recording system 2.

Neben der Ausbildung der Bildaufnahmeeinrichtung 3 mit der gemeinsam für das sichtbare Licht und das Infrarotlicht genutzten Aufnahmefläche 11 können auch Bildaufnahmeeinrichtungen 3 verwendet werden, welche separat die ersten Bilddaten und die zweiten Bilddaten erzeugen. In einem solchen Fall kann durch eine Interpretation des Bildinhalts der ersten Bilddaten und der zweiten Bilddaten durch die Steuereinrichtung 4 auch dann eine Zuordnung der hervorzuhebenden Objekte 14 in der Umgebungsansicht 13 ermittelt werden, wenn keine pixelgenaue Übereinstimmung der ersten Bilddaten und der zweiten Bilddaten vorliegt.In addition to the design of the image recording device 3 with therecording surface 11 used jointly for the visible light and the infrared light, image recording devices 3 can also be used which generate the first image data and the second image data separately. In such a case, by interpreting the image content of the first image data and the second image data by thecontrol device 4, an assignment of the objects 14 to be highlighted in theenvironmental view 13 can be determined even if there is no pixel-precise match between the first image data and the second image data.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• DE 10 2010 026 223 A1 [0004]DE 10 2010 026 223 A1 [0004]
• DE 10 2012 022 150 A1 [0005]DE 10 2012 022 150 A1 [0005]

Claims (10)

Translated fromGerman

Verfahren zur Darstellung einer Umgebung eines Fahrzeugs (1), wobei mittels eines wenigstens eine Bildaufnahmeeinrichtung (3) umfassenden Bildaufnahmesystems (12) des Fahrzeugs (1) die Umgebung des Fahrzeugs (1) abbildende Bilddaten aufgenommen werden, wobei die Bilddaten erste Bilddaten im sichtbaren Spektrum sowie zweite Bilddaten im infraroten Spektrum umfassen, wobei aus den ersten Bilddaten eine Umgebungsdarstellung (13) erzeugt und auf einer Anzeigeeinrichtung (9) des Fahrzeugs dargestellt wird,dadurch gekennzeichnet, dass die zweiten Bilddaten hinsichtlich des Vorhandenseins von einem oder mehreren Wärme emittierenden Objekten (14) in der Umgebung ausgewertet werden, wobei erkannte Wärme emittierende Objekte (14) in der Umgebungsdarstellung (13) mittels wenigstens einer Hervorhebungsmaßnahme hervorgehoben werden.Method for displaying the surroundings of a vehicle (1), wherein image data depicting the surroundings of the vehicle (1) are recorded by means of an image recording system (12) of the vehicle (1) comprising at least one image recording device (3), wherein the image data comprise first image data in the visible spectrum and second image data in the infrared spectrum, wherein an environmental representation (13) is generated from the first image data and displayed on a display device (9) of the vehicle,characterized in that the second image data are evaluated with regard to the presence of one or more heat-emitting objects (14) in the surroundings, wherein detected heat-emitting objects (14) are highlighted in the environmental representation (13) by means of at least one highlighting measure.Verfahren nachAnspruch 1,dadurch gekennzeichnet, dass als Wärme emittierende Objekte (14) weitere Verkehrsteilnehmer, insbesondere ungeschützte Verkehrsteilnehmer, und/oder Tiere erkannt und hervorgehoben werden.procedure according to claim 1 ,characterized in that other road users, in particular unprotected road users, and/or animals are recognized and highlighted as heat-emitting objects (14).Verfahren nachAnspruch 1 oder2,dadurch gekennzeichnet, dass eine Bildaufnahmeeinrichtung (3) verwendet wird, welche auf einer gemeinsamen Aufnahmefläche (11) sowohl zur Aufnahme von Licht im sichtbaren Spektrum als auch zur Aufnahme von Licht im infraroten Spektrum ausgebildet ist.procedure according to claim 1 or 2 ,characterized in that an image recording device (3) is used which is designed on a common recording surface (11) both for recording light in the visible spectrum and for recording light in the infrared spectrum.Verfahren nachAnspruch 3,dadurch gekennzeichnet, dass als Bildaufnahmeeinrichtung (3) eine Kamera (4 - 7) mit wenigstens einem RGB-IR-Bildsensor verwendet wird.procedure according to claim 3 ,characterized in that a camera (4 - 7) with at least one RGB-IR image sensor is used as the image recording device (3).Verfahren nach einem der vorangehenden Ansprüche,dadurch gekennzeichnet, dass durch Auswertung der ersten Bilddaten und/oder der zweiten Bilddaten ein Objekttyp eines erkannten Wärme emittierenden Objekts (14) ermittelt wird, wobei die Hervorhebungsmaßnahme in Abhängigkeit des ermittelten Objekttyps aus einer Mehrzahl von Hervorhebungsmaßnahmen gewählt wird.Method according to one of the preceding claims,characterized in that an object type of a recognized heat-emitting object (14) is determined by evaluating the first image data and/or the second image data, wherein the highlighting measure is selected from a plurality of highlighting measures depending on the determined object type.Verfahren nach einem der vorangehenden Ansprüche,dadurch gekennzeichnet, dass als Hervorhebungsmaßnahme ein Kennzeichnen des wenigstens einen Objekts (14) in der Umgebungsdarstellung (13) mit einer Markierung, insbesondere mit einem Rahmen (16) und/oder mit einem Warnsymbol (18), erfolgt.Method according to one of the preceding claims,characterized in that the highlighting measure comprises marking the at least one object (14) in the environmental representation (13) with a marking, in particular with a frame (16) and/or with a warning symbol (18).Verfahren nach einem der vorangehenden Ansprüche,dadurch gekennzeichnet, dass als Hervorhebungsmaßnahme eine Veränderung einer Darstellung des Objekts (14), insbesondere ein Einfärben des wenigstens einen Objekts (14) und/oder ein Darstellen des wenigstens einen Objekts (14) mit einer erhöhten Helligkeit, erfolgt.Method according to one of the preceding claims,characterized in that a change in a representation of the object (14), in particular a coloring of the at least one object (14) and/or a representation of the at least one object (14) with an increased brightness, is carried out as a highlighting measure.Fahrerassistenzsystem für ein Fahrzeug (1) umfassend eine Steuereinrichtung (4), eine Anzeigeeinrichtung (9) sowie ein Bildaufnahmesystem (12) mit wenigstens einer Bildaufnahmeeinrichtung (3), wobei das Bildaufnahmesystem (12) zur Aufnahme von Bilddaten einer Umgebung des Fahrzeugs (1) ausgebildet ist, wobei die Bilddaten erste Bilddaten im sichtbaren Spektrum sowie zweite Bilddaten im infraroten Spektrum umfassen, wobei die Steuereinrichtung (4) dazu eingerichtet ist, aus den ersten Bilddaten eine Umgebungsdarstellung (13) zu erzeugen und auf der Anzeigeeinrichtung (9) darzustellen, wobei die Steuereinrichtung (4) weiterhin dazu eingerichtet ist die zweiten Bilddaten hinsichtlich des Vorhandenseins von einem oder mehreren Wärme emittierenden Objekten (14) in der Umgebung auszuwerten und erkannte Wärme emittierende Objekte (14) in der Umgebungsdarstellung (13) mittels wenigstens einer Hervorhebungsmaßnahme hervorzuheben.Driver assistance system for a vehicle (1) comprising a control device (4), a display device (9) and an image recording system (12) with at least one image recording device (3), wherein the image recording system (12) is designed to record image data of an environment of the vehicle (1), wherein the image data comprise first image data in the visible spectrum and second image data in the infrared spectrum, wherein the control device (4) is set up to generate an environment representation (13) from the first image data and to display it on the display device (9), wherein the control device (4) is further set up to evaluate the second image data with regard to the presence of one or more heat-emitting objects (14) in the environment and to highlight detected heat-emitting objects (14) in the environment representation (13) by means of at least one highlighting measure.Fahrerassistenzsystem nachAnspruch 8,dadurch gekennzeichnet, dass das Bildaufnahmesystem (12) ein Surroundview-System, eine Frontkamera, eine Rückfahrkamera und/oder eine elektronische Einrichtung zur rückwärtigen Sicht, insbesondere ein elektronischer Rückspiegel und/oder ein elektronischer Seitenspiegel, ist oder umfasst.driver assistance system according to claim 8 ,characterized in that the image recording system (12) is or comprises a surround view system, a front camera, a rear view camera and/or an electronic device for rear vision, in particular an electronic rear view mirror and/or an electronic side mirror.Fahrzeug umfassend ein Fahrerassistenzsystem (2) nachAnspruch 8 oder9.Vehicle comprising a driver assistance system (2) according to claim 8 or 9 .

Images