DE102012008780B4 - Method and device for detecting at least one road edge and motor vehicle - Google Patents
Method and device for detecting at least one road edge and motor vehicleDownload PDFInfo
- Publication number
- DE102012008780B4 DE102012008780B4DE102012008780.2ADE102012008780ADE102012008780B4DE 102012008780 B4DE102012008780 B4DE 102012008780B4DE 102012008780 ADE102012008780 ADE 102012008780ADE 102012008780 B4DE102012008780 B4DE 102012008780B4
- Authority
- DE
- Germany
- Prior art keywords
- image
- motor vehicle
- road edge
- lane
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Translated fromGermanDescription
Translated fromGermanDie Erfindung betrifft ein Verfahren sowie eine Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes, insbesondere eines unmarkierten Fahrbahnrandes, zwecks Erstellung eines Spurmodells für ein Kraftfahrzeug. Weiterhin betrifft die vorliegende Erfindung das Kraftfahrzeug selbst, welches eine Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes aufweist.The invention relates to a method and a device for detecting at least one road edge, in particular an unmarked road edge, for the purpose of creating a lane model for a motor vehicle. The present invention also relates to the motor vehicle itself, which has a device for detecting at least one road edge.
Es sind bereits Kraftfahrzeuge bekannt, welche einen aktiven Spurhalteassistenten haben, um den Fahrer in kritischen Situationen zu unterstützen. Dabei greift das Assistenzsystem zum Beispiel dann ein, wenn das Fahrzeug droht, von der Fahrbahn abzukommen, was insbesondere bei Unachtsamkeit beziehungsweise Ermüdung des Fahrers auftreten kann.There are already vehicles that have an active lane keeping assistant to support the driver in critical situations. The assistance system intervenes, for example, when the vehicle threatens to leave the road, which can occur particularly if the driver is inattentive or tired.
Spurhalteassistenten müssen dazu mithilfe von Sensoren ihre Umgebung auswerten. Derartige Sensoren können zum Beispiel Kameras sein, wobei jedoch auch Ansätze auf Radar-Basis existieren, wie zum Beispiel in der
Kamerabasierte Spurhalteassistenten werten die Bilder einer oder mehrerer Kameras aus, die in der Regel eine dem Blickwinkel des Fahrers ähnliche Perspektive auf die Straße besitzen. Zu diesem Zweck sind sie oftmals mittig hinter dem Innenspiegel des Kraftfahrzeuges integriert.Camera-based lane departure warning systems evaluate the images from one or more cameras, which usually have a perspective of the road similar to the driver's point of view. For this purpose, they are often integrated centrally behind the vehicle's interior mirror.
Die Auswertung der mittels Kamera erfassten Bilder erfolgt dabei herkömmlicherweise durch die Suche nach künstlichen Fahrbahnmarkierungen im Kamerabild, wie es zum Beispiel die
Zur Lösung des Problems der mangelnden Orientierung für den Spurhalteassistenten bei fehlenden Fahrbahnmarkierungen existieren unterschiedliche Ansätze. Die
Die
Die
Bei diesen genannten Ansätzen erfolgt somit keine explizite Detektion des Straßenrandes und somit auch keine genaue Lageschätzung, wie sie zum Betrieb eines Spurhalteassistenten unerlässlich ist. Zudem sind die genannten Lösungen zum Teil relativ kostenaufwendig.These approaches do not explicitly detect the edge of the road and therefore do not provide an accurate position estimate, which is essential for operating a lane departure warning system. In addition, some of the solutions mentioned are relatively expensive.
Die
Die
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes zur Verfügung zu stellen, mit denen in einfacher, zuverlässiger sowie kostengünstiger Weise wenigstens ein vor einem Kraftfahrzeug befindlicher Fahrbahnrandabschnitt mit ausreichender Genauigkeit erfasst werden kann, um daraus ein Spurmodell für das Kraftfahrzeug zu generieren.The present invention is based on the object of providing a method and a device for To provide detection of at least one road edge, with which at least one road edge section located in front of a motor vehicle can be detected with sufficient accuracy in a simple, reliable and cost-effective manner in order to generate a lane model for the motor vehicle.
Diese Aufgabe wird erfindungsgemäß durch das Verfahren zur Erfassung wenigstens eines Fahrbahnrandes nach Anspruch 1 sowie durch die Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes nach Anspruch 8 gelöst. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den Unteransprüchen 2 bis 7 angegeben. Vorteilhafte Ausgestaltungen der erfindungsgemäßen Einrichtung sind in den Unteransprüchen 9 bis 11 angegeben. Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, welches eine erfindungsgemäße Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes aufweist.This object is achieved according to the invention by the method for detecting at least one road edge according to
Es wird erfindungsgemäß ein Verfahren zur Erfassung wenigstens eines Fahrbahnrandes, insbesondere eines unmarkierten Fahrbahnrandes, zur Verfügung gestellt, zwecks Erstellung eines Spurmodells für ein Kraftfahrzeug. Das erfindungsgemäße Verfahren umfasst die folgenden Schritte:
- a) optische Aufnahme eines aktuellen ersten Bildes vor einem Kraftfahrzeug,
- b) Auswahl eines als befahrbar anzunehmenden Bereiches vor dem Kraftfahrzeug auf dem aktuellen ersten Bild,
- c) Auffinden von korrespondierenden Bereichen zu diesem als befahrbar anzunehmenden Bereich in einer bestimmten Anzahl von zuvor aufgenommenen Bildern eines umgekehrten optischen Flusses,
- d) Auffinden von Entsprechungen zu diesen korrespondierenden Bereichen im aktuellen ersten Bild,
- e) Definition wenigstens eines Suchbereiches anhand der Entsprechungen im aktuellen ersten Bild,
- f) Ermittlung von dominanten Orientierungen innerhalb des Suchbereiches im aktuellen ersten Bild,
- g) Ermittlung wenigstens eines Fluchtpunktes im aktuellen ersten Bild unter Verwendung der dominanten Orientierungen, und
- h) Nutzung des Fluchtpunktes zur Erstellung eines Spurmodells.
- a) optical recording of a current first image in front of a motor vehicle,
- b) Selection of an area in front of the vehicle that is assumed to be passable on the current first image,
- c) Finding corresponding areas to this area assumed to be passable in a certain number of previously recorded images of a reverse optical flow,
- d) Finding correspondences to these corresponding areas in the current first image,
- e) defining at least one search area based on the correspondences in the current first image,
- f) Determination of dominant orientations within the search area in the current first image,
- g) determining at least one vanishing point in the current first image using the dominant orientations, and
- h) Use of the vanishing point to create a track model.
Bei der Auswahl des als befahrbar anzunehmenden Bereiches vor dem Kraftfahrzeug sollte bevorzugt der nah vor dem Kraftfahrzeug, im Sichtbereich einer Kamera und einige Pixel hohe und die Breite des Kraftfahrzeuges aufweisende Bereich genutzt werden. Die Bereiche, die mit dem ausgewählten, als befahrbar anzunehmenden Bereich korrespondieren sollen, sind demzufolge proportional zur Bildanzahl im umgekehrten optischen Fluss vom Kraftfahrzeug entfernt ersichtlich. Das Auffinden dieser korrespondierenden Bereiche erfolgt zum Beispiel anhand charakteristischer Grauwert- oder Graustufenverteilung. Bei Definition des Suchbereiches kann neben den gefundenen Entsprechungen auch der ausgewählte, als befahrbar anzunehmende Bereich verwendet werden.When selecting the area in front of the vehicle that is assumed to be drivable, the area closest to the vehicle, within the field of view of a camera and a few pixels high and the width of the vehicle should be used. The areas that should correspond to the selected area that is assumed to be drivable are therefore visible at a distance from the vehicle in proportion to the number of images in the reverse optical flow. These corresponding areas are found, for example, using characteristic gray value or grayscale distribution. When defining the search area, the selected area that is assumed to be drivable can also be used in addition to the correspondences found.
Die Ermittlung wenigstens eines Fluchtpunktes im aktuellen ersten Bild unter Verwendung der dominanten Orientierungen erfolgt bevorzugt unter der Annahme, dass die dominanten Orientierungen zu Längsstrukturen ausgebildet sind, die durch Fahrbahnränder ausgebildet werden. Aus den Schnittpunkten dieser Längsstrukturen beziehungsweise dominanten Orientierungen lässt sich der Fluchtpunkt ermitteln. Die genaue Ermittlung des Fluchtpunktes im aktuellen ersten Bild lässt sich bevorzugt mit dem Fachmann bekannten Verfahren durchführen, wie eines beispielhaft von Rasmussen im Artikel „Texture-Based Vanishing Point Voting for Road Shape Estimation“, publiziert auf der „British Machine Vision Conference“, 2004,offenbart ist. Diese Verfahren lassen sich für gerade und/oder kurvige Strecken, gegebenenfalls in Kombination mit einer Kamerakalibrierung, durchführen. Dadurch lässt sich der Fluchtpunkt zuverlässig schätzen. Bei Kurvenverlauf des Fahrbahnrandes existieren dementsprechend mehrere Fluchtpunkte.The determination of at least one vanishing point in the current first image using the dominant orientations is preferably carried out under the assumption that the dominant orientations are formed into longitudinal structures that are formed by road edges. The vanishing point can be determined from the intersection points of these longitudinal structures or dominant orientations. The precise determination of the vanishing point in the current first image can preferably be carried out using methods known to those skilled in the art, such as one disclosed by Rasmussen in the article "Texture-Based Vanishing Point Voting for Road Shape Estimation", published at the "British Machine Vision Conference", 2004. These methods can be carried out for straight and/or curved roads, if necessary in combination with a camera calibration. This allows the vanishing point to be reliably estimated. If the road edge is curved, there are accordingly several vanishing points.
Erfindungsgemäß ist ferner vorgesehen, dass bei der Nutzung des Fluchtpunktes zur Erstellung eines Spurmodells eine Mehrzahl von durch den Fluchtpunkt verlaufenden Fahrbahnrand-Kandidaten definiert werden und wenigstens ein Fahrbahnrand-Kandidat zur Begrenzung des Spurmodells ausgewählt wird. Vorzugsweise ist ein Fahrbahnrand-Kandidat dort zu definieren, wo eine signifikante Häufung bestimmter dominanter Orientierungen auftritt. Bei mehreren Fluchtpunkten wird entsprechend verfahren.According to the invention, it is further provided that when using the vanishing point to create a lane model, a plurality of road edge candidates running through the vanishing point are defined and at least one road edge candidate is selected to limit the lane model. Preferably, a road edge candidate is to be defined where a significant accumulation of certain dominant orientations occurs. If there are several vanishing points, the same procedure is followed.
Vorteilhafterweise ist vorgesehen, dass die Zuordnung der Klassifikationswahrscheinlichkeit mittels eines Texturfilters und eines Klassifikators erfolgt, wobei der Texturfilter in der Umgebung des jeweiligen Kandidaten Merkmale extrahiert und an den Klassifikator weiterleitet, und der Klassifikator anhand der Merkmale dem jeweiligen Kandidaten eine Klassifikationswahrscheinlichkeit zuordnet. Zu diesem Zweck können im Klassifikator Informationen hinsichtlich typischer Merkmale von Straßenrändern abgespeichert sein, verbunden mit der Zuordnung einer Wahrscheinlichkeit des Vorhandenseins eines tatsächlichen Straßenrandes bei Vorliegen bestimmter Merkmale. Der Klassifikator vergleicht die vom Texturfilter ermittelten Merkmale mit abgespeicherten Merkmalen und ordnet dem jeweiligen Kandidaten eine bestimmte Klassifikationswahrscheinlichkeit zu.Advantageously, the assignment of the classification probability is carried out by means of a texture filter and a classifier, whereby the texture filter extracts features in the environment of the respective candidate and forwards them to the classifier, and the classifier assigns a classification probability to the respective candidate based on the features. For this purpose, information regarding typical features of roadsides can be stored in the classifier, combined with the assignment of a probability of the presence of a actual road edge when certain features are present. The classifier compares the features determined by the texture filter with stored features and assigns a certain classification probability to the respective candidate.
Es ist weiterhin vorteilhafterweise vorgesehen, dass in verschiedenen Abständen vor dem Kraftfahrzeug und im Wesentlichen senkrecht zur Kraftfahrzeug-Längsachse verlaufende Belegungsstrahlen definiert werden, die in diskrete Gitterzellen unterteilt sind, und jeder Gitterzelle eine Belegungswahrscheinlichkeit zugeordnet wird, die eine Aussage darüber gibt, inwieweit die Koordinate der jeweiligen Gitterzelle einem tatsächlichen Fahrbahnrand entspricht.It is further advantageously provided that occupancy rays are defined at different distances in front of the motor vehicle and running essentially perpendicular to the longitudinal axis of the motor vehicle, which are divided into discrete grid cells, and each grid cell is assigned an occupancy probability which provides information on the extent to which the coordinate of the respective grid cell corresponds to an actual road edge.
Derartige Belegungsstrahlen verhalten sich wie eindimensionale Belegungskarten, so genannte Evidence Grids. Die definierten Gitterzellen entsprechen den diskreten Werten einer Skala. Die diskreten Gitterzellen sollten bevorzugt eine Länge von weniger als 20 cm aufweisen. Jede Gitterzelle entspricht somit einer Strecke auf der Fahrbahnebene senkrecht zur Kraftfahrzeug-Längsachse.Such occupancy beams behave like one-dimensional occupancy maps, so-called evidence grids. The defined grid cells correspond to the discrete values of a scale. The discrete grid cells should preferably have a length of less than 20 cm. Each grid cell therefore corresponds to a distance on the road plane perpendicular to the longitudinal axis of the vehicle.
Das erfindungsgemäße Verfahren ist weiterhin dadurch vorteilhaft ausgebildet, dass wenigstens ein nächstes, sich vom ersten Bild unterscheidendes Bild aufgenommen wird und wenigstens die Schritte b) bis h) sowie der Schritt der Generierung der Belegungsstrahlen senkrecht zur Kraftfahrzeug-Längsachse wiederholt werden, wobei die einer jeden auf dem aktuellen ersten Bild basierenden Gitterzelle zugeordnete Wahrscheinlichkeit mit der Wahrscheinlichkeit verrechnet wird, die basierend auf einem nächsten Bild ermittelt wird. Dadurch akkumulieren sich die Wahrscheinlichkeiten, die den einzelnen Gitterzellen zugeordnet sind.The method according to the invention is further advantageously designed in that at least one next image is recorded that differs from the first image and at least steps b) to h) and the step of generating the occupancy beams perpendicular to the longitudinal axis of the motor vehicle are repeated, wherein the probability assigned to each grid cell based on the current first image is offset against the probability that is determined based on a next image. The probabilities assigned to the individual grid cells are thereby accumulated.
Die für ein Bild zu ermittelnden Gesamt-Wahrscheinlichkeiten der Gitterzellen werden derart gewonnen, dass für jeden definierten Belegungsstrahl und jeden als Rand klassifizierten Kandidaten die folgenden Schritte durchgeführt werden:
- a) die der longitudinalen Entfernung des Belegungsstrahls vom Fahrzeug zugehörige Lateralentfernung von der Kraftfahrzeug-Längsachse wird ermittelt;
- b) die der ermittelten Lateralentfernung entsprechende Gitterzelle wird auf dem Belegungsstrahl identifiziert; und
- c) die Belegungswahrscheinlichkeit dieser Gitterzelle wird um einen Wert erhöht, der sich proportional zur Anzahl des Auftretens dieser Gitterzellenkoordinate verhält, und der entsprechend der Klassifikationswahrscheinlichkeit gewichtet wird.
- (a) the lateral distance from the longitudinal axis of the vehicle corresponding to the longitudinal distance of the occupancy beam from the vehicle is determined;
- (b) the grid cell corresponding to the determined lateral distance is identified on the occupancy beam; and
- c) the occupancy probability of this grid cell is increased by a value that is proportional to the number of occurrences of this grid cell coordinate and is weighted according to the classification probability.
Es kann weiterhin vorgesehen sein, dass ein Unsicherheitsmodell verwendet wird, so dass nicht nur die bisher erfasste Gitterzelle aktualisiert wird, sondern auch auf dem jeweiligen Belegungsstrahl zu dieser Gitterzelle benachbarte Gitterzellen aktualisiert werden. Die Anzahl, Verteilung und Gewichtung der zu aktualisierenden Nachbar-Gitterzellen hängen dabei vom konkreten ausgewählten Unsicherheitsmodell ab.It can also be provided that an uncertainty model is used so that not only the grid cell recorded so far is updated, but also the grid cells adjacent to this grid cell on the respective occupancy beam are updated. The number, distribution and weighting of the neighboring grid cells to be updated depend on the specific uncertainty model selected.
Bei Erkennung einer Fahrbahnmarkierung an lediglich einer Seite des Kraftfahrzeuges ist vorteilhafterweise deren Distanz in lateraler Richtung zu bestimmen und diese Distanz mit der Distanz der Gitterzelle, die die höchste Wahrscheinlichkeit aufweist, zu einem Spurmodell zu verrechnen. Die verrechneten Distanzen werden dabei im selben Abstand vor dem Kraftfahrzeug bestimmt. Zum Beispiel kann der Abstand der Fahrbahnmarkierung sowie der Abstand der Gitterzelle, die die höchste Wahrscheinlichkeit aufweist, zur Kraftfahrzeug-Längsachse bestimmt werden und daraus der Durchschnittswert gebildet werden, um diesen als Breite des Spurmodells anzunehmen.If a lane marking is detected on only one side of the vehicle, it is advantageous to determine its distance in the lateral direction and to calculate this distance with the distance of the grid cell with the highest probability to create a lane model. The calculated distances are determined at the same distance in front of the vehicle. For example, the distance of the lane marking and the distance of the grid cell with the highest probability to the longitudinal axis of the vehicle can be determined and the average value can be calculated from this in order to assume this as the width of the lane model.
In der Situation, in der keine Fahrbahnmarkierung an einer Seite des Kraftfahrzeuges erkannt werden kann, ist vorgesehen, dass basierend auf den Gitterzellen mit der höchsten Wahrscheinlichkeit Polynome generiert werden, die ein Spurmodell ergeben.In the situation where no lane marking can be detected on one side of the vehicle, it is planned to generate polynomials based on the grid cells with the highest probability, which result in a lane model.
Diese Polynome sind vorzugsweise derart zu generieren, dass der mittlere Fehler zu den maximalen Wahrscheinlichkeiten der einzelnen, verwerteten Gitterzellen minimal ist. Die Polynome werden bevorzugt für den linken und den rechten Fahrbahnrand erstellt, um ein vollständiges Spurmodell zu erhalten.These polynomials should preferably be generated in such a way that the mean error of the maximum probabilities of the individual grid cells used is minimal. The polynomials are preferably created for the left and right edges of the road in order to obtain a complete lane model.
Es wird weiterhin erfindungsgemäß eine Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes, insbesondere eines unmarkierten Fahrbahnrandes, zur Verfügung gestellt, zwecks Erstellung eines Spurmodells für ein Kraftfahrzeug. Die erfindungsgemäße Einrichtung weist wenigstens eine Kamera zur Aufnahme eines aktuellen ersten Bildes vor dem Kraftfahrzeug, eine Auswahleinrichtung zur Auswahl eines als befahrbar anzunehmenden Bereiches vor dem Kraftfahrzeug, eine Einrichtung zur Erzeugung eines umgekehrten optischen Flusses von zuvor aufgenommenen Bildern, eine erste Sucheinrichtung zum Auffinden von korrespondierenden Bereichen zu dem als befahrbar anzunehmenden Bereich in Bildern des umgekehrten optischen Flusses, eine zweite Sucheinrichtung zum Auffinden von Entsprechungen zu diesen korrespondierenden Bereichen im aktuellen ersten Bild, eine Definitionseinrichtung zur Definition eines Suchbereiches anhand der Entsprechungen, eine erste Ermittlungseinrichtung zur Ermittlung von dominanten Orientierungen innerhalb des Suchbereiches, eine zweite Ermittlungseinrichtung zur Ermittlung wenigstens eines Fluchtpunktes im aktuellen ersten Bild unter Verwendung der dominanten Orientierungen und eine Recheneinheit zur Erstellung eines Spurmodells unter Nutzung des Fluchtpunktes und eine Definition einer Mehrzahl von durch den Fluchtpunkt verlaufenden Fahrbahnrand-Kandidaten und eine Auswahl wenigstens eines Fahrbahnrand-Kandidaten zur Begrenzung des Spurmodells auf.Furthermore, according to the invention, a device is provided for detecting at least one road edge, in particular an unmarked road edge, for the purpose of creating a lane model for a motor vehicle. The device according to the invention has at least one camera for recording a current first image in front of the motor vehicle, a selection device for selecting an area in front of the motor vehicle that is assumed to be drivable, a device for generating a reverse optical flow of previously recorded images, a first search device for finding corresponding areas to the area that is assumed to be drivable in images of the reverse optical flow, a second search device for finding correspondences to these corresponding areas in the current first image, a definition device for defining a search area based on the correspondences, a first determination device for determining dominant orientations ments within the search area, a second determination device for determining at least one vanishing point in the current first image using the dominant orientations and a computing unit for creating a lane model using the vanishing point and a definition of a plurality of road edge candidates running through the vanishing point and a selection of at least one road edge candidate for limiting the lane model.
Die Auswahleinrichtung, die Einrichtung zur Erzeugung eines umgekehrten optischen Flusses, die erste und/oder zweite Sucheinrichtung, die Definitionseinrichtung, die erste und/oder zweite Ermittlungseinrichtung und/oder die Recheneinheit können dabei Bestandteile einer rechnergestützten Steuerungseinheit sein. Gegebenenfalls kann auch eine der genannten Einrichtungen derart ausgestaltet sein, dass sie die Funktion einer oder mehrerer der weiteren genannten Einrichtungen mit übernimmt.The selection device, the device for generating a reverse optical flow, the first and/or second search device, the definition device, the first and/or second determination device and/or the computing unit can be components of a computer-aided control unit. If necessary, one of the devices mentioned can also be designed in such a way that it also takes over the function of one or more of the other devices mentioned.
Die erfindungsgemäße Einrichtung ist somit zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet.The device according to the invention is thus designed to carry out the method according to the invention.
In kostengünstiger Ausgestaltung der erfindungsgemäßen Einrichtung ist vorgesehen, dass die Kamera eine monokulare Kamera ist.In a cost-effective embodiment of the device according to the invention, the camera is a monocular camera.
Die erfindungsgemäße Einrichtung kann weiterhin zur Durchführung des erfindungsgemäßen Verfahrens einen Klassifikator sowie einen Texturfilter aufweisen, wobei der Texturfilter dafür eingerichtet ist, in der Umgebung des jeweiligen Kandidaten Merkmale zu extrahieren und an den Klassifikator weiterzuleiten, und der Klassifikator dafür eingerichtet ist, anhand der Merkmale dem jeweiligen Kandidaten eine Klassifikationswahrscheinlichkeit zuzuordnen.The device according to the invention can further comprise a classifier and a texture filter for carrying out the method according to the invention, wherein the texture filter is configured to extract features in the environment of the respective candidate and to forward them to the classifier, and the classifier is configured to assign a classification probability to the respective candidate on the basis of the features.
Vorzugsweise kann die erfindungsgemäße Einrichtung einen steuerbaren Filter aufweisen. Mit einem solchen, so genannten Steerable Filter ist ein erhaltenes Graustufenbild auf dominante Orientierungen untersuchbar. Die dominanten Orientierungen sind dabei die Richtungen des steuerbaren Filters, in denen sich die Filterantworten signifikant häufen, so wie es auch von Rasmussen im Artikel „Texture-Based Vanishing Point Voting for Road Shape Estimation“, publiziert auf der „British Machine Vision Conference“, 2004, offenbart ist.The device according to the invention can preferably have a controllable filter. With such a so-called steerable filter, a grayscale image obtained can be examined for dominant orientations. The dominant orientations are the directions of the controllable filter in which the filter responses accumulate significantly, as also disclosed by Rasmussen in the article "Texture-Based Vanishing Point Voting for Road Shape Estimation", published at the "British Machine Vision Conference", 2004.
Die Erfindung ergänzend wird außerdem ein Kraftfahrzeug zur Verfügung gestellt, welches eine erfindungsgemäße Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes zwecks Erstellung eines Spurmodells aufweist.In addition to the invention, a motor vehicle is also provided which has a device according to the invention for detecting at least one road edge for the purpose of creating a lane model.
Vorzugsweise sollte dieses Kraftfahrzeug außerdem ein Spurhalteassistenz-System aufweisen, welches signaltechnisch mit der erfindungsgemäßen Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes verbunden ist.Preferably, this motor vehicle should also have a lane keeping assistance system which is connected by signaling to the device according to the invention for detecting at least one road edge.
Basierend auf den detektierten unmarkierten Fahrbahnrändern lassen sich Spurmodelle schätzen, die ausreichend genau sind, um dem Spurhalteassistenz-System zur Verfügung zu stehen.Based on the detected unmarked road edges, lane models can be estimated that are sufficiently accurate to be available to the lane keeping assistance system.
Durch die Eingabe des erfindungsgemäß ermittelten Spurmodells in das Spurhalteassistenz-System kann dieses bei unzulässiger Abweichung des tatsächlichen Fahrweges vom ermittelten Spurmodell ein Warnsignal generieren und/oder in die Fahrzeugsteuerung eingreifen.By entering the lane model determined according to the invention into the lane keeping assistance system, the latter can generate a warning signal and/or intervene in the vehicle control if the actual driving path deviates from the determined lane model by an inadmissible amount.
Mit der vorliegenden Erfindung kann somit eine bildbasierte Detektion von Fahrbahngrenzen erfolgen, selbst wenn keine künstlich aufgebrachte Fahrbahnmarkierung vorhanden sind. Ein Spurhalteassistenz-System kann die ermittelten Fahrbahngrenzen nutzen. Demzufolge bietet die vorliegende Erfindung die Nutzung des Spurhalteassistenz-Systems und eine Unterstützung des Fahrers auch dann, wenn keine Fahrbahnmarkierungen vorhanden sind. Die Kosten für die Hardware sind dabei überschaubar, da lediglich nur eine monokulare Kamera benötigt wird. Das heißt, dass die vorliegende Erfindung ermöglicht, den Fahrer in Situationen zu unterstützen, die bisher nicht abgedeckt wurden. Insbesondere auf unzureichend oder nicht markierten Straßen erhöht dies wesentlich die Fahrsicherheit. Die Erfindung ist kostengünstig realisierbar, da keine zusätzlichen Sensoren benötigt werden.The present invention can therefore be used to detect lane boundaries using images, even when there are no artificially applied lane markings. A lane keeping assistance system can use the determined lane boundaries. The present invention therefore enables the lane keeping assistance system to be used and supports the driver even when there are no lane markings. The costs for the hardware are manageable, as only a monocular camera is required. This means that the present invention enables the driver to be supported in situations that were not previously covered. This significantly increases driving safety, particularly on inadequately or unmarked roads. The invention can be implemented cost-effectively, as no additional sensors are required.
Die vorliegende Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:
1 ein Flussdiagramm für das erfindungsgemäße Verfahren;2 ein erstes Bild;3 ein zweites Bild im umgekehrten optischen Fluss;4 ein drittes Bild im umgekehrten optischen Fluss;5 das erste Bild mit Suchbereich;6 das erste Bild mit dominanten Orientierungen;7 das erste Bild mit Fluchtpunkt;8 das erste Bild mit Fahrbahnrand-Kandidaten;9 das erste Bild mit Belegungsstrahlen und Gitterzellen;10 eine Darstellung der Spurbreite;11 eine Darstellung der ermittelten Polynome;12 das ermittelte Spurmodell im ersten Bild;13 ein Kraftfahrzeug mit einer Kamera und einem Spurhalteassistenz-System.
1 a flow chart for the method according to the invention;2 a first picture;3 a second image in reverse optical flow;4 a third image in reverse optical flow;5 the first image with search area;6 the first image with dominant orientations;7 the first image with vanishing point;8th the first picture with road edge candidates;9 the first image with occupancy rays and grid cells;10 a representation of the track width;11 a representation of the determined polynomials;12 the determined track model in the first picture;13 a motor vehicle with a camera and a lane keeping assistance system.
Zunächst wird Bezug genommen auf das in
- 01
- Spurerkennung für Farbmarkierungen
- 02
- Abfrage: weniger als zwei spurbegrenzende Markierungen? Wenn Ja:
- 03
- Kamerabild, Kalibrierung, CAN-Daten werden zur Verfügung gestellt
- 04
- umgekehrter optischer Fluss
- 05
- Suchbereiche anpassen
- 06
- dominante Orientierungen erfassen
- 07
- Fluchtpunktschätzung
- 08
- Kandidaten-Auswahl
- 09
- Erstellung Belegungsstrahl
- 010
- Abfrage: weniger als eine spurbegrenzende Markierung? Wenn Nein:
- 011
- Erfassung Spurbreite in Fahrzeughöhe
- 012
- Spiegelung
- 013
- Plausibilisierung wenn weniger als eine spurbegrenzende Markierung:
- 014
- Modell Fit
- 015
- Plausibilisierung
- 01
- Lane detection for color markings
- 02
- Query: less than two lane markings? If yes:
- 03
- Camera image, calibration, CAN data are provided
- 04
- reverse optical flow
- 05
- Adjust search areas
- 06
- Capture dominant orientations
- 07
- Vanishing point estimation
- 08
- Candidate selection
- 09
- Creation of occupancy beam
- 010
- Query: less than one lane marking? If no:
- 011
- Detection of track width at vehicle height
- 012
- reflection
- 013
- Plausibility check if less than one lane marking:
- 014
- Model Fit
- 015
- reasonability
Die einzelnen, genannten Schritte werden im Folgenden unter Bezugnahme auf die weiteren
Schritt 01:Step 01:
Als Eingabegrößen für das erfindungsgemäße Verfahren werden die Ausgaben einer Spurerkennung für Farbmarkierungen herangezogen.The outputs of a lane recognition system for color markings are used as input variables for the method according to the invention.
Schritt 02:Step 02:
Eine Suche nach einem oder mehreren Fahrbahnrändern muss nur durchgeführt werden, wenn weniger als zwei spurbegrenzende Markierungen für die eigene Fahrspur existieren.A search for one or more lane edges only needs to be carried out if fewer than two lane markings exist for your own lane.
Schritt 03:Step 03:
Als weitere Eingabegrößen werden das Kamerabild, die Kamerakalibrierung und CAN-Daten verwendet.The camera image, camera calibration and CAN data are used as additional input variables.
Es wird angenommen, dass der erste im Bild als befahrbar anzunehmende Bereich 10, wie er in dem in
Schritt 04:Step 04:
Für diesen als befahrbar anzunehmenden Bereich 10 werden nun mittels des umgekehrten optischen Flusses korrespondierende Bereiche 11 in vorangegangenen Bildern gesucht. Dieser Schritt ist aus den
Schritt 05:Step 05:
Ausgehend von diesem ermittelten Fahrschlauch 13 und definierten Grenzen für mögliche Spurbreiten wird der Suchbereich für die Randfindung sinnvoll angepasst. Eine sinnvolle mögliche Spurbreite könnte dabei zwischen 2 m und 3,80 m liegen. Ein solcher erstellter Suchbereich 20 ist in
Schritt 06:Step 06:
Nachdem der Suchbereich 20 eingegrenzt wurde, werden die dominanten Orientierungen 30 für die Bildbereiche ermittelt, die innerhalb des Suchbereiches 20 liegen. Zu diesem Zweck wird zum Beispiel auf ein Graustufenbild, welches in Schritt 03 ermittelt wurde, ein steuerbarer Filter angewandt. Die dominanten Orientierungen sind die Richtungen des steuerbaren Filters, in denen sich die Filterantworten signifikant häufen. Derartige dominante Orientierungen 30 sind in
Schritt 07:Step 07:
Es wird nun angenommen, dass die dominanten Orientierungen 30 in den betrachteten Bildbereichen zu Längsstrukturen gehören, wie etwa zu unmarkierten Fahrbahnrändern oder zu Farbmarkierungen. Unter Verwendung der dominanten Orientierungen und der genannten Annahme kann die Position eines Fluchtpunktes 40 im ersten Bild 1 geschätzt werden. Die Vorgehensweise dabei ist dem Fachmann aus der Veröffentlichung von Rasmussen im Artikel „Texture-Based Vanishing Point Voting for Road Shape Estimation“, publiziert auf der „British Machine Vision Conference“, 2004, bekannt. Durch die Kamerakalibrierung steht ebenfalls eine Näherung der Lage des Fluchtpunktes 40 bereit. Beide Informationsquellen können in geeigneter Weise berücksichtigt werden, um eine ausreichend genaue Fluchtpunktpositionsschätzung durchzuführen. Die Ermittlung des Fluchtpunktes 40 anhand der dominanten Orientierungen 30 ist in
Schritt 08:Step 08:
Wie in
Schritt 09:Step 09:
In verschiedenen Entfernungen vor dem Kraftfahrzeug werden Belegungsstrahlen 60 generiert, die auch als eindimensionale Belegungskarten bezeichnet werden können. Dabei handelt es sich um diskrete Gitter, deren Gitterzellen 61 bestimmten Strecken auf der Fahrbahnebene entsprechen. Der Inhalt einer Gitterzelle 61 gibt die Wahrscheinlichkeit ihrer Belegung an. Die Zellengröße bestimmt die Auflösung. Sie sollte bevorzugt weniger als 20 cm betragen. Als Gitterbreite kann das zu erwartende Lateraldistanz-Spektrum (das heißt die zu erwartende Spurbreite) herangezogen werden. Der jeweilige Belegungsstrahl 60 erhält je Gitterzelle 61 die Wahrscheinlichkeit der Fahrbahnrand-Kandidaten 50, die durch die jeweiligen Gitterzellen verlaufen. Dabei werden im Verfahren fortlaufend nicht nur die Gitterzellen 61 aktualisiert, die den Lateral-Abständen der als Rand klassifizierten Kandidaten 50 entsprechen, sondern es werden bevorzugt auch Nachbar-Gitterzellen 61 angepasst. Die Stärke der Anpassung hängt vom verwendeten Unsicherheitsmodell ab, welches zum Beispiel ein Sensormodell oder eine Normalverteilung sein kann. Die Inhalte der Gitterzellen 61 werden jedoch über der Zeit akkumuliert und somit die Aussagekräftigkeit erhöht. In
Schritt 010:Step 010:
Wenn die Abfrage der Spurerkennung ergibt, dass nicht weniger als eine spurbegrenzende Markierung vorhanden ist, wird gemäß Schritt 011 weiterverfahren.If the lane detection query shows that there is no less than one lane-delimiting marking, the process continues as per
Schritt 011:Step 011:
Aus den Belegungsstrahlen 60 wird in Fahrzeughöhe die Spurbreite ermittelt. Dazu wird die Lateraldistanz mit der höchsten Belegungswahrscheinlichkeit mit der Lateraldistanz des Spurmodells der Farbmarkierung verrechnet. Zum Beispiel kann ein Durchschnittswert der ermittelten Werte gebildet werden. Dadurch wird die Spurbreite 65 erhalten, wie sie in
Schritt 012:Step 012:
Unter Verwendung der ermittelten Spurbreite 65 wird nun das existierende Spurmodell der Farbmarkierung entlang der Fahrzeuglängsachse 63 gespiegelt. Das gespiegelte Modell stellt das gesuchte Spurmodell dar.Using the
Schritt 013:Step 013:
In einem Plausibilisierungsschritt wird mithilfe von Kontextwissen ermittelt, ob die festgestellte Spurmodellkonfiguration bestimmten Erwartungen entspricht. Das heißt, es können Testabfragen gestartet werden, ob bestimmte für die jeweilige Region zutreffende Kriterien erfüllt sind.In a plausibility step, context knowledge is used to determine whether the identified track model configuration corresponds to certain expectations. This means that test queries can be started to determine whether certain criteria applicable to the respective region are met.
Wenn die im Schritt 010 erfolgte Abfrage ergibt, dass weniger als eine spurbegrenzende Markierung vorhanden ist, wird gemäß Schritt 014 weiterverfahren.If the query in
Schritt 014:Step 014:
Es werden auf Basis der Belegungsstrahlen 60 Polynome 70 ermittelt, wie es in
Schritt 015:Step 015:
In einem Plausibilisierungsschritt wird mithilfe von Kontextwissen ermittelt, ob die festgestellte Spurmodellkonfiguration bestimmten Erwartungen entspricht.In a plausibility step, context knowledge is used to determine whether the identified track model configuration corresponds to certain expectations.
Im Ergebnis ist ein Spurmodell 80 ermittelbar, welches auch im ersten Bild 1 darstellbar ist. Auf Basis dieses Spurmodells 80 kann ein Spurhalteassistenz-System sicherheitssteigernd in den Fahrbetrieb eingreifen.As a result, a
BezugszeichenlisteList of reference symbols
- 11
- erstes Bildfirst picture
- 22
- erstes zuvor aufgenommenes Bildfirst previously taken image
- 33
- zweites zuvor aufgenommenes Bildsecond previously taken image
- 1010
- als befahrbar anzunehmender Bereicharea to be assumed to be passable
- 1111
- korrespondierender Bereichcorresponding area
- 1212
- EntsprechungCorrespondence
- 1313
- FahrschlauchDriving tube
- 2020
- SuchbereichSearch area
- 3030
- dominante Orientierungdominant orientation
- 4040
- FluchtpunktVanishing point
- 5050
- Fahrbahnrand-KandidatRoadside candidate
- 5151
- als Rand klassifizierter Kandidatcandidate classified as marginal
- 6060
- BelegungsstrahlOccupancy beam
- 6161
- GitterzelleGrid cell
- 6262
- Wahrscheinlichkeits-VerteilungProbability distribution
- 6363
- Kraftfahrzeug-LängsachseMotor vehicle longitudinal axis
- 6464
- Maximummaximum
- 6565
- SpurbreiteTrack width
- 7070
- PolynomPolynomial
- 8080
- SpurmodellTrack model
- 100100
- KraftfahrzeugMotor vehicle
- 110110
- Kameracamera
- 120120
- Spurhalteassistenz-SystemLane keeping assistance system
Schritte 01 bis 015
- 01
- Spurerkennung für Farbmarkierungen
- 02
- Abfrage: weniger als zwei spurbegrenzende Markierungen? Wenn Ja:
- 03
- Kamerabild, Kalibrierung, CAN-Daten werden zur Verfügung gestellt
- 04
- umgekehrter optischer Fluss
- 05
- Suchbereiche anpassen
- 06
- dominante Orientierungen erfassen
- 07
- Fluchtpunktschätzung
- 08
- Kandidaten-Auswahl
- 09
- Erstellung Belegungsstrahl
- 010
- Abfrage: weniger als eine spurbegrenzende Markierung? Wenn Nein:
- 011
- Erfassung Spurbreite in Fahrzeughöhe
- 012
- Spiegelung
- 013
- Plausibilisierung
- 014
- Modell Fit
- 015
- Plausibilisierung
- 01
- Lane detection for color markings
- 02
- Query: less than two lane markings? If yes:
- 03
- Camera image, calibration, CAN data are provided
- 04
- reverse optical flow
- 05
- Adjust search areas
- 06
- Capture dominant orientations
- 07
- Vanishing point estimation
- 08
- Candidate selection
- 09
- Creation of occupancy beam
- 010
- Query: less than one lane marking? If no:
- 011
- Detection of track width at vehicle height
- 012
- reflection
- 013
- reasonability
- 014
- Model Fit
- 015
- reasonability
Claims (13)
Translated fromGermanPriority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102012008780.2ADE102012008780B4 (en) | 2012-04-28 | 2012-04-28 | Method and device for detecting at least one road edge and motor vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102012008780.2ADE102012008780B4 (en) | 2012-04-28 | 2012-04-28 | Method and device for detecting at least one road edge and motor vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102012008780A1 DE102012008780A1 (en) | 2013-10-31 |
| DE102012008780B4true DE102012008780B4 (en) | 2024-07-25 |
Family
ID=49323070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102012008780.2AActiveDE102012008780B4 (en) | 2012-04-28 | 2012-04-28 | Method and device for detecting at least one road edge and motor vehicle |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102012008780B4 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014223259B4 (en) | 2014-11-14 | 2021-10-14 | Conti Temic Microelectronic Gmbh | Method for estimating the course of a lane in a lane |
| DE102021132924A1 (en) | 2021-12-14 | 2023-06-15 | Valeo Schalter Und Sensoren Gmbh | METHOD OF OPERATING A VEHICLE, COMPUTER PROGRAM, CONTROL SYSTEM AND VEHICLE |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4124654A1 (en)* | 1991-07-25 | 1993-01-28 | Bundesrep Deutschland | Continuous automatic vehicle orientation on road - using monocular image and modelling to estimate road curvature and width from geometry and dynamic aspects of scene |
| EP0361914B1 (en)* | 1988-09-28 | 1995-12-13 | Honda Giken Kogyo Kabushiki Kaisha | A driving way judging device and method |
| US5555312A (en)* | 1993-06-25 | 1996-09-10 | Fujitsu Limited | Automobile apparatus for road lane and vehicle ahead detection and ranging |
| EP1089231A2 (en)* | 1999-09-22 | 2001-04-04 | Fuji Jukogyo Kabushiki Kaisha | Lane marker recognizing apparatus |
| WO2005039957A1 (en) | 2003-10-24 | 2005-05-06 | Robert Bosch Gmbh | Driver assist method and device based on lane information |
| WO2005040950A1 (en) | 2003-09-30 | 2005-05-06 | Robert Bosch Gmbh | Method and device for lane recognition for a vehicle |
| EP1057141B1 (en)* | 1998-02-27 | 2005-08-24 | Lucas Industries Limited | Road profile detection |
| US20090296987A1 (en) | 2008-05-27 | 2009-12-03 | Toyota Jidosha Kabushiki Kaisha | Road lane boundary detection system and road lane boundary detecting method |
| US20100054538A1 (en) | 2007-01-23 | 2010-03-04 | Valeo Schalter Und Sensoren Gmbh | Method and system for universal lane boundary detection |
| WO2010023266A1 (en) | 2008-09-01 | 2010-03-04 | Robert Bosch Gmbh | Device and method for stabilizing a lane keeping support system |
| DE102009044284A1 (en) | 2008-10-22 | 2010-04-29 | Continental Teves Ag & Co. Ohg | Method and apparatus for lane detection |
| US20100161204A1 (en) | 2008-12-23 | 2010-06-24 | National Chiao Tung University | Method for identification of traffic lane boundary |
- 2012
- 2012-04-28DEDE102012008780.2Apatent/DE102012008780B4/enactiveActive
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0361914B1 (en)* | 1988-09-28 | 1995-12-13 | Honda Giken Kogyo Kabushiki Kaisha | A driving way judging device and method |
| DE4124654A1 (en)* | 1991-07-25 | 1993-01-28 | Bundesrep Deutschland | Continuous automatic vehicle orientation on road - using monocular image and modelling to estimate road curvature and width from geometry and dynamic aspects of scene |
| US5555312A (en)* | 1993-06-25 | 1996-09-10 | Fujitsu Limited | Automobile apparatus for road lane and vehicle ahead detection and ranging |
| EP1057141B1 (en)* | 1998-02-27 | 2005-08-24 | Lucas Industries Limited | Road profile detection |
| EP1089231A2 (en)* | 1999-09-22 | 2001-04-04 | Fuji Jukogyo Kabushiki Kaisha | Lane marker recognizing apparatus |
| WO2005040950A1 (en) | 2003-09-30 | 2005-05-06 | Robert Bosch Gmbh | Method and device for lane recognition for a vehicle |
| WO2005039957A1 (en) | 2003-10-24 | 2005-05-06 | Robert Bosch Gmbh | Driver assist method and device based on lane information |
| US20100054538A1 (en) | 2007-01-23 | 2010-03-04 | Valeo Schalter Und Sensoren Gmbh | Method and system for universal lane boundary detection |
| US20090296987A1 (en) | 2008-05-27 | 2009-12-03 | Toyota Jidosha Kabushiki Kaisha | Road lane boundary detection system and road lane boundary detecting method |
| WO2010023266A1 (en) | 2008-09-01 | 2010-03-04 | Robert Bosch Gmbh | Device and method for stabilizing a lane keeping support system |
| DE102009044284A1 (en) | 2008-10-22 | 2010-04-29 | Continental Teves Ag & Co. Ohg | Method and apparatus for lane detection |
| US20100161204A1 (en) | 2008-12-23 | 2010-06-24 | National Chiao Tung University | Method for identification of traffic lane boundary |
Non-Patent Citations (8)
| Title |
|---|
| Graovac, S. et al. (Detection of road image borders based on texture classification; International Journal of Advanced Robotic Systems, 2012; 9. Jg., Nr. 6, Seiten 1-12) |
| GRAOVAC, S., Goma, A.: Detection of road image borders based on texture classification. In: International Journal of Advanced Robotic Systems, 2012 (first published online on 01.01.2012), 9. Jg., Nr. 6, S. 1-12. doi: 10.5772/54359 [mit Zeitnachweis vom 01.01.2012, recherchiert am 20.12.2023]* |
| Lieb, D. et al. (Adaptive road following using self-supervised learning and reverse optical flow; Robotics: Science and Systems, 2005, Seiten 1-8) |
| LIEB, D., Lookingbill, A., Thrun, S.: Adaptive road following using self-supervised learning and reverse optical flow. In: Robotics: science and systems. 2005. S. 1-8 [online abrufbar über https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=f57132b85b6063ac2ed6c8f553c3120b9e949e21]* |
| Lookingbill, A.; Rogers, J.; Lieb, D.; Curry, J. and Thrun, S. „Reverse Optical Flow for Self-Supervised Adaptive Autonomous Robot Navigation" im International Journal of Computer Vision, Volume 74 Issue 3, September 2007 |
| Rasmussen, C., (Texture-Based Vanishing Point Voting for Road Shape Estimation; BMVC 2004, Seiten 1-10) |
| RASMUSSEN, C., et al.: Texture-Based Vanishing Point Voting for Road Shape Estimation. In: BMVC. 2004. S. 1-10. [online abrufbar über https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=bf6be85b345f5f2d19fa7027d72d816491e20045] (von der Anmelderin selbstgenannter Stand der Technik)* |
| Zeitnachweis D3* |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102012008780A1 (en) | 2013-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1267178B1 (en) | Method for processing a high definition picture | |
| DE102014209137B4 (en) | Method and device for calibrating a camera system of a motor vehicle | |
| EP2888604B1 (en) | Method for determining the course of a lane for a vehicle | |
| EP2467291B1 (en) | Method and controller for a robust detection of a vehicle lane change | |
| DE102013205952B4 (en) | Reconfigurable system and method for the detection of a free path | |
| EP2963631B1 (en) | Method for determining a parking space from a number of measuring points | |
| DE102018133441A1 (en) | Method and system for determining landmarks in the surroundings of a vehicle | |
| DE102018111935A1 (en) | Image processing system, image processing method, information processing apparatus and recording medium | |
| DE102019111249A1 (en) | METHOD AND SYSTEM FOR IMPROVING OBJECT DETECTION AND OBJECT CLASSIFICATION | |
| DE102018123393A1 (en) | Detection of parking areas | |
| DE102021213021A1 (en) | PARKING ASSISTANCE SYSTEM WITH IMPROVED ESCAPE CONTROL AND METHOD THEREOF | |
| DE102018005969A1 (en) | Method for operating a driver assistance system with two detection devices | |
| DE102019216373A1 (en) | Method of detecting a target object | |
| DE102018220114A1 (en) | Device and method for detecting a sensor blockage of an environmental sensor | |
| DE102018124979A1 (en) | Driver assistance system for determining a distance between two vehicles with a camera | |
| DE10148062A1 (en) | Localizing system for objects uses transmitter for pulsed emission of laser beams and receiver with sensor to pick up reflected beam pulses and to analyze them regarding their execution time | |
| EP3663881B1 (en) | Method for controlling an autonomous vehicle on the basis of estimated movement vectors | |
| DE102022110895A1 (en) | System and method for window generation for areas of interest for attention-based perception | |
| DE102012008780B4 (en) | Method and device for detecting at least one road edge and motor vehicle | |
| DE102015204529A1 (en) | Method and device for object recognition in a means of transportation | |
| WO2019057252A1 (en) | METHOD AND DEVICE FOR DETECTING LICENSES, DRIVER ASSISTANCE SYSTEM AND VEHICLE | |
| DE102024203866A1 (en) | DEVICE FOR CONTROLLING A VEHICLE AND METHOD THEREFOR | |
| DE102014223259B4 (en) | Method for estimating the course of a lane in a lane | |
| WO2023186428A1 (en) | Calibration and adjustment of a camera of a vehicle | |
| DE102020211331B4 (en) | Assignment of traffic lights to corresponding lanes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R163 | Identified publications notified | ||
| R012 | Request for examination validly filed | ||
| R079 | Amendment of ipc main class | Free format text:PREVIOUS MAIN CLASS: G06K0009620000 Ipc:G06V0030190000 | |
| R079 | Amendment of ipc main class | Free format text:PREVIOUS MAIN CLASS: G06V0030190000 Ipc:G06V0020560000 | |
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division | ||
| R020 | Patent grant now final |