DieErfindung betrifft ein Verfahren und eine Vorrichtung zur Kalibrierungeiner Anordnung zur Überwachung einer Umgebung eines Fahrzeugs, wobeidie Umgebung anhand von mehreren Bilderfassungseinheiten erfasstwird, wobei aus mittels der Bilderfassungseinheiten erfassten Einzelbildernanhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird,welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektivezeigt.TheThe invention relates to a method and a device for calibrationan arrangement for monitoring an environment of a vehicle, whereincaptures the environment using multiple image capture unitsis, where from using the image acquisition units captured individual imagesan overall image is generated on the basis of an image processing unit,which the vehicle and its surroundings from a bird's eye viewshows.
Nutzfahrzeugezum Güter- oder Personentransport sind häufigdurch große Fahrzeugabmessungen und eine geringe Übersichtlichkeitgekennzeichnet. Auch moderne Personenkraftwagen weisen aufgrundihrer äußeren Gestalt häufig eine sehr geringe Übersichtlichkeitauf. Daraus resultiert, dass insbesondere ein Rangieren mit diesenFahrzeugen für einen Fahrer sehr schwierig ist. Deshalbist es vorteilhaft, Fahrzeuge und deren Umgebung aus einer Vogelperspektiveauf einem Bildschirm darzustellen, so dass das Fahrzeug und dessengesamte Umgebung für den Fahrer sichtbar sind.commercial vehiclesfor freight or passenger transport are commondue to large vehicle dimensions and a low claritycharacterized. Even modern passenger cars are duetheir outer shape often a very small clarityon. As a result, in particular a shunting with theseVehicles for a driver is very difficult. ThereforeIt is advantageous to view vehicles and their surroundings from a bird's eye viewto display on a screen so that the vehicle and itsentire environment are visible to the driver.
Ausdem Stand der Technik sind verschiedene Verfahren und Vorrichtungenzu einer derartigen Überwachung und Darstellung einer Umgebungeines Fahrzeugs bekannt, wobei einem Fahrer des Fahrzeugs insbesondereein Bild des Fahrzeugs und dessen Umgebung aus einer Vogelperspektiveausgegeben wird. Dadurch wird für den Fahrer eine verbesserteRundumsicht geschaffen, die diesem als Assistenzfunktion bzw. Unterstützungwährend des Fahrbetriebes, beispielsweise bei einem Rangieren desFahrzeugs, dient. Weiterhin können Unfälle vermiedenwerden, welche sich häufig aufgrund einer schlechten Rundumsicht,insbesondere bei großen und schwer überschaubarenFahrzeugen, ereignen.OutThe prior art includes various methods and devicesto such monitoring and representation of an environmenta vehicle, wherein a driver of the vehicle in particulara picture of the vehicle and its surroundings from a bird's-eye viewis issued. This is an improved for the driverAll-round view created this as an assistance function or supportduring driving, for example, when maneuvering theVehicle, serves. Furthermore, accidents can be avoidedwhich are often due to poor visibility,especially for large and difficult to manageVehicles, happen.
Umeine einwandfreie Funktion dieser Vorrichtungen sicherzustellen,ist eine Kalibrierung der einzelnen Bilderfassungseinheiten erforderlich.Zu einer Kalibrierung der Bilderfassungseinheiten sind im Standder Technik verschiedene Verfahren und Vorrichtungen bekannt.Aroundto ensure proper functioning of these devicesCalibration of the individual image acquisition units is required.To a calibration of the image acquisition units are in the stateVarious methods and devices are known in the art.
Einderartiges Verfahren und eine Vorrichtung sind in der
DerErfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtunganzugeben, mittels welchen mit geringem instrumentellen und personellemAufwand eine Kalibrierung von einzelnen Bilderfassungseinheitendurchführbar ist und eine hohe Qualität des ausgegebenenGesamtbilds erzielt wird.Of theInvention is based on the object, a method and an apparatusindicate, by means of which with little instrumental and personalEffort a calibration of individual image acquisition unitsfeasible and high quality of the issuedOverall picture is achieved.
DieAufgabe wird hinsichtlich des Verfahrens erfindungsgemäß durchdie im Anspruch 1 und hinsichtlich der Vorrichtung durch die imAnspruch 6 angegebenen Merkmale gelöst. Vorteilhafte Weiterbildungender Erfindung sind Gegenstand der Unteransprüche.TheTask is according to the invention in terms of the methodin the claim 1 and in terms of the device by the imClaim 6 specified features solved. Advantageous developmentsThe invention are the subject of the dependent claims.
Ineinem Verfahren zur Kalibrierung einer Anordnung zur Überwachungeiner Umgebung eines Fahrzeugs, wobei die Umgebung anhand von mehrerenBilderfassungseinheiten, deren Erfassungsbereiche sich zumindestteilweise überlappen und einen Überlappungsbereichbilden, erfasst wird, wobei aus mittels der Bilderfassungseinheitenerfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbilderzeugt wird, welches das Fahrzeug und dessen Umgebung aus einerVogelperspektive zeigt, werden die Bilderfassungseinheiten mittelsmarkanter Punkte und/oder Kanten am Fahrzeug kalibriert, indem Positionenund/oder Verläufe dieser markanten Punkte und/oder Kantenin einem aktuellen Bildausschnitt der jeweiligen Bilderfassungseinheitmit Positionen und/oder Verläufen dieser markanten Punkteund/oder Kanten in einem Modellbild verglichen werden, oder eineMehrzahl von Bilderfassungseinheiten werden mittels markanter Punkte und/oderLinien auf einer Fahrbahn kalibriert, welche von dieser MehrzahlBilderfassungseinheiten erfasst werden.Ina method for calibrating a device for monitoringan environment of a vehicle, wherein the environment based on severalImage capture units, whose coverage areas at leastpartially overlap and an overlap areaform, is detected, by means of the image acquisition unitsCaptured frames based on an image processing unit an overall pictureis generated, which the vehicle and its surroundings from aBird's eye view, the image acquisition units are usingMarked points and / or edges on the vehicle calibrated by positionsand / or gradients of these prominent points and / or edgesin a current image section of the respective image capture unitwith positions and / or gradients of these prominent pointsand / or edges in a model image are compared, or oneA plurality of image acquisition units are identified by means of prominent points and / orLines calibrated on a roadway, which of this pluralityCaptured image capture units.
DiesesVerfahren mit den beiden Möglichkeiten zur Kalibrierungder Bilderfassungseinheiten des Fahrzeugs ersetzt ein bisher üblichesVerfahren, bei welchem die Bilderfassungseinheiten am Ende eines Produktionsbandeskalibriert werden, an welchem das Fahrzeug hergestellt wurde. Dasbisherige Verfahren ist sehr aufwändig und kann auch nichtohne erheblichen Aufwand beispielsweise in einer Werkstatt eingesetztwerden, wenn zum Beispiel eine Bilderfassungseinheit ausgetauschtwurde. Mittels dieses Verfahrens der Kalibrierung der Bilderfassungseinheitenam Ende des Produktionsbandes werden die Bilderfassungseinheitenauch nur dieses eine Mal kalibriert. Mögliche spätereAbweichungen von diesen kalibrierten optimalen Einstellungen können,da keine weitere Kalibrierung erfolgt, nicht korrigiert werden.ThisMethod with the two possibilities for calibrationThe image capture units of the vehicle replaced a previously commonMethod in which the image acquisition units at the end of a production linecalibrated on which the vehicle was manufactured. ThePrevious method is very complex and can notused without considerable effort, for example in a workshopwhen, for example, an image capture unit is replacedhas been. By means of this method of calibration of the image acquisition unitsAt the end of the production line are the image capture unitscalibrated only once this time. Possible laterDeviations from these calibrated optimal settings cansince no further calibration is done, can not be corrected.
Daserfindungsgemäße Verfahren ermöglichteine einfache Kalibrierung der Bilderfassungseinheiten ohne zusätzlicheHilfsmittel oder einen zusätzlichen Aufwand. Da diese Kalibrierungständig bzw. in regelmäßigen Abständenmöglich ist, insbesondere auch während der Fahrt,wird durch das erfindungsgemäße Verfahren sichergestellt,dass die Bilderfassungseinheiten des Fahrzeugs jederzeit optimaleingestellt sind. Mittels dieses Verfahrens ist beispielsweise aucheine Nachkalibrierung der Bilderfassungseinheiten durchführbar,welche nach einiger Zeit beispielsweise aufgrund von Fahrwerksveränderungennotwendig werden, die bei einem neuen Fahrzeug nach einer längerenEinfahrzeit auftreten und nach dem Stand der Technik eine aufwändigeNachkalibrierung der Bilderfassungseinheiten beispielsweise in einerdafür geeigneten Werkstatt erfordern. Auch nach ähnlichenVeränderungen, beispielsweise nach einer Änderungeines Fahrwerks oder von Reifen des Fahrzeugs müssen dieBilderfassungseinrichtungen unter Umständen neu kalibriertwerden. Dies ist mittels des erfindungsgemäßen Verfahrenseinfach, schnell, effektiv und ohne Zeit-, Komfort-, und Kostenbelastungenmöglich. Diese stets optimal kalibrierten Bilderfassungseinheitenermöglichen eine optimale Überwachung der Umgebungdes Fahrzeugs, womit ein erheblicher Sicherheitsgewinn verbundenist.The inventive method made possible light a simple calibration of the image acquisition units without additional aids or additional effort. Since this calibration is possible constantly or at regular intervals, in particular during the journey, it is ensured by the method according to the invention that the image acquisition units of the vehicle are optimally adjusted at all times. By means of this method, for example, a recalibration of the image acquisition units is feasible, which are necessary after some time, for example, due to chassis changes that occur in a new vehicle after a long break-in and the state of the art, a complex recalibration of image acquisition units, for example, in a suitable workshop require. Even after similar changes, for example, after a change of a chassis or tires of the vehicle, the image capture devices may need to be recalibrated. This is possible by means of the method according to the invention simple, fast, effective and without time, comfort, and cost burdens. These always optimally calibrated image acquisition units allow optimal monitoring of the environment of the vehicle, which is associated with a significant gain in security.
Mitdem Entfall der aufwändigen Kalibrierung am Ende des Produktionsbandesist eine Zeit- und Platzeinsparung verbunden, wodurch die Produktionskostenreduziert werden. Müssen Bilderfassungseinheiten in einerWerkstatt ausgewechselt werden, können neu eingesetzteBilderfassungseinheiten einfach und ohne großen Aufwandkalibriert werden. Daraus resultieren eine Verringerung von Reparaturzeitund Reparaturkosten.Withthe elimination of the complex calibration at the end of the production lineis associated with a time and space saving, reducing production costsbe reduced. Need image capture units in oneWorkshop can be replaced, can be used newlyImage capture units easily and without much effortbe calibrated. This results in a reduction of repair timeand repair costs.
Ausführungsbeispieleder Erfindung werden anhand von Zeichnungen näher erläutert.embodimentsThe invention will be explained in more detail with reference to drawings.
Dabeizeigt:thereshows:
Insbesonderein Überlappungsbereichen U12, U13, U23, d. h. Bereiche,in denen sich Bildausschnitte B1, B2, B3 von mehreren Kameras K1,K2, K3 überlappen, muss aus Bereichen von Einzelbildernmehrerer Kameras K1, K2, K3 ein Bild des ÜberlappungsbereichsU12, U13, U23 als ein Teil des Gesamtbildes G ermittelt und dargestelltwerden. Sind die Kameras K1, K2, K3 nicht exakt eingebaut, so dassihre Aufnahmebereiche und damit auch die für das GesamtbildG der Vogelperspektive verwendeten Einzelbilder verschoben sind,so kann die Bildverarbeitungseinheit möglicherweise keinexaktes Gesamtbild G ermitteln, da es insbesondere in den ÜberlappungsbereichenU12, U13, U23 zu Fehldarstellungen kommen kann, beispielsweise einedoppelte oder verschobene Darstellung von abgebildeten Gegenständenoder beispielsweise eine Fahrbahnmarkierung SL, ML, welche im GesamtbildG der Vogelperspektive als mehrere verschobene oder schrägzueinander laufende Linien dargestellt wird. Des Weiteren könnendurch eine Verwendung verschobener Einzelbilder tote Winkel im GesamtbildG der Vogelperspektive entstehen, d. h. Bereiche der Umgebung desFahrzeugs F, die in dem Gesamtbild G der Vogelperspektive nichtabgebildet werden, womit große Sicherheitsrisiken verbundensind. D. h. eine optimale Kalibrierung der Kameras K1, K2, K3 musssichergestellt werden, und dies sowohl direkt nach einem Einbauoder beispielsweise einer reparaturbedingten Auswechslung einerKamera K1, K2, K3 als auch im laufenden Betrieb des Fahrzeugs F.Ein verwendetes Einzelbild der Kameras muss genau dem vorgegebenenBildausschnitt B1, B2, B3 entsprechen.Especiallyin overlapping areas U12, U13, U23, d. H. areasin which image sections B1, B2, B3 of several cameras K1,K2, K3 overlap, must be made of areas of framesseveral cameras K1, K2, K3 an image of the overlap areaU12, U13, U23 as a part of the overall image G determined and displayedbecome. Are the cameras K1, K2, K3 not installed exactly, so thattheir reception areas and thus also for the overall pictureG bird's-eye view used single frames are shiftedso the image processing unit may not workdetermine exact overall image G, since it is especially in the overlapping areasU12, U13, U23 can lead to misrepresentations, such as adouble or shifted representation of imaged objectsor, for example, a lane marking SL, ML, which in the overall pictureG bird's-eye view as several shifted or slantedto each other running lines is shown. Furthermore you canby using shifted frames dead angles in the overall pictureG bird's-eye view, d. H. Areas of the environment ofVehicle F, which is not in the overall picture G bird's eye viewbe imaged, which involves great security risksare. Ie. optimal calibration of the cameras K1, K2, K3 mustbe ensured, and this both directly after installationor, for example, a repair-related replacement of aCamera K1, K2, K3 and during operation of the vehicle F.A single frame of the cameras used must be exactly the sameImage section B1, B2, B3 correspond.
Daherwird als ein Vergleichsbild eine Abbildung des jeweiligen vorgegebenenBildausschnitts B1, B2, B3 für jede Kamera K1, K2, K3 inder Bildverarbeitungseinheit gespeichert. Zur Kalibrierung der jeweiligenKamera K1, K2, K3 wird der aktuelle Bildausschnitt, mit dem gespeichertenVergleichsbild verglichen, welches dem Bildausschnitt B1, B2, B3 entspricht,welcher als Einzelbild der jeweiligen Kamera K1, K2, K3 zur Verarbeitungfür ein Gesamtbild G einer Vogelperspektive verwendet werdensoll, insbesondere werden Positionen von markanten Punkten und/oderLinien E, MK, FR, DK, KK, KH, A verglichen. Stimmen diese Positionenin dem gespeicherten Vergleichsbild und dem aktuellen Bildausschnitt derjeweiligen Kamera K1, K2, K3 nicht überein, so wird inder Bildverarbeitungseinheit der aktuelle Bildausschnitt soweitverschoben, bis sich dieser mit dem gespeicherten Vergleichsbildvollständig überlagert, d. h. bis sich die vorgegebenenPunkte und/oder Linien E, MK, FR, DK, KK, KH, A auf dem aktuellen Bildausschnittexakt an der gleichen Position befinden wie auf dem gespeichertenVergleichsbild.Therefore, an image of the respective predefined image detail B1, B2, B3 for each camera K1, K2, K3 is stored in the image processing unit as a comparison image. To calibrate the respective camera K1, K2, K3, the current image detail is compared with the stored comparison image, which corresponds to the image detail B1, B2, B3, which is a single image of the respective camera K1, K2, K3 for processing an overall image G of a bird's-eye view is to be used, in particular positions of prominent points and / or lines E, MK, FR, DK, KK, KH, A are compared. Are these positions in the stored comparison image and the current image section of the respective camera K1, K2, K3, the current image section is shifted in the image processing unit until it completely overlaps the stored comparison image, ie until the predetermined points and / or lines E, MK, FR, DK, KK, KH, A are exactly in the same position on the current image section as on the saved comparison image.
Derartigemarkante Punkte und/oder Linien E, MK, FR, DK, KK, KH, A sind fürbeide vorn am Fahrzeug F angeordnete Kameras K1, K2 beispielsweise,wie im hier dargestellten Ausführungsbeispiel, markanteKanten MK auf einer Motorhaube des Fahrzeugs F, ein seitlicher FrontscheibenrahmenFR, eine Dachseitenkante DK und/oder beispielsweise ein markantauf der Motorhaube angeordnetes Herstelleremblem E. Fürdie hintere Kamera K3 sind dies beispielsweise derartige markanteKanten KK auf einer Kofferraumklappe, eine hintere Kante KH derKofferraumklappe und/oder beispielsweise ein Antennenfuß A.Diese Art der Kalibrierung kann sowohl bei stehendem Fahrzeug Fals auch während einer Fahrt durchgeführt werden,da diese markanten Punkte und/oder Linien weder ihre Position nochihre Form verändern.suchdistinctive points and / or lines E, MK, FR, DK, KK, KH, A are forboth cameras K1, K2 arranged on the front of the vehicle F, for example,as in the embodiment shown here, strikingEdges MK on a hood of the vehicle F, a side windscreen frameFR, a roof side edge DK and / or for example a strikingon the bonnet arranged manufacturer emblem E. Fürthe rear camera K3, these are for example such strikingEdges KK on a trunk lid, a rear edge KH theBoot lid and / or for example an antenna base A.This type of calibration can be done both with the vehicle Fas well as being done while drivingbecause these distinctive points and / or lines neither their position norchange their shape.
Eineandere Möglichkeit der Kalibrierung besteht in einer Verwendungvon markanten Punkten und/oder Linien ML, SL auf einer Fahrbahn,auf welcher sich das Fahrzeug F bewegt, beispielsweise Fahrbahnmarkierungen.Voraussetzung für diese Art der Kalibrierung ist allerdings,dass sich das Fahrzeug F auf einer geraden Fahrbahn bewegt, weshalb voreinem Start und während einer derartigen Kalibrierung einLenkwinkel und eine Gierrate des Fahrzeugs F überwachtwerden muss, d. h. nur wenn der Lenkwinkel und die Gierrate gegenNull gehen, ist eine solche Kalibrierung durchführbar.Bei dieser Art der Kalibrierung werden solche markanten Punkte und/oderLinien ML, SL auf der Fahrbahn zur Kalibrierung der Kameras K1,K2, K3 verwendet, welche sich jeweils in einem ÜberlagerungsbereichU12, U13, U23 mehrer, d. h. von mindestens zwei Kameras K1, K2,K3 befinden, d. h. von diesen gleichzeitig abgebildet werden.AAnother possibility of calibration is a useof prominent points and / or lines ML, SL on a carriageway,on which the vehicle F is moving, for example lane markings.However, a prerequisite for this type of calibration isthat the vehicle F moves on a straight lane, why vora start and during such a calibrationSteering angle and yaw rate of the vehicle F monitorsmust be, d. H. only if the steering angle and the yaw rate againstGo zero, such a calibration is feasible.In this type of calibration, such prominent points and / orLines ML, SL on the road to calibrate the cameras K1,K2, K3 is used, each in a superposition areaU12, U13, U23 several, d. H. of at least two cameras K1, K2,K3 are, d. H. be imaged by these at the same time.
Sinddiese Kameras K1, K2, K3 richtig kalibriert, wird eine solche Linieoder ein solcher Punkt in der Vogelperspektive exakt dargestellt,da von der Bildverarbeitungseinheit in den ÜberlagerungsbereichenU12, U13, U23 ein Gesamtbild G aus den Einzelbildern der KamerasK1, K2, K3 ermittelt wird. Ist zumindest eine Kamera K1, K2, K3nicht exakt kalibriert, wird beispielsweise ein Mittelstreifen MLeiner Fahrbahn doppelt, also etwa leicht verschoben ein zweitesMal dargestellt oder nicht exakt geradlinig, so dass sich zwei dargestellteMittelstreifen ML kreuzen.areThese cameras K1, K2, K3 properly calibrated, will be such a lineor such a point is shown in bird's eye view exactlyda from the image processing unit in the overlay areasU12, U13, U23 an overall picture G from the individual pictures of the camerasK1, K2, K3 is determined. Is at least one camera K1, K2, K3not exactly calibrated, for example, a median strip MLa lane twice, so slightly shifted a secondSometimes shown or not exactly straight, so that two shownCross median stripe ML.
Imhier dargestellten Ausführungsbeispiel könnenzur Kalibrierung der beiden vorderen Kameras K1, K2 sowohl der MittelstreifenML der Fahrbahn als auch ein Seitenstreifen SL verwendet werden,da sich beide im Überlagerungsbereich U12 beider KamerasK1, K2 befinden. Die hintere Kamera K3 kann mit der vorderen linkenKamera K1 mit Hilfe des Mittelstreifens ML und mit der vorderenrechten Kamera K2 mit Hilfe des Seitenstreifens SL kalibriert werden. ZurKalibrierung in diesem Ausführungsbeispiel ist allerdingsder Mittelstreifen ML besser geeignet, weil bei diesem anhand dereinzelnen Abschnitte die Kameras K1, K2, K3 sowohl quer zur alsauch in Fahrtrichtung des Fahrzeugs F kalibriert werden können, d.h. wenn auf dem Gesamtbild G der Vogelperspektive zwei Streifennebeneinander dargestellt werden, so werden die jeweiligen BildausschnitteB1, B2, B3 solange kalibriert. bis sich die Streifen vollständig überlagernund nur noch ein Streifen dargestellt wird.in theEmbodiment shown herefor calibrating the two front cameras K1, K2 both the median stripML of the roadway as well as a side strip SL are usedsince both are in the overlapping area U12 of both camerasK1, K2 are located. The rear camera K3 can be with the front leftCamera K1 with the help of the center strip ML and with the frontcamera K2 be calibrated using the side strip SL. toCalibration in this embodiment, however, isthe median stripe ML more suitable, because this is based on theindividual sections, the cameras K1, K2, K3 both across thecan also be calibrated in the direction of travel of the vehicle F, d.H. if on the overall picture G bird's eye view two stripesare displayed side by side, so the respective image sectionsB1, B2, B3 calibrated. until the stripes completely overlapand only one strip is displayed.
Dader Mittelstreifen ML aber nicht durchgehend ist, sondern stetigunterbrochen wird, können Anfänge oder Enden einzelnerAbschnitte des Mittelstreifens zur Kalibrierung der BildausschnitteB1, B2, B3 in Fahrtrichtung verwendet werden, da diese Anfängeund Enden jeweils markante Punkte darstellen, die ebenfalls im ÜberlappungsbereichU12, U13, U23 der jeweiligen Bildausschnitte B1, B2, B3 übereinstimmenmüssen, um im Gesamtbild G der Vogelperspektive exakt dargestelltzu werden, da sonst beispielsweise auf dem Gesamtbild G eine durchgezogeneLinie zu sehen ist. Im hier dargestellten Ausführungsbeispiel,bei welchem sich das Fahrzeug F auf dieser geraden Fahrbahn bewegt,wird also von der Bildverarbeitungseinheit überprüft,ob die Mittellinie ML vor, neben und hinter dem Fahrzeug F einheitlich alsgerade, unterbrochene Linie und die Seitenlinie SL einheitlich vor,neben und hinter dem Fahrzeug als einheitliche gerade Linie im GesamtbildG der Vogelperspektive dargestellt wird. Ist dies nicht der Fall, werdendie jeweiligen Bildausschnitte B1, B2, B3 der betreffenden KamerasK1, K2, K3 solange angepasst, bis die Darstellung exakt ist. DieseBildauswertung, Anpassung der Bildausschnitte B1, B2, B3 und nachfolgende Überprüfungerfordert mehrere Rechenzyklen der Verarbeitungseinheit, bis eineexakte Kalibrierung aller Kameras K1, K2, K3 erreicht ist.Therethe median strip ML but not continuous, but steadilycan be interrupted, beginnings or ends of individualSections of the center strip for the calibration of the image sectionsB1, B2, B3 are used in the direction of travel, since these beginningsand ends each represent prominent points that are also in the overlap areaU12, U13, U23 of the respective image sections B1, B2, B3 matchneed to be accurately represented in the overall picture G of bird's-eye viewto be otherwise otherwise, for example, on the overall picture G is a solidLine can be seen. In the embodiment shown here,in which the vehicle F moves on this straight lane,is therefore checked by the image processing unit,whether the center line ML before, beside and behind the vehicle F uniform thanstraight, broken line and the lateral line SL uniform before,beside and behind the vehicle as a uniform straight line in the overall pictureG bird's eye view is presented. If not, will bethe respective image sections B1, B2, B3 of the respective camerasK1, K2, K3 adjusted until the representation is exact. TheseImage analysis, adaptation of image sections B1, B2, B3 and subsequent verificationrequires several processing cycles of the processing unit until aexact calibration of all cameras K1, K2, K3 is reached.
Mittelsder beiden Kalibrierverfahren ist auch eine Anpassung von Parameternfür eine Farbintensität der Einzelbilder der KamerasK1, K2, K3 und ein Weißabgleich für diese Einzelbilderdurch die Bildverarbeitungseinheit durchführbar, so dassein Gesamtbild G der Vogelperspektive einen einheitlichen Farbverlaufhat und keine Farbsprünge zwischen einzelnen Bereichendes Gesamtbildes G auftreten, welche jeweils von Einzelbildern verschiedenerKameras K1, K2, K3 stammen. Dies wird ermöglicht durch einenVergleich der Farbintensitäten der jeweiligen ÜberlappungsbereicheU12, U13, U23, da diese von jeweils zwei Kameras K1, K2, K3 abgebildetwerden und deren Farbdarstellung demzufolge übereinstimmenmuss. Ist dies nicht der Fall, so können die entsprechendenParameter der jeweiligen Kamera K1, K2, K3 bzw. der Bildverarbeitungder Einzelbilder der jeweiligen Kamera K1, K2, K3 bei der Erstellungdes Gesamtbildes G durch die Bildverarbeitungseinheit entsprechendverändert und angepasst werden, so dass ein farblich einheitlichesGesamtbild G aus der Vogelperspektive dargestellt werden kann. Während derFahrt beispielsweise auftretende größere Intensitäts-oder Farbsprünge sind dabei mittels entsprechender Filterausfilterbar.An adaptation of parameters for a color intensity of the individual images of the cameras K1, K2, K3 and a white balance for these individual images by the image processing unit can also be carried out by means of the two calibration methods, so that an overall image G of the bird's-eye view has a uniform color progression and no color jumps between individual regions of the overall image G, which each originate from individual images of different cameras K1, K2, K3. This is made possible by a comparison of the color intensities of the respective overlapping regions U12, U13, U23, since these are imaged by two cameras K1, K2, K3 in each case and their color representation must therefore match. If this is not the case, then the corresponding parameters of the respective camera K1, K2, K3 or the image processing of the individual images of the respective camera K1, K2, K3 can be correspondingly changed and adapted by the image processing unit during the creation of the overall image G, so that a color uniform overall picture G can be shown from a bird's eye view. During the journey, for example, occurring larger intensity or color jumps are ausfilterbar by means of appropriate filters.
Nebenden in der
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION
Diese Listeder vom Anmelder aufgeführten Dokumente wurde automatisierterzeugt und ist ausschließlich zur besseren Informationdes Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschenPatent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmtkeinerlei Haftung für etwaige Fehler oder Auslassungen.This listThe documents listed by the applicant have been automatedgenerated and is solely for better informationrecorded by the reader. The list is not part of the GermanPatent or utility model application. The DPMA takes overno liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102008046545ADE102008046545A1 (en) | 2008-09-10 | 2008-09-10 | Method for calibrating assembly for monitoring environment of vehicle, involves detecting environment of vehicle according to multiple image detection units |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102008046545ADE102008046545A1 (en) | 2008-09-10 | 2008-09-10 | Method for calibrating assembly for monitoring environment of vehicle, involves detecting environment of vehicle according to multiple image detection units |
| Publication Number | Publication Date |
|---|---|
| DE102008046545A1true DE102008046545A1 (en) | 2009-05-14 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102008046545AWithdrawnDE102008046545A1 (en) | 2008-09-10 | 2008-09-10 | Method for calibrating assembly for monitoring environment of vehicle, involves detecting environment of vehicle according to multiple image detection units |
| Country | Link |
|---|---|
| DE (1) | DE102008046545A1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2874393A1 (en)* | 2013-10-31 | 2015-05-20 | Continental Automotive GmbH | Ego-identification and mapping of a vehicle model |
| CN105139389A (en)* | 2014-05-16 | 2015-12-09 | 通用汽车环球科技运作有限责任公司 | Surround-view camera system (vpm) and vehicle dynamic |
| EP2955915A1 (en)* | 2014-06-10 | 2015-12-16 | LG Electronics Inc. | Around view provision apparatus and vehicle including the same |
| EP2848486A4 (en)* | 2012-10-24 | 2016-01-20 | Sekonix Co Ltd | Device and method for producing bird's eye view having function of automatically correcting image |
| DE102015004943A1 (en)* | 2015-04-17 | 2016-10-20 | Diehl Bgt Defence Gmbh & Co. Kg | Method for directional calibration of cameras of a camera system |
| DE102016009756A1 (en) | 2016-08-10 | 2018-02-15 | Daimler Ag | Method for calibrating a sensor system of a motor vehicle and sensor system |
| EP3299299A1 (en)* | 2016-09-27 | 2018-03-28 | The Boeing Company | Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras |
| WO2020052853A1 (en)* | 2018-09-12 | 2020-03-19 | Robert Bosch Gmbh | Method for calibrating a capture system |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5444478A (en) | 1992-12-29 | 1995-08-22 | U.S. Philips Corporation | Image processing method and device for constructing an image from adjacent images |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5444478A (en) | 1992-12-29 | 1995-08-22 | U.S. Philips Corporation | Image processing method and device for constructing an image from adjacent images |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2848486A4 (en)* | 2012-10-24 | 2016-01-20 | Sekonix Co Ltd | Device and method for producing bird's eye view having function of automatically correcting image |
| EP2874393A1 (en)* | 2013-10-31 | 2015-05-20 | Continental Automotive GmbH | Ego-identification and mapping of a vehicle model |
| CN105139389A (en)* | 2014-05-16 | 2015-12-09 | 通用汽车环球科技运作有限责任公司 | Surround-view camera system (vpm) and vehicle dynamic |
| CN105139389B (en)* | 2014-05-16 | 2018-11-27 | 通用汽车环球科技运作有限责任公司 | panoramic camera system (VPM) and vehicle dynamic |
| CN105313779B (en)* | 2014-06-10 | 2018-05-11 | Lg电子株式会社 | Vehicle of the vehicle with panoramic looking-around device and with the device |
| EP2955915A1 (en)* | 2014-06-10 | 2015-12-16 | LG Electronics Inc. | Around view provision apparatus and vehicle including the same |
| CN105313779A (en)* | 2014-06-10 | 2016-02-10 | Lg电子株式会社 | Around view provision apparatus and vehicle including the same |
| US9840197B2 (en) | 2014-06-10 | 2017-12-12 | Lg Electronics Inc. | Apparatus for providing around view and vehicle including the same |
| DE102015004943A1 (en)* | 2015-04-17 | 2016-10-20 | Diehl Bgt Defence Gmbh & Co. Kg | Method for directional calibration of cameras of a camera system |
| DE102015004943B4 (en) | 2015-04-17 | 2017-03-30 | Diehl Bgt Defence Gmbh & Co. Kg | Method for directional calibration of cameras of a camera system |
| DE102016009756A1 (en) | 2016-08-10 | 2018-02-15 | Daimler Ag | Method for calibrating a sensor system of a motor vehicle and sensor system |
| CN107867405A (en)* | 2016-09-27 | 2018-04-03 | 波音公司 | The apparatus and method for compensating the relative motion of at least two aircraft installation camera |
| JP2018095231A (en)* | 2016-09-27 | 2018-06-21 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras |
| EP3299299A1 (en)* | 2016-09-27 | 2018-03-28 | The Boeing Company | Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras |
| KR102372790B1 (en)* | 2016-09-27 | 2022-03-18 | 더 보잉 컴파니 | Apparatus and method of compensating for relative motion of at least two aircraft mounted cameras |
| WO2020052853A1 (en)* | 2018-09-12 | 2020-03-19 | Robert Bosch Gmbh | Method for calibrating a capture system |
| US11321871B2 (en) | 2018-09-12 | 2022-05-03 | Robert Bosch Gmbh | Method for calibrating a detection system |
| Publication | Publication Date | Title |
|---|---|---|
| EP2623374B1 (en) | Vision system for commercial vehicles for the display of the statutory fields of view of a main mirror and a wide-angle mirror | |
| DE102008046545A1 (en) | Method for calibrating assembly for monitoring environment of vehicle, involves detecting environment of vehicle according to multiple image detection units | |
| EP3012154B1 (en) | Method and device to support a driver of a vehicle combination, in particular a commercial vehicle combination | |
| DE102010034139A1 (en) | Method for supporting a parking process of a motor vehicle, driver assistance system and motor vehicle | |
| DE102014012330A1 (en) | Driver assistance system for a commercial vehicle combination and method for carrying out a coupling process | |
| EP2765031A1 (en) | Vision system for vehicles, in particular for commercial vehicles | |
| DE102018111776B4 (en) | Calibration device, method for determining calibration data, device for carrying out the method, motor vehicle comprising such a device and use of the calibration device for the method and the motor vehicle | |
| DE102008046214A1 (en) | Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle | |
| DE102014213536A1 (en) | Merging partial images into an image of an environment of a means of transportation | |
| EP3607740B1 (en) | Camera device and method for detecting an area outside a vehicle | |
| DE102011010859B4 (en) | Method for operating a camera system in a motor vehicle, camera system and motor vehicle | |
| EP2888715A1 (en) | Method and device for operating a vehicle | |
| DE102013214369B4 (en) | Method and device for reproducing an area around a vehicle | |
| DE102013103952B4 (en) | Lane detection at full speed with an all-round vision system | |
| DE102011010860A1 (en) | Method and driver assistance system for displaying images in a motor vehicle and motor vehicle | |
| DE102008030104A1 (en) | Vehicle i.e. tractor-trailer, surrounding monitoring method, involves assigning positions of image capturing units and weighing factor to each pixel, and determining overall picture between vehicle elements by taking into inclination angle | |
| DE102006037600B4 (en) | Method for the resolution-dependent representation of the environment of a motor vehicle | |
| DE102014218995A1 (en) | Method and device for bird-view display of a vehicle combination and retrofittable camera | |
| DE102008035428A1 (en) | Vehicle i.e. tractor-trailer, environment monitoring method, involves generating entire image, and increasing area of reference plane in overlapping area with respect to another area lying outside of overlapping area | |
| DE102014201409B4 (en) | PARKING - TRACKING DEVICE AND PROCEDURES OF THE SAME | |
| DE102015010535A1 (en) | Camera-based environmental detection for commercial vehicles | |
| DE102015009657A1 (en) | Calibration method and method for adjusting a camera mounted on a vehicle | |
| DE102019008898A1 (en) | Method for detecting the surroundings of a vehicle, device for carrying out such a method, and vehicle with such a device | |
| EP3833576A1 (en) | Camera monitoring system | |
| DE102015121114A1 (en) | Optical feedback device for a motor vehicle, driver assistance system and motor vehicle |
| Date | Code | Title | Description |
|---|---|---|---|
| OAV | Publication of unexamined application with consent of applicant | ||
| R005 | Application deemed withdrawn due to failure to request examination |