Die Erfindung betrifft ein Verfahren zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes insbesondere bei einem Fahrzeug nach der Gattung des Anspruchs 1. Des weiteren betrifft die Erfindung eine Vorrichtung zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes.The invention relates to a method for visualizationa surveillance room that is not immediately visibleespecially in the case of a vehicle of the genus Ansaying 1. Furthermore, the invention relates to a frontdirection to visualize a not immediatelyvisible surveillance room.
Das Problem der Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes ist mannigfaltig bekannt. Ein gängiges Beispiel ist die Uneinsehbarkeit des Rückraumes von Fahrzeugen beim Einparken, was zur Entwicklung aktiver Wahrnehmungssysteme auf der Basis von Infrarotlicht und/oder Ultraschall führte.The problem of visualizing a not immediateVisible surveillance room is widely known.A common example is the invisibility of the backspace of vehicles when parking, which leads to developmentdevelopment of active perception systems based on Inled infrared light and / or ultrasound.
Eine Alternative stellen Videokameras dar, die auch schon an Nutzfahrzeugen Verwendung finden, vgl. Abbildung in FZ ACE Lenkrad 5/91 auf S. 60. Aber auch bei Personenkraftfahrzeugen wäre der Einsatz solcher Kameras wünschenswert, weil der immer knapper werdende Parkraum beispielsweise in Städten zentimetergenaues Fahren er fordert.An alternative are video cameras that alsoalready used on commercial vehicles, cf. Figin FZ ACE steering wheel 5/91 on p. 60. But also inPassenger vehicles would use such camerasdesirable because of the increasingly scarce parking spaceFor example, driving in cities with centimeter precision demands.
Im Falle eines Personenkraftwagens beispielsweise machen die abgerundeten und eingezogenen Heckgeometrien moderner Fahrzeugdesigns hierfür Weitwinkelobjektive erforderlich. Diese haben jedoch den Nachteil, daß sie dem Fahrzeugführer ab einem gewissen Objektwinkel ein nur schwer interpretierbares Bild liefern. Außerdem können sie tote Blickwinkel nicht vollständig beseitigen.In the case of a passenger car, for examplethe rounded and retracted rear geometries are more modernVehicle designs require wide angle lenses for this.However, these have the disadvantage that they are the driverfrom a certain object angle a difficult to interpretdeliver a clear picture. They can also have blind spotsdo not completely eliminate.
Bezüglich der vorgenannten Problematik bei einem Fahrzeug ist ein Lösungsansatz aus der FR 2 673 499 A1 bekannt. Dort werden innerhalb der Fahrzeughüllkontur - nämlich hinter Verglasungen im Bereich der rechten und linken Rücklichter - um eine vertikale Achse motorisch kontinuierlich schwenkbare Fernsehkameras eingesetzt, um so positionsabhängig Teilbilder des durch Verschwenkung der Kameras insgesamt einsehbaren Rückraumes auf einem Fernsehbildschirmen im Bereich der Armaturentafel darzustellen. Auf diese Weise können Kameraobjektive mit relativ geringem Blickwinkel eingesetzt werden. Dafür muß jedoch ein sehr hoher mechanischer und steuerungstechnischer Aufwand zur Verschwenkung der Kameras sowie der Umstand in Kauf genommen werden, daß die Kameras über fortschreitender Verschmutzung besagter Verglasung immer wieder "erblinden". Auch ist der Gesamtraumbedarf beider Kameras einschließlich der Mittel zu ihrer Verschwenkung innerhalb der Fahrzeughülle nicht unerheblich.With regard to the aforementioned problems in a vehicleA solution is known from FR 2 673 499 A1.There are inside the vehicle envelope contour - namelybehind glazing in the area of the right and leftTaillights - motorized around a vertical axisNuably swiveling television cameras used, soposition-dependent drawing files by swiveling theCameras with a total visible rear area on a distanceto display visual screens in the area of the dashboardlen. This way, camera lenses can be used with relativelow viewing angle. For that, howevera very high mechanical and control technologywall for pivoting the cameras as well as the circumstance inBe bought that the cameras scream oversoiling of said glazing again and again"go blind". The total space requirement of both cameras including the means for pivoting them intonot insignificant within the vehicle shell.
Eine ähnliche Lösung, gerichtet auf ein Fahrzeug, die nur mit einer einzigen Videokamera arbeitet, offenbart die vorlaufende Anmeldung P 43 36 288.5. Dort wird zur Rückraumbeobachtung eine Videokamera mit relativ geringem Blickwinkel fuzzylogic-fokusgesteuert Hindernissen nachgeschwenkt.A similar solution aimed at a vehicle thatonly works with a single video camerathe preliminary application P 43 36 288.5. There becomesBack room observation a video camera with relatively littleObstacles in terms of fuzzylogic focus pivoted.
Dem gegenüber ist es Aufgabe der Erfindung, sowohl ein Verfahren zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes insbesondere bei einem Fahrzeug sowie eine Vorrichtung zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes vorzuschlagen, welche die vorgenannten Nachteile gleichermaßen ausräumen.In contrast, it is an object of the invention, both aProcess for visualizing a not immediatelyvisible surveillance room especially when drivingstuff and a device for visualizing a notto propose an immediately visible surveillance room,which equally overcome the aforementioned disadvantages.
Die erste Aufgabe wird durch ein gattungsgemäßes Verfahren mit den kennzeichnenden Merkmalen gemäß Anspruch 1 gelöst.The first task is through a generic Verdrive with the characteristic features according to claim1 solved.
Dieses Verfahren erlaubt, nur eine einzige Video-Kamera in fixer Arbeitsposition mit nur einem Objektiv in Verbindung mit nur einem wenig Platz beanspruchenden Bildschirm zu verwenden.This procedure allows only a single video camerain a fixed working position with only one lens in verbinding with a picture that takes up little spaceuse umbrella.
Dazu sieht das Verfahren die Verwendung eines Kameraobjektivs bislang unüblich großem Objektwinkel vor. Zugleich trägt das Verfahren der Tatsache Rechnung, daß Weitwinkelobjektive mit einem Objektwinkel von z. B. 160° den erfaßten Objektraum auf die Bildebene eines Sensorchips verzeichnet abbilden.For this purpose, the method sees the use of a camera objecttivs previously unusually large object angle. At the same timethe procedure takes into account the fact that WeitwinKel lenses with an object angle of z. B. 160 ° hecaptured object space on the image plane of a sensor chipmap recorded.
Verzeichnet heißt dabei, daß gemäß der optischen Physik eines solchen Objektivs auf der Bildebene die Bildpunkte in radialer und tangentialer Richtung verändert sind, da Lichtbündel beim Durchtritt durch das Objektiv bezüglich ihrer Ausbreitungsrichtungen Ablenkungen erfahren. Weiterhin hat jeder Lichtbündel-Bildpunkt seine eigene Bildhöhe in der Bildebene. M.a.W. ist der Abbildungsmaßstab abhängig von der Bildhöhe. Dabei ist unter der Bildhöhe der Abstand des Lichtbündel-Bildpunktes in der Bildebene von dem in der Bildebene lie genden Koordinatenursprung zu verstehen. Im vorliegenden Falle werden nur Objektive verwendet, die in hohem Maße rotationssymmetrisch sind, so daß die tangentiale Verzeichnung gegenüber der Auflösung des Bildsensors in der Bildebene vernachlässigbar klein ist. Infolgedessen werden die Bildpunkte in der Bildebene maßgeblich in radialer Richtung entsprechend der Verzeichnungskurve nichtlinear verschoben, wodurch das Bild in der Bildebene auf dem Bildsensor eine Verzeichnung aufweist und deshalb für eine schnelle kognitive Information eines Beobachters ungeeignet ist.Listed here means that according to the opticalPhysics of such a lens on the image planeChange pixels in the radial and tangential directionare different because light beams pass through the objecttiv with respect to their directions of propagationExperienced. Furthermore, each light beam pixel hashis own image height in the image plane. M.a.W. is theImage scale depending on the image height. It isbelow the image height is the distance of the light beam imagepoint in the image plane from that in the image plane understand the origin of the coordinates. In the presentIn the case only lenses are used that are in highDimensions are rotationally symmetrical, so that the tangentialDistortion compared to the resolution of the image sensoris negligibly small in the image plane. As a resultthe image points in the image plane are decisiveLich in the radial direction according to the indexvoltage curve is shifted non-linearly, causing the imagedistortion in the image plane on the image sensorand therefore for a quick cognitive information of an observer is unsuitable.
Verfahrensgemäß wird durch interpolationslose Pixelandersverteilung eine Koordinaten-Bildtransformation des auf dem Bildsensor einer Kamera real erzeugten Objektbildes in ein von einem Beobachter kognitiv besser wahrnehmbares Darstellungsbild auf einem Bildschirm bewirkt.According to the method, interpolation-free pixels are useddistribution a coordinate-image transformation of theobject actually created on the image sensor of a cameraimage in a cognitively better by an observerperceptible display image on a screencauses.
Diese Transformation geschieht im Zuge der Signalübertragung und Datenformatwandlung zwischen Kamera und Bildschirm. Verfahrensgemäß wird in der Video-Kamera neben einem Objektiv mit besagt großem Objektwinkel als Bildsensor ein Halbleiter-Bildsensor mit einer ersten definierten, in Zeilen und Spalten definiert angeordneten Anzahl von Pixeln (Bildfeldparameter des Sensors) und als Bildschirm ein solcher mit einer zweiten definierten, in Zeilen und Spalten definiert angeordneten Anzahl von Pixeln (Bildfeldparameter des Bildschirms) verwendet. Entsprechend der Objektraumabbildung in der Real-Bildebene auf dem Bildsensor wird jedem Pixel aus besagter ersten Zahl von Sensor-Pixeln ein die Helligkeit oder Helligkeit, Farbsättigung und Farbart wie auch immer (z. B. in Form von RGB-Werten) beschreiben der Wert FV und in der Darstellungsbildebene auf dem Bildschirm jedem Pixel aus besagter zweiten Zahl von Bildschirm-Pixeln ein entsprechender Wert FM zugeordnet. Dann wird der Wert FM eines jeden auf den Bildschirm aktuell zu schreibenden Pixels vom Wert FV desjenigen Sensor-Pixels abgeleitet, auf welches das Bildschirm-Pixel vermöge einer geometrischen Zuordnungstransformation zeigt, wobei diese Zuordnungstransformation in Echtzeit vermittels einer gemäß der Transformationsvorschrift festverdrahteten Halbleiterlogik geschieht und die Bildtransformation auf der Basis der Bildfeldparameter sowohl des Bildsensors als auch des Bildschirmes wenigstens eine Kategorie der objektivbedingt spezifischen geometrisch-optischen Verzeichnung des realen Objektraumbildes (auf dem Bildsensor) von der gewünschten Objektraumdarstellung (auf dem Bildschirm) durch Veränderung der Zuordnung von Sensor-Pixeln zu Bildschirm-Pixeln korrigiert.This transformation takes place in the course of signal transmission and data format conversion between camera and screen. According to the method, in the video camera, in addition to a lens with said large object angle, the image sensor is a semiconductor image sensor with a first defined number of pixels (image field parameters of the sensor), which is defined in rows and columns, and a screen with a second one defined as a screen , number of pixels (image field parameters of the screen) arranged in a defined manner in rows and columns. Corresponding to the object space mapping in the real image plane on the image sensor, each pixel from said first number of sensor pixels will describe the brightness or brightness, color saturation and color type however (e.g. in the form of RGB values) FV and in the display image plane on the screen each pixel from said second number of screen pixels is assigned a corresponding value FM. Then the value FM of each pixel currently to be written on the screen is derived from the value FV of that sensor pixel to which the screen pixel points due to a geometric mapping transformation, this mapping transformation in real time by means of a the transformation rule is hard-wired semiconductor logic and the image transformation on the basis of the image field parameters of both the image sensor and the screen requires at least one category of the object-specific geometrical-optical distortion of the real object space image (on the image sensor) from the desired object space representation (on the screen) corrected by changing the assignment of sensor pixels to screen pixels.
Dieses Verfahren ist durch Verfahrensschritte gemäß den Merkmalen der abhängigen Ansprüche 2 bis 8 vorteilhaft fortbildbar. So können mit verschiedenen Verfahrensschritten entsprechend verschiedene Arten bzw. Progressionsstufen der Koordinaten-Bildtransformation bis hin zur Quasi-Synthese von Vertikal- und Horizontalbildern verwirklicht werden. Dabei ist von Vorteil, daß im Falle mehrerer Transformationsschritte diese in einer kürzestmöglichen Zeit ausführbar sind, weil sie nicht nacheinander, sondern gleichzeitig in der Art einer Total Response pro Bildinhalt ausgeführt werden.This process is characterized by process steps according to theFeatures of the dependent claims 2 to 8 advantageoustrainable. So with different proceduresaccordingly different types or progresseslevels of coordinate image transformation up tofor the quasi-synthesis of vertical and horizontal imagesbe realized. It is advantageous that in the caseseveral transformation steps in the shortest possible timepossible time are executable because they do not follow each otherdifferent, but at the same time in the manner of a total response per image content.
Auf der Basis wenigstens eines elektronisch erzeugten und nur in dieser Form existierenden koordinatentransformierten Bildes leistet das erfindungsgemäße Verfah ren die Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes in eine insbesondere für einen Fahrzeugführer kognitiv leicht und anstrengungslos verarbeitbare Darstellungsform.Based on at least one electronically generatedand only in this form existing coordinate transferthe image according to the invention performs the visualization of a not immediately visiblebaren surveillance room in one for oneDriver cognitively light and effortless verworkable form of presentation.
Deshalb kann das Verfahren gemäß Anspruch 10 besonders vorteilhaft bei einem Personen-Kraftfahrzeug Verwendung finden. Dabei erlaubt das Verfahren die optische Erfassung z. B. der den rückwärtigen Fahrraum abgrenzenden Hecklinien eines Personenkraftwagens ohne toten Winkel hinsichtlich Verdeckungen von Objekten durch den Heckstoßfänger.Therefore, the method according to claim 10 can be specialadvantageous in a passenger motor vehicle useFind. The method allows optical detectionsolution z. B. the delimiting the rear driving spaceRear lines of a passenger car with no blind spotin terms of obscuring objects through the sternbumpers.
Die zweite Aufgabe wird durch eine Vorrichtung gemäß dem nebengeordneten Anspruch 11 gelöst.The second task is accomplished by a device according tothe independent claim 11 solved.
Funktional stützt sich die Vorrichtung im wesentlichen auf eine als ASIC verwirklichte Halbleiterschaltung (vorzugsweise mit zwei Funktionsbereichen oder aber aus zwei weniger komplexen ASICs assembliert) und eine einzige Videokamera in fixer Betriebsposition. Daraus ergeben sich die Vorteile, daß die Vorrichtung ohne reaktionsbeeinträchtigenden Zeitversatz arbeitet, d. h. einem Beobachter eine Echtzeitbeurteilung erlaubt und ihre Bildsignalverarbeitungseinrichtung als wesentlicher Bestandteil kostengünstig und mit geringen Abmessungen massenproduzierbar ist. Des weiteren ermöglicht sie die Darstellung eines sehr robusten Gesamtsystems ohne betriebsbewegliche Teile und eine platzsparende Integration insbesondere des Sichtteils z. B. im Bereich von ohnehin schon mit Anzeigen und Bedienelementen überfrachteten Armaturentafeln.The device is essentially functionally basedto a semiconductor circuit implemented as an ASIC(preferably with two functional areas orassembled from two less complex ASICs) anda single video camera in a fixed operating position.This has the advantages that the deviceworks without a time delay that affects the reaction,d. H. allows an observer real-time assessmentand its image signal processing device as essentialLicher component inexpensively and with low abmeasurements can be mass produced. Furthermore possiblelight the representation of a very robust overallsystems without moving parts and a spacesaving integration especially of the visible part z. B.in the area already with displays and controlselements overloaded dashboards.
Vorteilhafte Weiterbildungen der Vorrichtung sind gemäß Lehre der abhängigen Ansprüche 12 bis 20 möglich.Advantageous further developments of the device are according to the teaching of dependent claims 12 to 20 possibleLich.
Die Vorrichtung kann z. B. Mittel zur Sicherstellung einer definierten Fixposition der Kamera während ihres Betriebes umfassen. Beispielsweise kann die Kamera mittels einer Ausfahrmechanik von einer fixen Ruheposition in eine fixe Betriebsposition gebracht werden, wo sie dann während ihres Betriebs verharrt. Bei einem Fahrzeug kann sie Mittel umfassen, die letzteres z. B. beim Einlegen des Rückwärtsganges selbsttätig bewirken.The device can e.g. B. Means of Guaranteea defined fixed position of the camera during itsOperation include. For example, the cameraby means of an extension mechanism from a fixed restposition in a fixed operating positionthe one where it then remains during its operation.In a vehicle, it may include means thatthe latter z. B. when engaging reverse geareffect automatically.
Je ein Ausführungsbeispiel der Vorrichtung und des Verfahrens sind in der Figurenzeichnung veranschaulicht, die nachfolgend erläutert wird. Dabei soll die Veranschaulichung am praktischen Beispiel eines Personenkraftfahrzeugs keine Beschränkung der Erfindung bedeuten, da diese - bei entsprechender konstruktiver Anpassung an den jeweiligen Anwendungsfall - auch auf anderen Gebieten anwendbar ist.One embodiment of the device and theProcedures are illustrated in the figure drawinglight, which is explained below. Thereby theIllustration using the practical example of a perno limitation of the inventionmean since these - with appropriate constructiveAdaptation to the respective application - alsois applicable in other areas.
Es zeigen:Show it:
Fig. 1 eine schematische Illustration der Anordnung einer erfindungsgemäßen Vorrichtung bei einem Personenkraftfahrzeug zwecks Einsicht des Fahrzeugrückraumes;Figure 1 is a schematic illustration of the Anord voltage of a device according to the invention in a passenger vehicle for the purpose of a view of the vehicle rear space.
Fig. 2 eine schematische Illustration der fixen Betriebsposition der Video-Kamera bei der Vorrichtung gemäßFig. 1;FIG. 2 shows a schematic illustration of the fixed operating position of the video camera in the device according toFIG. 1;
Fig. 3 eine Illustration des damit verfahrensgemäß einsehbaren Rückraumes am Beispiel eines Personenkraftfahrzeugs;Fig. 3 is an illustration of the method according to thus visible rear area by the example of a sonen motor vehicle;
Fig. 4 ein schematisches Funktions-Blockschaltbild der elektronischen Bestandteile der Vorrichtung;Fig. 4 is a schematic functional block diagram of the electronic components of the device;
Fig. 5 eine schematische Illustration zum erfindungsgemäßen Visualisierungsverfahren;Fig. 5 is a schematic illustration to the invention for visualizing OF INVENTION method;
Fig. 6 die Illustration des ersten Schrittes des Visualisierungsverfahrens zur Streckenentzerrung;6shows the distortion illustration of the first step of the method of visualizationStreckenent.
Fig. 7 die Illustration des zweiten Schrittes des Visualisierungsverfahrens zur Generation eines winkelentzerrten Basisbildes;Fig. 7is an illustration of the second step of the visualization method for generation of a winkelentzerrten base image;
Fig. 8 die Illustration des dritten Schrittes des Visualisierungsverfahrens zur Generation aus dem Basisbild eines perspektivisch korrigierten Bildes.Fig. 8, the illustration of the third step of the visualization method of generation from a perspective corrected image of the basic image.
GemäßFig. 1 ist am Heck eines Fahrzeugs10 beispielsweise in einer aus fahr- bzw. ausschwenkbaren Einheit1.1 eine Videokamera1 integriert. Dabei verdeutlicht die dargestellte Konfiguration die fixe Betriebsposition II der Videokamera, wobei diese beispielhaft unter einem Anstellwinkel Φ zur Vertikalen von 45° nach unten in den Rückraum hinter dem Fahrzeug schaut.Referring toFIG. 1 of a vehicle10 at is integrated into a play of drive or swing unit1.1, a video camera1 at the rear. The configuration shown illustrates the fixed operating position II of the video camera, which looks at play at an angle of attack Φ to the vertical of 45 ° down into the rear area behind the vehicle.
Die Kamera ist über ein Datenkabel2 mit einer Bildsignalverarbeitungseinrichtung3 verbunden, welche ein logisches Echtzeit-Bildtransformationsmodul4 enthält. Die Bildsignalverarbeitungseinrichtung3 steuert einen Bildschirm5 an. Des weiteren kann die Bildsignalverarbeitungseinrichtung3 über eine Leitung6 mit einem nicht gezeigten, z. B. das Einlegen des Rückwärtsganges erkennenden Schalter oder Sensor z. B. am Getriebe des Fahrzeugs in Verbindung stehen. Dadurch kann z. B. beim Einlegen des Rückwärtsganges die Bildsignalverarbeitungseinrichtung3 eingeschaltet und ein selbsttätiges Verbringen der Videokamera in ihre Betriebsposition II angesteuert werden. Ebenso kann die Einschaltung des Bildschirms5 dadurch ausgelöst werden.The camera is connected via a data cable2 to an image signal processing device3 which contains a logical real-time image transformation module4 . The image signal processing device3 controls a screen5 . Furthermore, the image signal processing device3 via a line6 with a not shown, for. B. the engagement of the reverse gear detecting switch or sensor z. B. are connected to the transmission of the vehicle. This can, for. B. when engaging the reverse gear, the image signal processing device3 is switched on and an automatic movement of the video camera into its operating position II can be controlled. The switching on of the screen5 can also be triggered thereby.
InFig. 2 ist die Position der Videokamera1 in Bezug auf das Fahrzeug10 sowohl in einer Ruheposition I als auch in ihrer Betriebsposition II veranschaulicht. Demnach besteht in der Betriebsposition II ein Anstellwinkel Φ von beispielsweise 45° zwischen der Senkrechten11 und der optischen Achse12 der Video-Kamera1. Die ausfahr- bzw. ausschwenkbare Einheit1.1 und das Datenkabel2 sind nur symbolisch angedeutet. Eine fahrzeugtaugliche Vorrichtung kann im Rahmen der Erfindung jedenfalls alle Mittel mitumfassen, welche die Videokamera bei Nichtgebrauch in eine geschützte Ruhelage und zwecks Gebrauch dieselbe in eine definierte Betriebslage verbringen.InFig. 2, the position of the video camera1 in relation to the vehicle10 is illustrated both in a resting position I and in its operating position II. Accordingly, in the operating position II there is an angle of attack Φ of, for example, 45 ° between the vertical11 and the optical axis12 of the video camera1 . The extendable or swiveling unit1.1 and the data cable2 are only indicated symbolically. A vehicle-compatible device can in any case include all means within the scope of the invention which the video camera spend in a protected idle position when not in use and in a defined operating position for use.
Ohne Beschränkung der Allgemeinheit kann die Video-Kamera im Beispielfalle eines Kraftfahrzeugs auch in einer fixen Position montiert sein, und es können z. B. Mittel vorgesehen sein, die eine bewegliche Objektivabdeckung so steuern und betätigen, daß sie nur im Betriebsfalle das Objektiv freigibt. Entsprechend kann dann z. B. beim Einlegen des Rückwärtsganges die Bildsignalverarbeitungseinrichtung3 eingeschaltet und die Freigabe des Objektivs der Video- Kamera bewirkt werden.Without restricting generality, the video camera can also be mounted in a fixed position in the example of a motor vehicle, and z. B. Means may be provided to control and actuate a movable lens cover so that it releases the lens only in the event of an operation. Accordingly, z. B. when inserting the Rückgangsgan ges the image signal processing device3 is turned on and the release of the lens of the video camera can be effected.
GemäßFig. 3 ist beispielhaft der mit einem Objektiv mit Objektwinkel Θ = 160° einsehbare Rückraum hinter der Rückfront13 eines Personenkraftfahrzeugs als Raumkörper14 veranschaulicht, der eine gewisse Breite B, eine Raumtiefe T, fahrzeugseitig eine Höhe H1 und fahrzeugabseitig eine Höhe H2 aufweist; dabei ist der Fall H1 = H2 veranschaulicht. Aufgrund des großen Objektwinkels der Kamera und deren Verbringung in eine aus der Fahrzeughüllkontur herausverlagerte Betriebsposition II bleibt nur ein außerordentlich kleiner, durch Schraffur kenntlich gemachter Teil15 des Raumkörpers14 nicht einsehbar.According toFig. 3 with a lens with object angle Θ = viewable rear space 160 ° by way of example illustrates behind the rear face13 of a passenger car as a chamber body14 having a certain pulp te B, a room depth T, the vehicle side has a height H1 and fahrzeugabseitig a height H2 ; the case H1 = H2 is illustrated. Due to the large object angle of the camera and its supply in a storage position out of the vehicle envelope contour II, only an extraordinarily small, marked by hatching ge made part15 of the body14 is not visible.
GemäßFig. 4 umfaßt die Elektronik der Vorrichtung im wesentlichen die Videokamera1 vorzugsweise mit einem Farbbild-Aufnahme-Sensor1.2, einem Analog-Digitalwandler1.3 mit nachgeschaltetem Parallel-Seriell-Wandler1.4 mit beispielsweise Twisted-Pair oder Glasfaserausgang, des weiteren die Datenleitung2, ausgeführt beispielsweise als Twisted-Pair oder in Glasfaser-Technologie, sowie die Bildsignalverarbeitungseinrichtung3, die den Bildschirm5 ansteuert.According toFIG. 4, the electronics of the device substantially comprises the video camera1 preferably with a color image pickup sensor1.2, an analog-Digi talwandler1.3 with a downstream parallel-serial converter1.4 with, for example, twisted pair or glass fiber output, further, the Data line2 leads out, for example, as a twisted pair or in glass fiber technology, and the image signal processing device3 which controls the screen5 .
Je nach Ausführung können die Teile1.3 und1.4 funktional und körperlich integriert zusammengefaßt sein.Depending on the version, parts1.3 and1.4 can be combined functionally and physically integrated.
Die Bildsignalverarbeitungseinrichtung3 umfaßt einen entsprechenden Seriell/Parallel-Wandler3.1 mit entsprechendem Twisted-Pair oder Glasfasereingang, der hier beispielhaft zwei kaskadierte ASICs4.1 und4.2 ansteuert.The image signal processing device3 comprises a corresponding serial / parallel converter3.1 with a corresponding twisted pair or glass fiber input, which here controls two cascaded ASICs4.1 and4.2, for example.
Diese beiden ASICs können je nach angewandter Technologie auch auf einem Chip realisiert sein und sind die wesentlichen Bestandteile des Echtzeit-Bildtransformationsmoduls4. Die Bildsignalverarbeitungseinrichtung3 umfaßt des weiteren ein RAM4.3 und einen Mikrocomputer4.4. Mikrocomputer und RAM stehen untereinander und mit dem Transformationsmodul4 in Verbindung. Das ASIC4.2 weist einen digitalen RGB Video-Ausgang auf, der den Bildschirm5 in an sich bekannter Weise ansteuert.Depending on the technology used, these two ASICs can also be implemented on a chip and are the essential components of the real-time image transformation module4 . The image signal processing device3 further comprises a RAM4.3 and a Mikrocom computer4.4 . The microcomputer and RAM are connected to one another and to the transformation module4 . The ASIC4.2 has a digital RGB video output which controls the screen5 in a manner known per se.
Die Funktion der Vorrichtung ist folgende. Das auf den CCD-Sensor1.2 fallende Bild des dreidimensionalen Rückraumes gemäß dem Rückraumkörper14 wird in diesem Sensor in ein zweidimensionales Ladungsbild gewandelt, welches beispielsweise 50 mal pro Sekunde halbbildweise ausgelesen wird. Das so gewonnene Bildsignal steht in der Regel analog zur Verfügung und wird dann in ein serielles Datensignal gewandelt. Dazu nimmt der Wandler1.3 zunächst eine Analog/Digital-Wandlung vor, und der Parallel-Seriell-Wandler1.4 wandelt das so erhaltene parallele Digitalsignal in einen seriellen Datenstrom, der in Form eines schnellen digitalen Zweidrahtsignals oder per Licht an die Bildsignalverarbeitungseinrichtung3 übertragen und dort im Seriell/Parallel-Wandler3.1 wieder in einen parallelen Datenstrom zurückverwandelt wird.The function of the device is as follows. The image of the three-dimensional rear space falling on the CCD sensor1.2 according to the rear space body14 is converted into a two-dimensional charge image in this sensor, which is emitted, for example, 50 times per second in a half-frame manner. The image signal obtained in this way is generally available in analog form and is then converted into a serial data signal. For this purpose, the converter1.3 first performs an analog / digital conversion, and the parallel-serial converter1.4 converts the parallel digital signal thus obtained into a serial data stream, which is transmitted in the form of a fast digital two-wire signal or by light to the image signal processing device3 and there is converted back into a parallel data stream in the serial / parallel converter3.1 .
Unter Nutzung des RAM4.3 als Bildspeicher zwischen zwei aufeinanderfolgenden (Halb-)Bildern werden unter Timing-Kontrolle durch den Mikrorechner4.4. die so anfallenden parallelen "Bildworte" in das ASIC4.1 geladen und dann einer beispielsweise den weiter unten ausgeführten Verfahrensregeln gehorchenden inkre mentellen Umsortierung zwecks Veränderung der Bildgeometrie unterworfen.Using the RAM4.3 as image memory between two consecutive (half) images under timing control by the microcomputer4.4 . the resulting parallel "picture words" are loaded into the ASIC4.1 and then subjected to an incremental re-sorting, for example in accordance with the procedural rules outlined below, for the purpose of changing the picture geometry.
Dabei ist die Regel dieser Umsortierung genau auf die unerwünschte Verzeichnung des Kameraobjektivs im Sinne einer Abbildungsverzeichnungs- und Perspektivkorrektur abgestimmt. Dabei kann unter besonderen Bedingungen auch ein Rechteckverhältnis von Pixelzellen des Bildschirmes mitberücksichtigt werden. Im diesbezüglich wirksamen ASIC-Bereich können auch wenigstens zwei verschiedenen Koordinaten-Bildtransformationsarten bzw. -stufen entsprechende und dementsprechend unterschiedliche Umsortierungen bewirkende "Verdrahtungsschemen" selektiv aktivierbar verwirklicht sein und es können dann in Abhängigkeit von einem Selektionssignal jeweils verschiedene Umsortierweisen aktiv geschaltet werden.The rule of this resort is exactly on theunwanted distortion of the camera lens in the sensean image distortion and perspective correctionVoted. It can also under special conditionsa rectangular ratio of pixel cells of the screenbe taken into account. In this regard, the ASICThe area can also have at least two different Koordinate image transformation types or levels correspondappropriate and correspondingly different range"Wiring schemes" causing selective activationbe realizable and it can then be dependentdifferent from a selection signalReordering can be activated.
Wesentlich dabei ist, daß der Mikrorechner dabei bevorzugt eine reine Steuerungsfunktion ohne eigene Direktbeteiligung an der Signalbearbeitung des Bildinhaltes verwirklichen kann.It is essential that the microcomputer is thereprefers a pure control function without its ownDirect participation in the signal processing of the picturecan realize content.
Beispielsweise werden so fünfzig Bildschirm-Farb-Halbbilder mit 564 Pixel horizontaler und 224 Pixel vertikaler Bildweite je Sekunde erzeugt. Zugleich taktet der Mikrorechner4.4 die im ASIC4.1 so erzeugten Bildworte aus dem ASIC4.1 durch das ASIC4.2, letztwelches so beschaffen ist, daß es diese Bildworte in ein digitales RGB-Video-Ausgangssignal wandelt, welches somit unmittelbar einem entsprechend ansteuerbaren Bildschirm5 zuführbar ist.For example, fifty screen color fields with 564 pixels horizontal and 224 pixels vertical image width per second are generated in this way. At the same time clocks the microcomputer4.4 which he testified image words is adapted from the ASIC4.1 by the ASIC4.2 latter which as in the ASIC4.1 that it converts this image words into a digital RGB video output signal, which thus directly a accordingly controllable screen5 is feedable.
Diese Konfiguration und Wirkungsweise des Echtzeit-Bildtransformationsmoduls4 ermöglicht die Transfor mation eines jeden Bildpunktes in sehr kurzer Zeit, beispielsweise binnen maximal 150 Nanosekunden, da die Transformation nicht wie üblich über einen Mikrorechner zustande kommt, sondern durch die den jeweiligen Bildabweichungen des verwendeten Objektivs vom gewohnten Seheindruck entsprechende Festverdrahtung bzw. -programmierung von ASICs.This configuration and mode of operation of the real-time image transformation module4 enables the transformation of each pixel in a very short time, for example within a maximum of 150 nanoseconds, since the transformation does not come about as usual via a microcomputer, but rather due to the respective image deviations of the lens used Fixed wiring or programming of ASICs from the usual visual impression.
Der nachfolgend detaillierteren Beschreibung des Verfahrens am Beispiel der Rückraumvisualisierung bei einem Kraftfahrzeug wird zunächst dieFig. 5 zur Veranschaulichung der eingangs erwähnten Abweichung von einer optisch wirklichkeitsgetreuen Abbildung vorangestellt. Im folgenden wird generell jedem einzelnen Pixel eines Bildes - ob real vorhanden oder fiktiv - ein Datensatz F etwa in der Art eines Vektors zugeordnet, welcher die Helligkeit, die Farbsättigung und die Farbart des jeweiligen Pixels eindeutig beschreibt, im folgenden vereinfacht der "F-Wert" am Pixelort genannt. Damit läßt sich das jeweilige Bild verstehen als Menge aller F mit gemäß Größe, Form und (Richtungs-)Auflösung des jeweiligen Bildes durchlaufenden Koordinaten.The following more detailed description of the method using the example of the rear area visualization in a motor vehicle is first preceded byFIG. 5 to illustrate the deviation from an optically realistic image mentioned at the beginning. In the following, each individual pixel of an image - whether real or fictional - is assigned a data record F, for example in the manner of a vector, which clearly describes the brightness, the color saturation and the color type of the respective pixel, in the following simplifies it Called "F value" at the pixel location. The respective picture can thus be understood as a set of all F with coordinates running through according to the size, shape and (directional) resolution of the respective picture.
Dem gemäß wird jedem einzelnen Pixel des durch das Weitwinkelobjektiv1.5 in der Real-Bildebene - d. h. auf der Oberfläche1.2.1 des Bildsensors1.2 der Kamera1 - real verzeichnet erzeugten Bildes ein entsprechender Datensatz FV zugeordnet, welcher Helligkeit, Farbsättigung und Farbart des Pixels eindeutig beschreibt, im folgenden bezogen als "FV-Wert" am Pixelort (y, z) auf der Oberfläche1.2.1 des Bildsensors1.2. Damit läßt sich also das reale, verzeichnet erzeugte Bild beschreiben als Menge aller FV mit durchlaufenden Pixelkoordinaten y und z.According to each individual pixel of the real image plane generated by the wide-angle lens1.5 in the real image plane - ie on the surface1.2.1 of the image sensor1.2 of the camera1 - a correspondingly recorded data record FV is assigned, which brightness, color saturation and Describes the color type of the pixel clearly, referred to below as the "FV value" at the pixel location (y, z) on the surface1.2.1 of the image sensor1.2 . So that the real, ver recorded image can be described as a set of all FV with continuous pixel coordinates y and z.
Dieses reale, verzeichnete Bild wird mit DELTA bezeichnet. Bezüglich dieser weitwinkligen Abbildung gilt nun die eingangs erwähnte Unzulänglichkeit, daß in der Bildebene die Bildpunkte in radialer und tangentialer Richtung verändert sind, da Lichtbündel beim Durchtritt durch das Objektiv bezüglich ihrer Ausbreitungsrichtungen Ablenkungen erfahren. Weiterhin hat jeder Lichtbündel-Bildpunkt seine eigene Bildhöhe in der Bildebene. M.a.W. ist der Abbildungsmaßstab abhängig von der Bildhöhe. Dabei ist unter der Bildhöhe der Abstand des Lichtbündel-Bildpunktes in der Bildebene von dem in der Bildebene liegenden Koordinatenursprung zu verstehen. Da im vorliegenden Falle nur Objektive verwendet werden, die in hohem Maße rotationssymmetrisch sind, fällt die tangentiale Verzeichnung gegenüber der Auflösung des Bildsensors in der Bildebene vernachlässigbar klein aus. Infolgedessen werden die Bildpunkte in der Bildebene maßgeblich in radialer Richtung entsprechend der Verzeichnungskurve des Objektivs nichtlinear verschoben wodurch das Bild DELTA auf dem Bildsensor eine Verzeichnung aufweist und deshalb für eine schnelle kognitive Information eines Beobachters ungeeignet ist.This real, recorded picture is called DELTAnet. With regard to this wide-angle illustration, the following now appliesthe inadequacy mentioned at the beginning that in theImage plane the pixels in radial and tangentialDirection are changed because light beams pass throughthrough the lens with respect to their direction of propagationexperienced distractions. Furthermore everyone has lightbundle pixel its own image height in the imagelevel. M.a.W. the image scale depends onthe image height. The Ab is below the picture heightthe light beam image point in the image planefrom the coordinate origin lying in the image planeto understand. Because in the present case only lensesused, which are highly rotationally symmetricaltrical, the tangential distortion is counterabove the resolution of the image sensor in the image planenegligibly small. As a result, thePixels in the image plane largely in radialDirection according to the distortion curve of the objecttivs shifted non-linearly causing the image to DELTAthe image sensor has a distortion and thereforefor quick cognitive information of an observeraft is unsuitable.
Ausgehend von dieser realen, optisch unbrauchbaren Abbildung veranschaulichtFig. 6 den ersten Teilschritt des Verfahrens, nämlich den der "elektronischen Streckenentzerrung" zwecks Gewinnung eines nicht real, sondern nur elektronisch existierenden streckenentzerrten Bildes.Starting from this real, optically unusable figure,FIG. 6 illustrates the first part of the process, namely that of "electronic route equalization" for the purpose of obtaining a non-real, but only electronically existing, route-corrected image.
Dieser erste Teilschritt ist äquivalent mit bzw. bewirkt der/die "Synthese" eines einzigen Projektionszentrums der Zentralprojektion für alle Geraden durch Objekt- und Bildpunkt.This first sub-step is equivalent to or causes the "synthesis" of a single projectcenter projection for all straight linesthrough object and image point.
Demgemäß entspricht der untere Teil derFig. 6 den in Zusammenhang mitFig. 5 bereits erläuterten Abbildungsverhältnissen in der Kamera. Der obere Teil derFig. 6 veranschaulicht das durch den ersten Teilschritt des Verfahrens erzielte Resultat.Accordingly, the lower part ofFIG. 6 corresponds to theimage conditions already explained in connection withFIG. 5 in the camera. The upper part ofFIG. 6 illustrates the result achieved by the first sub-step of the method.
Demnach wird mittels einer Streckenentzerrfunktion E, die vorzugsweise zwei Einzelfunktionen E₁ und E₂ für zwei Koordinatenrichtungen umfaßt, aus dem verzeichneten Sensorbild DELTA ein verzeichnungsfreies BildE gebildet, welches genau dem Bild eines theoretisch verzeichnungsfreien Objektivs mit Objektwinkel Θ z. B. 160° entspricht, dem wiederum - vice versa - für das BildE die Existenz eines einzigen Projektionszentrums1.10 für alle Geraden1.9′ aus dem Objektraum mittels entspricht.Accordingly, a distortion-free imageE is formed by means of a distance equalization function E, which preferably comprises two individual functions E 1 and E 2 for two coordinate directions, from the recorded sensor image DELTA, which exactly corresponds to the image of a theoretically distortion-free lens with object angle Θ z. B. 160 °, which in turn - vice versa - speaks for imageE the existence of a single projection center1.10 for all straight lines1.9 'from the object space by means of ent.
Der "F-Wert" (Helligkeit; Helligkeit, Farbsättigung, Farbart; RGB-Werte) eines Bildpunktes in der Bildebene des streckenentzerrten BildesE mit den Koordinaten (y′, z′) wird mit FE (y′, z′) bezeichnet. Damit läßt sich also das streckenentzerrte BildE beschreiben als Gesamtmenge aller FE mit Pixelkoordinaten y′ und z′.The "F value"(brightness; brightness, color saturation, color type; RGB values) of a pixel in the image plane of the rectified imageE with the coordinates (y ′, z ′) is denoted by FE (y ′, z ′) . Thus, the rectified imageE can be described as the total set of all FE with pixel coordinates y 'and z'.
Vom BildE aus gesehen - d. h. in Rückwärtsrichtung - gibt die zweiachsige TransformationSeen from imageE - ie in the reverse direction - there is the two-axis transformation
E = E₁, E₂ (2)E = E₁, E₂ (2)
den Zusammenhang der Koordinaten einander entsprechender F-Werte in den Bildern DELTA undE an gemäß der Transformationsvorschriftthe relationship between the coordinates of mutually corresponding F values in the images DELTA andE in accordance with the transformation regulation
y = E₁(y′, z′; k₁, . . . kn),
z = E₂(y′, z′; k₁, . . . kn) (2.1)y = E₁ (y ′, z ′; k₁,... kn ),
z = E₂ (y ′, z ′; k₁,... kn ) (2.1)
In E sind alle Parameter k₁, . . . kn der realen Sensorstrecke Objektiv - Bildsensor - Digitalisierer bis einschließlich 1.3 wie z. B.In E all parameters k₁,. . . kn the real sensor range lens - image sensor - digitizer up to and including 1.3 such as B.
über individuelle mathematische Funktionen für E₁ und E₂ verknüpft. Mittels optischer Kalibrationsverfahren können die Parameter k₁, . . . kn der Sensorstrecke ermittelt werden. Die die Physik des Objektivs beschreibenden Funktionen E₁ und E₂ sind eineindeutig und stetig differenzierbar. Sie können gleichwohl auch im Hinblick auf die definierte Sensor-Pixelordnung als nur an diskreten Stellen definierte Funktionen vorliegen, etwa vergleichbar mit einer Tabelle.linked via individual mathematical functions for E₁ and E₂. The parameters k 1,. . . kn of the sensor path can be determined. The physics of the lens descriptive functions E₁ and E₂ are unambiguous and continuously differentiable. With regard to the defined sensor pixel order, they can nevertheless also be present as functions defined only at discrete locations, for example comparable to a table.
Dabei ist also die geometrische Verknüpfung des streckenentzerrten BildesE mit dem ursprünglich verzerrten Real-Bild DELTA auf dem Bildsensor gegeben durch:The geometric link between the stretched imageE and the originally distorted real image DELTA on the image sensor is given by:
(zeigt auf)
FE(y′, z′) - - - E₁, E₂ → FV (y, z), oder (2.2)(points to)
FE (y ′, z ′) - - - E₁, E₂ → FV (y, z), or (2.2)
Die unmittelbare Darstellung des streckenentzerrten BildesE kann bei Objektiven mit Objektwinkeln Θ von z. B. kleiner 160° durchaus interessant sein. Im anderen Falle existiert das resultierende BildE dann als solches nicht wirklich optisch, sondern nur rein elektronisch.The direct representation of the rectified imageE can be achieved with lenses with object angles Θ of z. B. less than 160 ° can be quite interesting. In the other case, the resulting imageE does not really exist as such, but only purely electronically.
Die Zeigefunktion von FE auf FV bedeutet insoweit, daß auf einem (in diesem Transformationsschritt) realen oder fiktiven Bildschirm für das BildE ein lückenloses Pixelraster aus jeweils horizontal aneinander anschließenden und dadurch Zeilen bildenden Bildpunkten bzw. aus vertikal aufeinanderfolgenden Zeilen geschrieben wird und dabei jeweils als F-Wert desE-Pixels derjenige Wert verwendet wird, den der in der Bildebene des verzerrten Real-Bildes DELTA über die Transformation E₁, E₂ festliegende DELTA-Quellpunkt aufweist. Dies bedeutet letztlich, daß es bereits auf einem realen oder fiktiven Bildschirm bereits für das BildE keine "ausgelassenen Pixel" geben kann, indem die Transformation letztlich das regelmäßige "Pixelraster" des BildesE auf einem solchen Bildschirm aus einer der Streckenentzerrungstransformation gehorchenden Auswahl von Bildpunkten des Real-Bildes DELTA auf dem Bildsensor1.2 assembliert, letztwelche dort folglich nicht zwangsläufig benachbart bzw. lückenlos aufeinanderfolgend anein ander anschließen (müssen).The pointing function from FE to FV means that on a (in this transformation step) real or fictional screen for the imageE, a gapless pixel grid is written from pixels that are horizontally adjacent to one another and thereby form lines, or from vertically successive lines and in each case the F value of theE pixel used is that value which has the DELTA source point which is fixed in the image plane of the distorted real image DELTA via the transformationE 1,E 2. Ultimately, this means that even on a real or fictitious screen, there can already be no "omitted pixels" for the imageE , since the transformation ultimately results in the regular "pixel grid" of the imageE on such a screen from a selection of the route equalization transformation Pixels of the real image DELTA are assembled on the image sensor1.2, so the latter do not necessarily have to be adjacent to one another or have to be connected in succession.
Im Ergebnis ist diese Koordinaten-Bildtransformation geradentreu.The result is this coordinate image transformationstraightforward.
Allerdings entspricht bei einem Weitwinkelobjektiv mit einem Objektwinkel Θ von z. B. 160° oder noch größer der visuelle Seheindruck des streckenentzerrten BildesE noch nicht menschlichen Sehgewohnheiten. So treten plakative Effekte und insbesondere eine grobe Rasterung in den Randzonen auf. Des weiteren werden Objekte, die an verschiedenen Tiefenpositionen im Objektraum stehen, bei so großen Objektwinkeln im streckenentzerrten BildE mit falschen Größenverhältnissen zueinander wiedergegeben. Aus diesem Grund ist das streckenentzerrte BildE bei Objektiven mit sehr großen Objektwinkeln Θ von z. B. 160° oder noch größer als Informationsbild auf einem Bildschirm für einen Fahrzeugführer weniger geeignet.However, for a wide-angle lens with an object angle Θ of z. B. 160 ° or even greater the visual visual impression of the rectified imageE not yet human viewing habits. This gives rise to striking effects and, in particular, a rough grid in the peripheral zones. Furthermore, objects that are at different depth positions in the object space are reproduced with such large object angles in the distance-rectified imageE with incorrect size ratios to one another. For this reason, the rectified imageE for lenses with very large object angles Θ of z. B. 160 ° or even less suitable as an information image on a screen for a vehicle driver.
Wie inFig. 7 illustriert, kann mittels einer weiteren Transformation W, die wiederum zwei richtungsabhängige Komponenten W₁ und W₂ umfaßt, aus dem zuvor streckenentzerrten BildE ein weiter winkelentzerrtes BasisbildW erzeugt werden;As illustrated inFIG. 7, a further transformation W, which in turn comprises two direction-dependent components W 1 andW 2, can be used to generate a further angle-corrected basic imageW from the previously stretched imageE ;
W = W₁, W₂ (3)W = W₁, W₂ (3)
Dabei ist der "F-Wert" (Helligkeit; Helligkeit, Farbsättigung, Farbart; RGB-Werte) eines Bildpunktes in der Bildebene des winkelentzerrten BildesW mit den Koordinaten (α, β) als FW (α, β) bezeichnet.The "F value"(brightness; brightness, color saturation, color type; RGB values) of a pixel in the image plane of the angle-corrected imageW with the coordinates (α, β) is designated as FW (α, β).
Das winkelentzerrte BildW läßt sich somit beschreiben als Gesamtmenge aller FW mit Pixelkoordinaten α und β. Es be sitzt ein rechtwinkliges Koordinatensystem mit den Achsen α und β und jeder F-Wert des BildesW mit den Koordinaten (α, β) zeigt über die TransformationsvorschriftThe angle-corrected imageW can thus be described as the total of all FW with pixel coordinates α and β. There is a right-angled coordinate system with the axes α and β and each F-value of the imageW with the coordinates (α, β) shows the transformation rule
y′ = W₁(α, β) = f *tan(α)
z′ = W₂(α, β) = f *tan(β) (3.1.1)y ′ = W₁ (α, β) = f* tan (α)
z ′ = W₂ (α, β) = f* tan (β) (3.1.1)
mit f = Bildweite
auf den Koordinatenort (y′, z′) des F-Wertes des entsprechenden Bildpunktes FE (y′, z′) im streckenentzerrten Bild E bzw. über die Koordinaten-Bildtransformationsvorschriftwith f = image width
to the coordinate location (y ′, z ′) of the F value of the corresponding pixel FE (y ′, z ′) in the rectified image E or via the coordinate image transformation rule
y = E₁[W₁(α, β), W₂(α, β); k₁, . . . kn)
z = E₂[W₁(α, β), W₂(α, β); k₁, . . . kn] (3.1.2.)y = E₁ [W₁ (α, β), W₂ (α, β); k₁,. . . kn )
z = E₂ [W₁ (α, β), W₂ (α, β); k₁,. . . kn ] (3.1.2.)
auf den Koordinatenort (y, z) des F-Wertes des entsprechenden Bildpunktes FV (y, z) im ursprünglich verzeichneten Real-Bild DELTA.to the coordinate location (y, z) of the F value of the corresponding pixel FV (y, z) in the originally recorded real image DELTA.
Insgesamt kann die bis dahin durchgeführte Transformation also wie folgt beschrieben werden:Overall, the transforma carried out up to that pointtion can be described as follows:
Die vorstehende Gesamttransformation G₁, G₂ ist im allgemeinen nicht geradentreu. Allerdings leistet sie folgendes:The above total transformation G₁, G₂ is in allmean not straightforward. However, she does folgendes:
Ausgehend von diesem Transformationsschritt mit dem Resultat eines winkelentzerrten BildesW ist durch einen, inFig. 8 veranschaulichten Verfahrensschritt noch ein elektronisch perspektivisch korrigiertes BildK gewinnbar, das - alternativ - ein Vertikalbild (senkrechte Blickrichtung) oder ein Horizontalbild (waagrechte Blickrichtung) sein kann. Unter der Perspektive wird dabei die Blickrichtung des Objektivs verstanden.Starting from this transformation step with the result of an angle-corrected imageW , an electronically perspective-corrected imageK can be obtained by a method step illustrated inFIG. 8, which - alternatively - a vertical image (vertical viewing direction) or a horizontal image (horizontal viewing direction) can be. The perspective is understood as the viewing direction of the lens.
Für diese Transformation gilt analogThe same applies to this transformation
K = K₁, K₂ (4)K = K₁, K₂ (4)
Der "F-Wert" (Helligkeit; Helligkeit, Farbsättigung, Farbart; RGB-Werte) eines Bildpunktes des damit erhaltenen perspektivisch korrigierten WinkelentzerrungsbildesK mit den Koordinaten (α′, β′) wird mit FK (α′, β′) bezeichnet. Damit läßt sich das perspektivisch korrigierte winkelentzerrte BildK beschreiben als Gesamtmenge aller FK mit Pixelkoordinaten α′ und β′.The "F value"(brightness; brightness, color saturation, color type; RGB values) of a pixel of the perspective-corrected angular equalization image of theK with the coordinates (α ′, β ′) thus obtained is given by FK (α ′, β ′ ) designated. The perspective-corrected angle-corrected imageK can thus be described as the total amount of all FK with pixel coordinates α ′ and β ′.
Vom BildK aus gesehen - d. h. in Rückwärtsrichtung - gibt die Transformation K = K₁, K₂ den Zusammenhang der Koordinaten desselben F-Wertes in den BildernW undK an.Seen from the imageK - ie in the reverse direction - the transformation K = K₁, K₂ indicates the relationship of the coordinates of the same F value in the imagesW andK.
Das BildK besitzt ein rechtwinkliges Koordinatensystem mit den Achsen α′ und β, und jeder F-Wert vonK mit den Koordinaten (α′, β′) zeigt vermöge der TransformationsvorschriftThe imageK has a right-angled coordinate system with the axes α ′ and β, and each F-value ofK with the coordinates (α ′, β ′) shows by virtue of the transformation rule
auf den Koordinatenort (α, β) des F-Wertes von FW (α, β) im BildW bzw. über die Koordinaten-Bildtransformationsvorschriftregulation on the coordinate location (α, β) of the F value of FW (α, β) in the imageW or via the coordinate image transformation
y = E₁[W₁[K₁(α′, β′), K₂(α′, β′)],
W₂[K₁(α′, β′), K₂(α′, β′)]; k₁, . . . kn],
z = E₂[W₁[K₁(α′, β′), K₂(α′, β′)],
W₂[K₁(α′, β′), K₂(α′, β′)]; k₁, . . . kn] (4.1.2)y = E₁ [W₁ [K₁ (α ′, β ′), K₂ (α ′, β ′)],
W₂ [K₁ (α ′, β ′), K₂ (α ′, β ′)]; k₁,. . . kn ],
z = E₂ [W₁ [K₁ (α ′, β ′), K₂ (α ′, β ′)],
W₂ [K₁ (α ′, β ′), K₂ (α ′, β ′)]; k₁,. . . kn ] (4.1.2)
auf den Koordinatenort (y, z) des F-Wertes des entsprechenden Bildpunktes FV (y, z) im ursprünglich verzeichneten Real-Bild DELTA.to the coordinate location (y, z) of the F value of the corresponding pixel FV (y, z) in the originally recorded real image DELTA.
Insgesamt kann somit die Gesamtheit aller Transformationsschritte bis hierher wie folgt beschrieben werden:Overall, the entirety of all Transforma cansteps up to here are described as follows:
Die Transformation K = K₁, K₂ macht innerhalb der Gesamttransformation G₁, G₂ gemäß (4.2) letztlich den Effekt eines "elektronischen Schwenks" der Kamera samt Bildsensor um eine Achse durch das Projektionszentrum orthogonal zur Aufspannebene des inFig. 2 veranschaulichten Anstellwinkels Φ. Im Ausführungsbeispiel gemäßFig. 2 ist die Video-Kamera beispielhaft im Heckdeckel eines PKW fix betriebspositioniert, wobei ihre optische Achse zur Vertikalen den Anstellwinkel Φ aufweist, der beispielhaft 45° beträgt.The transformation K = K₁, K₂ makes within the overall transformation G₁, G₂ according to (4.2) ultimately the effect of an "electronic pan" of the camera including the image sensor about an axis through the projection center orthogonal to the clamping plane of the angle of attack illustrated inFIG. 2 Φ. In the exemplary embodiment according toFIG. 2, the video camera is, for example, in a fixed operating position in the rear cover of a car, its optical axis having the angle of attack Φ, which is 45 ° by way of example.
Im Hinblick aufFig. 7 undFig. 8 bewirkt die Transformation (4)-(4.1.1) bei unverändert fester Kamera mit Anstellwinkel Φ eine Drehung des BildesK in Bezug auf das BildW um eine Achse durch das Projektionszentrum1.10 orthogonal zur Aufspannebene des ausFig. 2 ersichtlichen Anstellwinkels Φ so, daß die neue fiktive optische Achse des BildesK senkrecht nach unten weist mit der Folge, daß sich die fiktive Ebene des BildesK dann horizontal erstreckt.W wird in Rückwärtsrichtung ausK erzeugt... 8 effected with regard toFigures 7 and the Trans formation (4) - (4.1.1) with an unchanged fixed camera angle Φ with a rotation of the imageK in relation to the imageW orthogonal to an axis through the center of projection to1.10 Clamping plane of the angle of incidence sicht visible fromFIG. 2 such that the new fictitious optical axis of the imageK points vertically downward, with the result that the fictitious plane of the imageK then extends horizontally.W is generated fromK in the reverse direction.
Die Winkelentzerrung gemäß dem Verfahrensschritt (3)-(3.1.1)/(3.1.2)-(3.2.)-(3.3) angewandt auf dieses fiktive BildW ergibt also in der Gesamttransformation ein Vertikalbild mit fiktiver optischer Achse vertikal nach unten. D.h., obwohl die Kamera und ihr Bildsensor gar nicht mit Blickrichtung senkrecht nach unten positioniert sind, erlaubt es das Verfahren, aus dem in der y/z-Koordinatenebene real erhaltenen Bild ein Vertikalbild synthetisch aufzubereiten, indem vor der Transformation gemäß (3)-(3.1.1)/(3.1.2)-(3.2.)-(3.3) die Winkel α und β der Transformation K = K₁, K₂ gemäß (4)-(4.1.1) unterworfen werden.The angle equalization according to process step (3) - (3.1.1) / (3.1.2) - (3.2.) - (3.3) applied to this fictitious imageW thus results in a vertical image with a fictitious optical axis vertically downwards in the overall transformation . That is, although the camera and its image sensor are not positioned vertically downwards at all, it allows the process to synthetically prepare a vertical image from the image actually obtained in the y / z coordinates by prior to the transformation according to (3) - (3.1.1) / (3.1.2) - (3.2.) - (3.3) the angles α and β of the transformation K = K₁, K₂ according to (4) - (4.1.1) are subjected.
Die Gesamttransformation G₁, G₂ gemäß (4)-(4.1.1)/(4.1.2)-(4.2)-(4.3) ist im allgemeinen nicht geraden treu. Sie leistet jedoch insgesamt folgendes:The total transformation G₁, G₂ according to (4) - (4.1.1) /(4.1.2) - (4.2) - (4.3) is generally not a straight line faithful. Overall, however, it does the following:
Die alternative Darstellung eines entsprechend winkelentzerrten und perspektivisch korrigierten Horizontalbildes ist ebenfalls möglich.The alternative representation of a correspondingly angulardistorted and perspective corrected horizontal imageis also possible.
Dazu wird der Wert FK eines jeden Pixels (α′, β′) des perspektivisch winkelentzerrten (Horizontal-)BildesK vom Wert FW desjenigen Pixels (α, β) des (perspektivisch nicht korrigierten) BildesW abgeleitet, auf welches das Pixel (α′, β′) vermöge der TransformationFor this purpose, the value FK of each pixel (α ′, β ′) of the (horizontal) imageK corrected by perspective is derived from the value FW of that pixel (α, β) of the (perspective non-corrected) imageW to which the pixel (α ′, β ′) by the transformation
K = K₁, K₂ (5)K = K₁, K₂ (5)
gemäß der Transformationsvorschriftaccording to the transformation regulation
zeigt.shows.
Der Wert FK kann auch von dem F-Wert des entsprechenden Bildpunktes FV (y, z) im ursprünglich verzeichneten Real-Bild DELTA abgeleitet werden, auf welches das Pixel (α′, β′) vermöge der Koordinaten-BildtransformationThe value FK can also be derived from the F value of the corresponding pixel FV (y, z) in the real image DELTA originally recorded, to which the pixel (α ′, β ′) by the coordinate image transformation
y = E₁[W₁[K₁(α′, β′), K₂(α′, β′)],
W₂[K₁(α′, β′), K₂(α′, β′)]; k₁, . . . kn],
z = E₂[W₁[K₁(α′, β′), K₂(α′, β′)],
W₂[K₁(α′, β′), K₂(α′, β′)]; k₁, . . . kn] (5.1.2)y = E₁ [W₁ [K₁ (α ′, β ′), K₂ (α ′, β ′)],
W₂ [K₁ (α ′, β ′), K₂ (α ′, β ′)]; k₁,. . . kn ],
z = E₂ [W₁ [K₁ (α ′, β ′), K₂ (α ′, β ′)],
W₂ [K₁ (α ′, β ′), K₂ (α ′, β ′)]; k₁,. . . kn ] (5.1.2)
zeigt gemäßshows according to
Daraus ist ersichtlich, daß sich bei einer Arbeitspositionierung der Videokamera mit Blickrichtungswinkel 45° schräg nach unten besonders einfache Verhältnisse bezüglich der alternativen Ableitung der beiden BilderK ergeben.From this it can be seen that in a work positioning of the video camera with a viewing angle of 45 ° downwards, particularly simple conditions with regard to the alternative derivation of the two images of theK result.
Im Hinblick aufFig. 7 undFig. 8 bewirkt eine solche Transformation (5)-(5.1.1) bei unverändert fester Kamera mit Anstellwinkel Φ folglich eine Drehung der Ebene des BildesK um eine Achse durch das Projektionszentrum1.10 orthogonal zur Aufspannebene des inFig. 2 veranschaulichten Anstellwinkels Φ so, daß die neue fiktive optische Achse des BildesK waagerecht vom Fahrzeug weg (nach hinten) zeigt mit der Folge, daß sich die fiktive Ebene des BildesK dann vertikal erstreckt. W wird in Rückwärtsrichtung ausK erzeugt.With regard toFIG. 7 andFIG. 8, such a transformation (5) - (5.1.1) results in a rotation of the plane of the imageK about an axis through the projection center1.10 orthogonal to the clamping plane of the inFIGFig. 2 illustrated clear angle of attack Φ so that the new fictitious optical axis of the imageK horizontally away from the vehicle (towards th) shows with the result that the fictitious plane of the imageK then extends vertically. W is generated fromK in the reverse direction.
Die Winkelentzerrung gemäß dem Verfahrensschritt (3)-(3.1.1)/(3.1.2)-(3.2.)-(3.3) angewandt auf ein solches fiktives Bild W liefert ein Horizontalbild mit fiktiver optischer Achse waagerecht vom Fahrzeug weg. Obwohl die Kamera und ihr Bildsensor gar nicht mit Blickrichtung waagerecht vom Fahrzeug weg positioniert sind, erlaubt das Verfahren auf der Basis des in der Y/z-Koordinatenebene real empfangenen Bildes ein Horizontalbild auf einem Monitor darzustellen, indem vor der Transformation gemäß (3)-(3.1.1)/(3.1.2)-(3.2.)-(3.3) die Winkel α und β der Transformation K = K₁, K₂ gemäß (5)-(5.1.1) unterworfen werden.The angle equalization according to process step (3) -(3.1.1) / (3.1.2) - (3.2.) - (3.3) applied to suchfictional image W provides a horizontal image with a fictional oneoptical axis horizontally away from the vehicle. Although theCamera and its image sensor not at all with viewing directionare positioned horizontally away from the vehiclethe method based on that in the y / z coordinatesa real image received a horizontal image on aDisplay monitor by according to the transformation(3) - (3.1.1) / (3.1.2) - (3.2.) - (3.3) the angles α and β of theTransformation K = K₁, K₂ according to (5) - (5.1.1) subjectedwill.
Die vorerwähnten Teiltransformationen stellen selbstverständlich keinerlei Beschränkung der Erfindung, sondern ausgewählte Schrittbeispiele dafür dar, wie eine erfindungsgemäß allgemeine Koordinaten-BildtransformationThe aforementioned partial transformations themselvesunderstandable no limitation of the invention, sonselected step examples for how ageneral coordinate image transform according to the inventiontion
A = A₁, A₂ (1)A = A₁, A₂ (1)
mit achsorthogonalen Transformationskomponentenwith orthogonal transformation components
y = A₁(a′, b′) und
z = A₂(a′, b′) (1.1)y = A₁ (a ′, b ′) and
z = A₂ (a ′, b ′) (1.1)
als "Über-Alles-Schritt" der Reallokationas an "over-all step" of the real location
(zeigt auf)
FM(a′, b′) - - - A₁, A₂ → FV(y,z) (1.2)
FM(a′ , b′) = FV [A₁(a′, b′), A₂(a′, b′)] (1.3)(points to)
FM (a ′, b ′) - - - A₁, A₂ → FV (y, z) (1.2)
FM (a ′, b ′) = FV [A₁ (a ′, b ′), A₂ (a ′, b ′)] (1.3)
im Detail gestaltet werden kann, wobei in dieser allgemeinen Beschreibung des Verfahrens FM dem "F-Wert" (wenigstens Helligkeit in einem Schwarz/Weiß-System, bevorzugt aber auch Farbsättigung und Farbart oder RGB-Wert) eines Bildpunktes in der a′/b′-Bildebene auf dem Bildschirm und FV dem "F-Wert" (wenigstens Helligkeit in einem Schwarz/Weiß-System, bevorzugt aber auch Farbsättigung und Farbart oder RGB-Wert) eines Bildpunktes in der y/z-DELTA-Ebene auf dem Sensorchip der Kamera entspricht und die Transformationen A₁ und A₂ angeben, von welchen Koordinaten (y, z) auf dem Bildsensor in der Kamera der aktuell bei den Koordinaten (a′, b′) auf dem Bildschirm zu schreibende F-Wert "abzuleiten¹′ ist. Die unter (2.3), (3.3) und (4.3) angegebenen Gesamttransformationen G₁, G₂ sind also beispielhafte Spezial- bzw. Sonderfälle der vorgenannten allgemeinen Transformation A₁, A₂.can be designed in detail, whereby in this general description of the method FM the "F value" (at least brightness in a black / white system, but preferably also color saturation and color type or RGB value) of a pixel in the a ' / b'-image plane on the screen and FV the "F value" (at least brightness in a black / white system, but preferably also color saturation and color type or RGB value) of a pixel in the y / z DELTA plane on the sensor chip corresponds to the camera and the transformations N₁ and A₂ indicate which coordinates (y, z) on the image sensor in the camera the F-value to be written on the screen at the coordinates (a ′, b ′) on the screen The overall transformations G₁, G₂ indicated under (2.3), (3.3) and (4.3) are exemplary special cases of the general transformation A₁, A₂ mentioned above.
Eine solche festzuverdrahtende Allokationstransformation wird in der Regel außer der spezifischen unerwünschten Abbildungsverzeichnung auch die Bildfeldparameter des Bildsensors und des Bildschirmes (Bildseitenverhältnisse bzw. horizontale und vertikale Inframe Nutzpixelzahl) miteinschließen und in der Praxis vorteilhaft so ausgelegt werden, daß sie wenigstens eine Kategorie der Mehrzahl von objektivbedingt spezifischen geometrisch-optischen Verzeichnungen des real erhältlichen Objektraumbildes von der gewünschten Objektraumdarstellung optimal korrigiert, wobei die Kategorien bei verschiedenstufigen Korrektionen auch wechseln können.Such an allocation transform to be hardwiredmation is usually beyond the specific undesired image distortion also the image fieldparameters of the image sensor and the screen (imageaspect ratios or horizontal and vertical inframe number of useful pixels) and in practiceadvantageously be designed so that they at leasta category of the majority of objective-specificspecific geometric-optical distortions of the real available object room image of the desired Obdisplay space optimally corrected, the Katewith different levels of correctionscan choose.
In jedem Falle bleibt der immanente Verfahrensvorteil wirksam, daß die Kompensation von Abbildungsunzulänglichkeiten durch Pixelreallokation sog. "unbestimmte Pixel" auf dem Bildschirm und alle damit auftretenden Folgeprobleme vermeidet und somit kein Aufwand für elektronischen Mittel zur Füllung oder Interpolation "wertloser" Pixel getrieben werden muß.In any case, the inherent procedural advantage remainseffective that the compensation of mapping insufficientpossibilities by pixel reallocation so-called "indefinitePixels "on the screen and all that occursAvoids consequential problems and therefore no effort forelectronic means of filling or interpolation"worthless" pixels must be driven.
Es versteht sich von selbst, daß der Gegenstand der Erfindung weder bezüglich des Verfahrens noch bezüglich der Vorrichtung verlassen wird, wenn beispielsweise eine vereinfachte Schwarz/Weiß-Übertragungstechnik zum Einsatz gelangt und sich die F-Werte in diesem Falle dann auf Helligkeitspegelwerte reduzieren.It goes without saying that the subject ofInvention neither in terms of the method nor relatedLich leaves the device if, for examplea simplified black and white transmissiontechnology and the F-valuesin this case then to brightness level valuesto reduce.
Das Verfahren öffnet damit einen Weg, Vorrichtungen zur Visualisierung eines nicht unmittelbar einsehbarer Überwachungsraumes mit in Echtzeit arbeitenden Bildsignalverarbeitungseinrichtungen mit geringem Aufwand schnell arbeitend, klein bauend und preisgünstig zu realisieren. Entsprechende Vorrichtungen eignen sich z. B. auch für die Einsicht von Passways in Passenger-Terminals, von tieferliegenden Durchtritträumen bei einem POS-Terminals, etc., wo im Einzelfall freilich andere Bildentzerrungen als bei einem Fahrzeug notwendig oder zweckmäßig sein können.The method thus opens a path to devicesto visualize a not immediately visiblebarer surveillance room with work in real timethe image signal processing devices with gerinworking quickly, small in size and effortinexpensive to implement. Corresponding Vorrichare suitable for. B. also for the inspection ofPassways in passenger terminals, from lower lyingthe entrance rooms at a POS terminal, etc.,where in other cases, of course, other image rectificationsthan necessary or appropriate for a vehiclecould be.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19539642ADE19539642A1 (en) | 1995-10-25 | 1995-10-25 | Visualisation method for monitoring system in vehicle |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19539642ADE19539642A1 (en) | 1995-10-25 | 1995-10-25 | Visualisation method for monitoring system in vehicle |
| Publication Number | Publication Date |
|---|---|
| DE19539642A1true DE19539642A1 (en) | 1996-11-14 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE19539642AWithdrawnDE19539642A1 (en) | 1995-10-25 | 1995-10-25 | Visualisation method for monitoring system in vehicle |
| Country | Link |
|---|---|
| DE (1) | DE19539642A1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19736880C1 (en)* | 1997-08-26 | 1999-05-06 | Jurca Optoelektronik Gmbh | Electronic spectacles as viewing aid |
| DE19845567A1 (en)* | 1998-10-02 | 2000-04-06 | Volkswagen Ag | Visualization method for area behind vehicle involves superimposing predicted vehicle path on image of rearward view using auxiliary lines or characters depending on steering angle |
| DE19925584A1 (en)* | 1999-06-04 | 2000-12-21 | Bosch Gmbh Robert | Route visualization method and device |
| WO2001037028A1 (en)* | 1999-11-15 | 2001-05-25 | Equal Reverse Thoughts Limited | Method of improved image depth perception |
| RU2176199C1 (en)* | 2000-05-23 | 2001-11-27 | Закрытое акционерное общество "Межотраслевое юридическое агентство "Юрпромконсалтинг" | Method of and device for video shooting of traffic accident |
| DE10221513A1 (en)* | 2002-05-14 | 2003-12-04 | Ce Sys Gmbh Ilmenau | Process for displaying images with a changed width-height ratio |
| DE10243620A1 (en)* | 2002-09-19 | 2004-04-01 | Valeo Schalter Und Sensoren Gmbh | Process for image processing of the optical signals detected by a system for the environment detection of a vehicle and system for environment detection of a vehicle |
| US6819231B2 (en) | 2002-02-05 | 2004-11-16 | Donnelly Hohe Gmbh & Co. Kg | Parking and/or maneuvering assistance device |
| DE10360754A1 (en)* | 2003-12-23 | 2005-07-28 | Hella Kgaa Hueck & Co. | Image acquisition and display system for motor vehicle, has objective with specified, progressively varying imaging scale, whereby largest imaging scale lies in range from that of normal objective to that of teleobjective |
| DE10083445B4 (en)* | 1999-09-30 | 2005-09-22 | Kabushiki Kaisha Toyota Jidoshokki, Kariya | Vehicle reverse monitoring device with a display controller for transforming an input image |
| DE19961389B4 (en)* | 1999-12-20 | 2005-10-06 | Werner Wallrafen | Protective closure for cameras |
| DE19806261B4 (en)* | 1997-02-14 | 2006-05-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for the controlled representation of cavity surfaces |
| DE102005027750A1 (en)* | 2005-06-16 | 2006-12-21 | Dr.Ing.H.C. F. Porsche Ag | Motor vehicle, in particular passenger cars |
| DE10059786B4 (en)* | 2000-12-01 | 2007-04-26 | Volkswagen Ag | Monitoring device for vehicles |
| DE19749583B4 (en)* | 1997-11-10 | 2007-05-24 | Volkswagen Ag | Method and device for monitoring or monitoring an object space from a motor vehicle |
| DE102011011048A1 (en)* | 2011-02-11 | 2012-08-16 | Mekra Lang Gmbh & Co. Kg | Monitoring the proximity around a commercial vehicle |
| DE10037222B4 (en)* | 2000-07-31 | 2013-09-19 | Volkswagen Ag | Camera device for motor vehicles |
| US8953011B2 (en) | 2011-02-08 | 2015-02-10 | Mekra Lang Gmbh & Co. Kg | Display device for visually-depicting fields of view of a commercial vehicle |
| DE102008031784B4 (en)* | 2007-07-16 | 2016-05-12 | Trw Automotive U.S. Llc | Method and apparatus for distortion correction and image enhancement of a vehicle rearview system |
| DE10296593B4 (en)* | 2001-03-28 | 2017-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Driving support device |
| US9667922B2 (en) | 2013-02-08 | 2017-05-30 | Mekra Lang Gmbh & Co. Kg | Viewing system for vehicles, in particular commercial vehicles |
| US9707891B2 (en) | 2012-08-03 | 2017-07-18 | Mekra Lang Gmbh & Co. Kg | Mirror replacement system for a vehicle |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0111909A2 (en)* | 1982-12-22 | 1984-06-27 | Hitachi, Ltd. | Picture processing apparatus |
| FR2673499A1 (en)* | 1991-03-01 | 1992-09-04 | Renault | CAMERA REVIEW DEVICE FOR A MOTOR VEHICLE. |
| DE4336288C1 (en)* | 1993-10-25 | 1995-03-30 | Daimler Benz Ag | Device for monitoring the rear or front space of a parking motor vehicle |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0111909A2 (en)* | 1982-12-22 | 1984-06-27 | Hitachi, Ltd. | Picture processing apparatus |
| FR2673499A1 (en)* | 1991-03-01 | 1992-09-04 | Renault | CAMERA REVIEW DEVICE FOR A MOTOR VEHICLE. |
| DE4336288C1 (en)* | 1993-10-25 | 1995-03-30 | Daimler Benz Ag | Device for monitoring the rear or front space of a parking motor vehicle |
| Title |
|---|
| Patent Abstracts of Japan, 1994, 06284424, JP 6-284424 A* |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19806261B4 (en)* | 1997-02-14 | 2006-05-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for the controlled representation of cavity surfaces |
| DE19736880C1 (en)* | 1997-08-26 | 1999-05-06 | Jurca Optoelektronik Gmbh | Electronic spectacles as viewing aid |
| DE19749583B4 (en)* | 1997-11-10 | 2007-05-24 | Volkswagen Ag | Method and device for monitoring or monitoring an object space from a motor vehicle |
| DE19845567A1 (en)* | 1998-10-02 | 2000-04-06 | Volkswagen Ag | Visualization method for area behind vehicle involves superimposing predicted vehicle path on image of rearward view using auxiliary lines or characters depending on steering angle |
| DE19925584A1 (en)* | 1999-06-04 | 2000-12-21 | Bosch Gmbh Robert | Route visualization method and device |
| US6564122B1 (en) | 1999-06-04 | 2003-05-13 | Robert Bosch Gmbh | Method and device for visualizing a driving path |
| DE10083445B4 (en)* | 1999-09-30 | 2005-09-22 | Kabushiki Kaisha Toyota Jidoshokki, Kariya | Vehicle reverse monitoring device with a display controller for transforming an input image |
| WO2001037028A1 (en)* | 1999-11-15 | 2001-05-25 | Equal Reverse Thoughts Limited | Method of improved image depth perception |
| DE19961389B4 (en)* | 1999-12-20 | 2005-10-06 | Werner Wallrafen | Protective closure for cameras |
| RU2176199C1 (en)* | 2000-05-23 | 2001-11-27 | Закрытое акционерное общество "Межотраслевое юридическое агентство "Юрпромконсалтинг" | Method of and device for video shooting of traffic accident |
| DE10037222B4 (en)* | 2000-07-31 | 2013-09-19 | Volkswagen Ag | Camera device for motor vehicles |
| DE10059786B4 (en)* | 2000-12-01 | 2007-04-26 | Volkswagen Ag | Monitoring device for vehicles |
| DE10296593B4 (en)* | 2001-03-28 | 2017-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Driving support device |
| US6819231B2 (en) | 2002-02-05 | 2004-11-16 | Donnelly Hohe Gmbh & Co. Kg | Parking and/or maneuvering assistance device |
| DE10221513B4 (en)* | 2002-05-14 | 2004-03-11 | Ce-Sys Gmbh Ilmenau | Process for displaying images with a changed width-height ratio |
| DE10221513A1 (en)* | 2002-05-14 | 2003-12-04 | Ce Sys Gmbh Ilmenau | Process for displaying images with a changed width-height ratio |
| DE10243620A1 (en)* | 2002-09-19 | 2004-04-01 | Valeo Schalter Und Sensoren Gmbh | Process for image processing of the optical signals detected by a system for the environment detection of a vehicle and system for environment detection of a vehicle |
| DE10360754A1 (en)* | 2003-12-23 | 2005-07-28 | Hella Kgaa Hueck & Co. | Image acquisition and display system for motor vehicle, has objective with specified, progressively varying imaging scale, whereby largest imaging scale lies in range from that of normal objective to that of teleobjective |
| DE102005027750A1 (en)* | 2005-06-16 | 2006-12-21 | Dr.Ing.H.C. F. Porsche Ag | Motor vehicle, in particular passenger cars |
| DE102008031784B4 (en)* | 2007-07-16 | 2016-05-12 | Trw Automotive U.S. Llc | Method and apparatus for distortion correction and image enhancement of a vehicle rearview system |
| US8953011B2 (en) | 2011-02-08 | 2015-02-10 | Mekra Lang Gmbh & Co. Kg | Display device for visually-depicting fields of view of a commercial vehicle |
| WO2012107238A1 (en) | 2011-02-11 | 2012-08-16 | Mekra Lang Gmbh & Co. Kg | Monitoring the close vicinity around a commercial vehicle |
| US9232195B2 (en) | 2011-02-11 | 2016-01-05 | Mekra Lang Gmbh & Co. Kg | Monitoring of the close proximity around a commercial vehicle |
| DE102011011048A1 (en)* | 2011-02-11 | 2012-08-16 | Mekra Lang Gmbh & Co. Kg | Monitoring the proximity around a commercial vehicle |
| DE102011011048B4 (en)* | 2011-02-11 | 2021-06-24 | Mekra Lang Gmbh & Co. Kg | Monitoring of the close range around a commercial vehicle |
| DE102011011048B9 (en) | 2011-02-11 | 2021-10-07 | Mekra Lang Gmbh & Co. Kg | Monitoring of the close range around a commercial vehicle |
| US9707891B2 (en) | 2012-08-03 | 2017-07-18 | Mekra Lang Gmbh & Co. Kg | Mirror replacement system for a vehicle |
| US10011229B2 (en) | 2012-08-03 | 2018-07-03 | Mekra Lang Gmbh & Co. Kg | Mirror replacement system for a vehicle |
| US9667922B2 (en) | 2013-02-08 | 2017-05-30 | Mekra Lang Gmbh & Co. Kg | Viewing system for vehicles, in particular commercial vehicles |
| USRE48017E1 (en) | 2013-02-08 | 2020-05-26 | Mekra Lang Gmbh & Co. Kg | Viewing system for vehicles, in particular commercial vehicles |
| Publication | Publication Date | Title |
|---|---|---|
| DE19539642A1 (en) | Visualisation method for monitoring system in vehicle | |
| DE102017130566B4 (en) | Vision system for capturing a vehicle environment and a mirror replacement system for a vehicle with a vision system | |
| DE19741896C2 (en) | Device for the visual representation of areas around a motor vehicle | |
| DE102008062121B4 (en) | A vehicle unit having a vehicle corridor display function, a method for displaying a predicted vehicle trajectory, and a system for generating vehicle corridor marks | |
| DE102004043257B4 (en) | Camera unit and device for monitoring the vehicle environment | |
| DE102006003538B3 (en) | Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section | |
| DE102006007493B4 (en) | Device for viewing the periphery of a vehicle | |
| DE102017123452A1 (en) | Method for generating an output image, camera system and motor vehicle showing a motor vehicle and a surrounding area of the motor vehicle in a predetermined target view | |
| DE102008031784A1 (en) | Method and apparatus for distortion correction and image enhancement of a vehicle rearview system | |
| DE10292327T5 (en) | Vehicle environment image processing device and recording medium | |
| EP3281178A1 (en) | Method for displaying an area surrounding a vehicle | |
| WO2014094941A1 (en) | Motor vehicle having a camera monitoring system | |
| DE102013220477B4 (en) | Method and device for correcting a pictorial representation of a vehicle environment | |
| EP3857303B1 (en) | Method for setting the focus of a film camera | |
| DE102019120636A1 (en) | PERIPHERAL DISPLAY DEVICE FOR A VEHICLE | |
| DE102012203491A1 (en) | Electronic rearview mirror system for viewing rear region behind motor car by vehicle driver, has computer evaluating image of rear region to determine portion of mirror image picture, and electronic display displaying evaluated image | |
| DE102018100194B3 (en) | Mirror replacement system and method for displaying image and / or video data of the environment of a motor vehicle | |
| DE102014114565A1 (en) | BIRD'S EYE VIEW VIEW IMAGE GENERATION DEVICE | |
| DE102017114611A1 (en) | Method for generating at least one merged perspective image of a motor vehicle and a surrounding area of the motor vehicle, camera system and motor vehicle | |
| WO2006128862A1 (en) | Integrated circuit with warping calculation unit | |
| DE10221513B4 (en) | Process for displaying images with a changed width-height ratio | |
| DE102010042248A1 (en) | Method and device for visualizing an environment of a vehicle | |
| DE102004036746A1 (en) | Device for visualizing a vehicle environment | |
| DE102006036769B3 (en) | Airplane real time-aerial view-monitoring device, has cameras with fields of view adjusted by one camera by compensator such that format of resultant image is switched between strip receiver and point or sport receiver | |
| DE10136651A1 (en) | Method and device for capturing and displaying images |
| Date | Code | Title | Description |
|---|---|---|---|
| OAV | Publication of unexamined application with consent of applicant | ||
| OP8 | Request for examination as to paragraph 44 patent law | ||
| 8130 | Withdrawal |