DE102018210849A1 - Method for evaluating an operating state of a camera of a means of transportation and system - Google Patents

Abstract

Translated fromGerman

Die vorliegende Erfindung betrifft ein Verfahren zur Bewertung eines Betriebszustandes einer ersten Kamera eines Fortbewegungsmittels (4) umfassend die Schritte: Erfassen eines Objektes mit einer ersten Kamera zu einem ersten Zeitpunkt; Erfassen des Objektes (11) mit einer zweiten Kamera des Fortbewegungsmittels (4) zu einem zweiten Zeitpunkt; Vergleichen eines ersten Videosignals repräsentierend das Objekt (11), welches durch die erste Kamera zu dem ersten Zeitpunkt erfasst wurde mit einem zweiten Videosignal repräsentierend das Objekt (11), welches mit der zweiten Kamera zu dem zweiten Zeitpunkt erfasst wurde, bezüglich eines vordefinierten Vergleichskriteriums; Bewerten des Betriebszustandes der ersten Kamera in Abhängigkeit eines Ergebnisses des Vergleiches.

The invention relates to a method for evaluating an operating state of a first camera of a means of transportation (4), comprising the steps of: detecting an object with a first camera at a first point in time; Capturing the object (11) with a second camera of the means of transportation (4) at a second point in time; Comparing a first video signal representing the object (11), which was recorded by the first camera at the first time, with a second video signal representing the object (11), which was recorded by the second camera at the second time, with respect to a predefined comparison criterion; Evaluate the operating state of the first camera depending on a result of the comparison.

Description

Translated fromGerman

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft ein Verfahren zur Bewertung eines Betriebszustandes einer ersten Kamera eines Fortbewegungsmittels und ein System.The present invention relates to a method for evaluating an operating state of a first camera of a means of transportation and a system.

Videokameras als Ersatz für den herkömmlichen Rückspiegel (auch „Rückspiegelersatzkamera“ genannt), sowohl für den Innen- als auch für den Außenspiegel, werden in zahlreichen Patentschriften (z.B.WO 96/38319) und Literaturquellen beschrieben. Ferner ist ein Einsatz von derartigen Videokameras bei verschiedenen OEM mindestens im Rahmen von Concept Cars gezeigt worden. Daher ist in naher Zukunft mit einer breiten Markteinführung zu rechnen. Ein wesentlicher Vorteil bekannter kamerabasierter Systeme ist die Tatsache, dass die von der Kamera erfassten Sichtbereiche wesentlich größer sein können als die von herkömmlichen Spiegeln. Somit können situationsangepasst relevante Sichtbereiche auf einem Display eines Fortbewegungsmittels dargestellt werden. Ein solches Rückspiegelersatzsystem oder auch Kamera-Monitor-System (KMS), welches einen vollwertigen Ersatz für das herkömmliche Rückspiegelsystem darstellt, muss selbstverständlich sicherheitsrelevanten Kriterien einer Automotive Safety Integrity Level (ASIL)-Bewertung genügen. Mit der ASIL-Einstufung werden die Wahrscheinlichkeit eines Systemausfalles und die damit verbundenen Konsequenzen bewertet. Diese Bewertung basiert auf der ISO-Norm 26262. Bei einem Ausfall der korrekten Anzeige eines rückwärtigen Videobildes gibt es zwei wesentliche Fälle, die systemseitig zu detektieren sind, damit der Fahrer hinreichend gewarnt werden kann, nämlich wenn das Display nur noch einen schwarzen Bildschirm anzeigt und/oder wenn das Bild einfriert bzw. verzögert angezeigt wird (auch unter dem Begriff „Latenz“ bekannt). In beiden Fällen kann der Fahrer nicht erkennen, dass das System nicht mehr korrekt funktioniert (z.B. im Falle eines schwarzen Bildschirmes bei einer Nachtfahrt auf einer einsamen Landstraße).Video cameras as a replacement for the conventional rear view mirror (also called "rear view mirror replacement camera"), both for the inside and outside mirror, are described in numerous patents (e.g. WO 96/38319 ) and literature sources. Furthermore, the use of such video cameras has been shown at various OEMs, at least in the context of concept cars. A broad market launch can therefore be expected in the near future. A major advantage of known camera-based systems is the fact that the viewing areas captured by the camera can be significantly larger than those of conventional mirrors. In this way, relevant areas of view can be shown on a display of a means of transportation, depending on the situation. Such a rear-view mirror replacement system or camera monitor system (KMS), which is a full replacement for the conventional rear-view mirror system, must of course meet safety-relevant criteria of an Automotive Safety Integrity Level (ASIL) assessment. The ASIL rating evaluates the probability of a system failure and the associated consequences. This evaluation is based on ISO standard 26262. If the correct display of a rear video image fails, there are two essential cases that have to be detected by the system so that the driver can be adequately warned, namely when the display only shows a black screen and / or if the image appears frozen or delayed (also known as “latency”). In both cases, the driver cannot see that the system is no longer working correctly (e.g. in the case of a black screen when driving on a lonely country road at night).

Offenbarung der ErfindungDisclosure of the invention

Gemäß einem ersten Aspekt betrifft die vorliegende Erfindung ein Verfahren zur Bewertung eines Betriebszustandes einer ersten Kamera eines Fortbewegungsmittels. Als Fortbewegungsmittel im Sinne der Erfindung kommen z.B. Automobile, insbesondere PKW und/oder LKW und/oder Flugzeuge und/oder Schiffe und/oder Motorräder infrage. Hierbei kann die erste Kamera jene Kamera darstellen, deren Betriebszustand zu bewerten ist. Ein Betriebszustand bezieht sich hierbei auf die Funktionsfähigkeit der ersten Kamera. Insbesondere kann ein Betriebszustand als „nicht ausreichend“ bzw. „nicht plausibel“ bewertet werden, wenn das Display, welches mit einer ersten Kamera verbunden ist, nur einen schwarzen Bildschirm bei nicht-schwarzem Motiv und/oder ein eingefrorenes Bild und/oder ein verzögertes Bild anzeigt. Ferner kann ein Betriebszustand der ersten Kamera auch über einen längeren Zeitraum hinweg bewertet werden, wobei im Falle eines dauerhaften Überschreitens eines vordefinierten Schwellenwerts ein Betriebszustand einer ersten Kamera nicht für ausreichend erachtet wird. Als Entsprechung des vordefiniertes Schwellenwertes (für die Bewertung „plausibel“ bzw. „ausreichend“) kommt beispielsweise eine Übereinstimmung von 3 Frames bis 300 Frames, insbesondere 10 bis 100 Frames (zwischen den Bildern, welche aus den jeweiligen Videoeingangssignalen der Rückspiegelersatzkamera und der Frontkamera erzeugt werden, wobei die Übereinstimmung insbesondere hinsichtlich des vordefinierten Vergleichskriteriums vorliegen muss), innerhalb eines vorbestimmten Vergleichszeitraumes von 1 bis 100 s, bevorzugt 10 s bis 50 s in Frage. Die Bewertung des Betriebszustandes kann insbesondere von dem Verkehrsszenario abhängig sein. Sollte beispielsweise ein erhöhtes bis hohes Verkehrsaufkommen, insbesondere im Fall eines Staus, vorliegen, gibt es besonders viele Objekte, welche zum Vergleich heranziehbar sind. In diesem Fall muss insbesondere eine Übereinstimmung von 3 bis 10 Frames im Zeitraum von 10 Sekunden vorliegen, damit der Betriebszustand als „ausreichend“ bewertet wird. Sollte eine hohe Geschwindigkeit des Fortbewegungsmittels und/oder ein niedriges Verkehrsaufkommen vorliegen, kann der vordefinierte Schwellenwert z.B. bei 100 bis 300 Frames innerhalb von 50 s zur Bewertung des Betriebszustandes liegen.According to a first aspect, the present invention relates to a method for evaluating an operating state of a first camera of a means of transportation. As means of transportation in the sense of the invention come e.g. Automobiles, in particular cars and / or trucks and / or planes and / or ships and / or motorcycles. The first camera can represent the camera whose operating state is to be assessed. An operating state relates to the functionality of the first camera. In particular, an operating state can be rated as “insufficient” or “not plausible” if the display, which is connected to a first camera, only has a black screen with a non-black motif and / or a frozen image and / or a delayed image Display image. Furthermore, an operating state of the first camera can also be evaluated over a longer period of time, wherein if a predefined threshold value is permanently exceeded, an operating state of a first camera is not considered to be sufficient. As a correspondence to the predefined threshold value (for the assessment “plausible” or “sufficient”) there is, for example, a match of 3 frames to 300 frames, in particular 10 to 100 frames (between the images, which are generated from the respective video input signals of the rearview mirror replacement camera and the front camera are in question, with the agreement in particular with regard to the predefined comparison criterion) within a predetermined comparison period of 1 to 100 s, preferably 10 s to 50 s. The assessment of the operating status can depend in particular on the traffic scenario. If, for example, there is an increased to high volume of traffic, especially in the event of a traffic jam, there are a particularly large number of objects which can be used for comparison. In this case, there must in particular be a match of 3 to 10 frames within a period of 10 seconds so that the operating status is rated as "sufficient". If there is a high speed of transportation and / or a low volume of traffic, the predefined threshold value can e.g. 100 to 300 frames within 50 s to evaluate the operating status.

In einem ersten Schritt des erfindungsgemäßen Verfahrens wird ein Objekt mit einer ersten Kamera zu einem ersten Zeitpunkt erfasst. Die erste Kamera, welche die zu bewertende Kamera im Hinblick auf einen Betriebszustand darstellt, kann beispielsweise eine Frontkamera oder eine Rückspiegelersatzkamera darstellen. Das Objekt kann dabei jede physische Entität darstellen, welche sich im Sichtbereich der ersten Kamera befindet. Dieses Objekt kann ein Referenzpunkt, wie nachfolgend beschrieben, für ein Bewerten des Betriebszustandes der ersten Kamera darstellen. Beispielsweise kann ein Objekt ein Fremd-Fortbewegungsmittel, welches beispielsweise dem Fortbewegungsmittel, dessen Kamera zu bewerten ist, entgegenkommt und/oder ein Kanaldeckel und/oder eine Bodenmarkierung, insbesondere ein Fahrbahnstreifen und/oder eine Pflanze und/oder ein Gebäude und/oder eine Straßenstruktur, z.B. einen Bordstein, umfassen.In a first step of the method according to the invention, an object is captured with a first camera at a first point in time. The first camera, which represents the camera to be evaluated with regard to an operating state, can represent, for example, a front camera or a rear-view mirror replacement camera. The object can represent any physical entity that is in the field of view of the first camera. This object can represent a reference point, as described below, for evaluating the operating state of the first camera. For example, an object can be a third-party means of transportation that, for example, accommodates the means of transportation whose camera is to be assessed and / or a manhole cover and / or a floor marking, in particular a lane strip and / or a plant and / or a building and / or a road structure , e.g. a curb.

In einem zweiten Schritt wird dieses Objekt mit einer zweiten Kamera des Fortbewegungsmittels, wobei sich die zweite Kamera in einem räumlichen Abstand zu der ersten Kamera befindet, zu einem zweiten Zeitpunkt, welcher z.B. später oder früher als der erste Zeitpunkt ist, erfasst. Falls die erste Kamera eine erste Rückspiegelersatzkamera (beispielsweise auf der Fahrerseite) und die zweite Kamera eine zweite Rückspiegelersatzkamera (beispielsweise auf der Beifahrerseite) ist, können der erste und der zweite Zeitpunkt beispielsweise identisch sein. In den nachfolgend beschriebenen Fällen können der erste und der zweite Zeitpunkt insbesondere unterschiedlich sein. Falls die zu überprüfende erste Kamera die Rückspiegelersatzkamera ist, so ist der zweite Zeitpunkt früher als der erste Zeitpunkt, wenn die zweite Kamera z.B. die Frontkamera darstellt. Insbesondere ist im umgekehrten Fall die zweite Kamera beispielsweise die Rückspiegelersatzkamera und die erste Kamera ist z.B. die Frontkamera. In diesem Fall ist der zweite Zeitpunkt später als der erste Zeitpunkt. Mit anderen Worten wird dasselbe Objekt mit unterschiedlichen Kameras, von denen die erste die zu überprüfende Kamera darstellt und die zweite Kamera eine Referenzkamera darstellt, zu unterschiedlichen oder identischen Zeitpunkten erfasst. Beispielsweise kann für den Fall, dass die erste Kamera die Rückspiegelersatzkamera ist, das Objekt zu einem früheren Zeitpunkt mit der zweiten Kamera, welche z.B. eine Frontkamera sein kann, erfasst werden, wobei die erste Kamera das Objekt zeitlich danach erfasst. In einem weiteren Schritt wird ein erstes Videosignal repräsentierend das Objekt, welches durch die erste Kamera zu dem ersten Zeitpunkt erfasst wurde, mit dem zweiten Videosignal, repräsentierend das Objekt, welches mit der zweiten Kamera zu einem zweiten Zeitpunkt erfasst wurde, bezüglich eines vordefinierten Vergleichskriteriums verglichen. Das vordefinierte Vergleichskriterium kann beispielsweise eine Helligkeitsverteilung eines Bildes, welches aus einem Videosignal repräsentierend ein aufgenommenes Objekt generiert wird, umfassen. Somit werden Bilder, welche aus dem ersten und zweiten Videosignal erzeugt wurden, beispielsweise pixelweise, z.B. bezüglich der Helligkeitsverteilung, verglichen. Ferner kann beispielsweise eine Transformation des ersten Videosignals in das zweite Videosignal stattfinden, so dass die beiden Videosignale zeitlich bzw. unter Berücksichtigung der räumlich unterschiedlich angeordneten Kameras in Einklang gebracht werden. In einem nächsten Schritt erfolgt ein Bewerten des Betriebszustandes der ersten Kamera in Abhängigkeit eines Ergebnisses dieses Vergleiches. Beispielsweise kann der Betriebszustand als „ausreichend“ bzw. „plausibel“ bewertet werden, wenn der vorstehend beschriebene Vergleich der Helligkeitsverteilung im hinreichenden Maße identisch ist. Im anderen Fall kann beispielsweise eine Bewertung als „nicht ausreichend“ erfolgen, falls beispielsweise die Helligkeitsverteilung in einem nicht hinreichenden Maße übereinstimmt. Dies ist insbesondere dann der Fall, wenn das Bild, welches aus dem Videosignal der ersten Kamera generiert wurde, eingefroren ist und somit die Helligkeitsverteilung nicht mit dem Bild, welches aus dem Videosignal der zweiten Kamera generiert wurde, übereinstimmt. Mit anderen Worten wird der Betriebszustand der ersten Kamera bewertet, indem davon ausgegangen wird, dass die erste Kamera dasselbe Objekt erfassen sollte, welches die zweite Kamera bereits vorher erfasst hat. Im umgekehrten Fall sollte die erste Kamera das Objekt zuvor erfasst haben, welches die zweite Kamera dann zu einem späteren Zeitpunkt erfasst. Ein Vergleich des ersten und zweiten Videosignals unter Berücksichtigung der Zeitdifferenz zwischen dem Erfassen des Objektes durch die erste und durch die zweite Kamera kann beispielsweise unter Berücksichtigung einer Geschwindigkeit des Fortbewegungsmittels und die damit verbundene zurückgelegte Wegstrecke erfolgen. Somit kann exakt bestimmt werden, wann die erste Kamera das Objekt erfassen sollte bzw. hätte erfassen sollen. Beispielsweise kann im Falle des Vergleiches unter Verwendung der Helligkeitsverteilung eine Bildübereinstimmung (der Bilder, welche aus dem ersten Videosignal der ersten Kamera und dem zweiten Videosignal der zweiten Kamera erzeugt werden) von 30 % bis 50 % genügen, damit der Betriebszustand als „plausibel“ bewertet wird. Bei einer Bildkorrespondenzanalyse kann es insbesondere vorgesehen sein, dass eine solche Bildübereinstimmung bei 70 % bis 100 % liegt. Durch das erfindungsgemäße Verfahren wird der bestimmungsgemäße Betrieb des Einzugs des Videosignals vom Erfassen durch die Kamera bis zur Auswerteeinheit abgesichert. Dadurch können für den Anwender des Fortbewegungsmittels nicht unmittelbar erkennbare Fehlfunktionen deutlich als fehlerhaft gekennzeichnet werden. Durch das erfindungsgemäße Verfahren kann der Betriebszustand der ersten Kamera fortlaufend mit der tatsächlich vorhandenen Szene verglichen werden. Auf diese Weise kann ein eingefrorenes Bild oder eine erhöhte Latenz zwischen dem Erfassen des Objektes und dem Verarbeiten des zugehörigen Videosignals über die Auswerteeinheit, beispielsweise über eine CPU und/oder über einen Mikroprozessor, festgestellt werden. Weiterhin hat das erfindungsgemäße Verfahren zum Vorteil, dass der Hard- und Softwareaufwand für die Absicherung einer Rückspiegelersatzkamera und/oder einer Frontkamera reduziert wird und gleichzeitig eine Absicherung kontextbasiert bzw. auf der Merkmalsebene eines Bildes, welches aus einem Videosignal generiert wird, erreicht wird.In a second step, this object becomes a with a second camera of the means of transportation, the second camera being at a spatial distance from the first camera second time, which is later or earlier than the first time, for example. If the first camera is a first rear-view mirror replacement camera (for example on the driver's side) and the second camera is a second rear-view mirror replacement camera (for example on the passenger side), the first and the second point in time can be identical, for example. In the cases described below, the first and the second point in time can in particular be different. If the first camera to be checked is the rear-view mirror replacement camera, then the second point in time is earlier than the first point in time if the second camera represents the front camera, for example. In the reverse case, in particular, the second camera is, for example, the rear-view mirror replacement camera and the first camera is, for example, the front camera. In this case, the second time is later than the first time. In other words, the same object is recorded with different cameras, the first of which represents the camera to be checked and the second camera represents a reference camera, at different or identical times. For example, in the event that the first camera is the rear-view mirror replacement camera, the object can be captured at an earlier point in time with the second camera, which can be a front camera, for example, the first camera subsequently capturing the object. In a further step, a first video signal representing the object that was recorded by the first camera at the first point in time is compared with the second video signal representing the object that was recorded by the second camera at a second point in time with respect to a predefined comparison criterion , The predefined comparison criterion can include, for example, a brightness distribution of an image, which is generated from a video signal representing a recorded object. Thus, images that were generated from the first and second video signals are compared, for example pixel by pixel, for example with regard to the brightness distribution. Furthermore, for example, a transformation of the first video signal into the second video signal can take place, so that the two video signals are brought into harmony in terms of time or taking into account the spatially differently arranged cameras. In a next step, the operating state of the first camera is assessed as a function of a result of this comparison. For example, the operating status can be rated as "sufficient" or "plausible" if the comparison of the brightness distribution described above is sufficiently identical. In the other case, for example, an assessment can be made as “inadequate” if, for example, the brightness distribution does not match to a sufficient degree. This is particularly the case when the image that was generated from the video signal of the first camera is frozen and thus the brightness distribution does not match the image that was generated from the video signal of the second camera. In other words, the operating state of the first camera is evaluated by assuming that the first camera should capture the same object that the second camera has already captured. In the opposite case, the first camera should have previously captured the object, which the second camera will then capture at a later time. A comparison of the first and second video signals, taking into account the time difference between the detection of the object by the first and by the second camera, can take place, for example, taking into account a speed of the means of transportation and the distance traveled associated therewith. It can thus be determined exactly when the first camera should or should have recorded the object. For example, in the case of a comparison using the brightness distribution, an image match (of the images which are generated from the first video signal of the first camera and the second video signal of the second camera) of 30% to 50% is sufficient for the operating state to be rated as "plausible" becomes. In the case of an image correspondence analysis, it can in particular be provided that such an image match is 70% to 100%. The method according to the invention ensures the intended operation of the intake of the video signal from the capture by the camera to the evaluation unit. As a result, malfunctions that are not immediately recognizable to the user of the means of transportation can be clearly identified as faulty. The operating state of the first camera can be continuously compared with the actually existing scene by the method according to the invention. In this way, a frozen image or an increased latency between the detection of the object and the processing of the associated video signal can be determined via the evaluation unit, for example via a CPU and / or via a microprocessor. Furthermore, the method according to the invention has the advantage that the hardware and software expenditure for securing a rear-view mirror replacement camera and / or a front camera is reduced and, at the same time, security is achieved based on context or on the feature level of an image that is generated from a video signal.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The subclaims show preferred developments of the invention.

Gemäß einer bevorzugten Weiterbildung der Erfindung ist die erste Kamera eine Frontkamera und die zweite Kamera eine Rückspiegelersatzkamera. Als Rückspiegelersatzkamera kommen insbesondere Ersatzkameras für Innen- wie auch Außenspiegel infrage. Im vorgenannten Fall stellt also die Frontkamera die zu überprüfende Kamera dar. In diesem Fall ist der zweite Zeitpunkt später als der erste Zeitpunkt. Nach dem Erfassen eines Objektes, z.B. eines Kanaldeckels, durch die Frontkamera, nimmt die zweite Kamera zu einem späteren Zeitpunkt dieses Objekt auf, nachdem dieses Objekt insbesondere durch das Fortbewegungsmittel passiert wurde. Somit kann in Abhängigkeit des Vergleiches und somit mithilfe der zweiten Kamera festgestellt werden, ob die erste Kamera dasselbe Objekt zuvor erfasst hat. Dies kann beispielsweise bezüglich des Vergleiches der Helligkeitsverteilung auf Bildern, welche aus den Videosignalen der Kameras generiert werden, bewertet werden. Somit kann die Funktionsfähigkeit der ersten Kamera mithilfe der Rückspiegelersatzkamera plausibilisiert werden. Alternativ kann im umgekehrten Fall die zweite Kamera eine Frontkamera und die erste Kamera eine Rückspiegelersatzkamera sein. In diesem Fall ist der zweite Zeitpunkt früher als der erste Zeitpunkt. Eine Frontkamera, welche hierbei als Referenzkamera in Bezug auf die zu überprüfende Rückspiegelersatzkamera verwendet wird, hat vorteilhafterweise eine höhere ASIL-Einstufung als die Rückspiegelersatzkamera. Somit kann ein Vergleich der Videosignale repräsentierend die erfassten Objekte zur Bewertung des Betriebszustandes in einem erhöhten Maße als abgesichert betrachtet werden. Somit wird zunächst durch die Frontkamera das Objekt erfasst. Nach einer Zeitspanne, welche beispielsweise durch die Geschwindigkeit des Fortbewegungsmittels und den somit zurückgelegten Weg definiert wird, wird anhand des Vergleiches festgestellt, ob das Bild, welches aus einem Videosignal der Rückspiegelersatzkamera generiert wird, bezüglich des vordefinierten Vergleichskriteriums, dasselbe Objekt wie das Bild, welches aus dem Videosignal der Frontkamera erzeugt wurde, enthält. Hierbei kann beispielsweise die Frontkamera ein entgegenkommendes Fahrzeug erfassen. Wenn es sich aus dem Vergleich ergibt, dass die Rückspiegelersatzkamera das zuvor entgegengekommene Fahrzeug zu einem zweiten Zeitpunkt ebenfalls erfasst hat, kann der Betriebszustand der Rückspiegelersatzkamera als „ausreichend“ bewertet werden. Eine Warnung wird dem Fahrer insbesondere in diesem Fall nicht ausgegeben.According to a preferred development of the invention, the first camera is a front camera and the second camera is a rear-view mirror replacement camera. Replacement cameras for inside and outside mirrors are particularly suitable as rear-view mirror replacement cameras. In the aforementioned case, the front camera thus represents the camera to be checked. In this case the second time is later than the first time. After an object, for example a manhole cover, has been captured by the front camera, the second camera records this object at a later point in time after this object has been passed, in particular, by the means of transportation. Depending on the comparison and thus with the aid of the second camera, it can thus be determined whether the first camera has previously captured the same object. This can be assessed, for example, with regard to the comparison of the brightness distribution on images that are generated from the video signals of the cameras. The functionality of the first camera can thus be checked for plausibility using the rear-view mirror replacement camera. Alternatively, in the opposite case, the second camera can be a front camera and the first camera can be a rear-view mirror replacement camera. In this case, the second time is earlier than the first time. A front camera, which is used here as a reference camera in relation to the rearview mirror replacement camera to be checked, advantageously has a higher ASIL rating than the rearview mirror replacement camera. A comparison of the video signals representing the detected objects for evaluating the operating state can thus be regarded to an increased extent as being secured. Thus, the object is first captured by the front camera. After a period of time, which is defined, for example, by the speed of the means of transportation and the distance traveled, the comparison is used to determine whether the image that is generated from a video signal of the rear-view mirror replacement camera is the same object as the image that corresponds to the predefined comparison criterion was generated from the video signal of the front camera. For example, the front camera can detect an oncoming vehicle. If it emerges from the comparison that the rear-view mirror replacement camera has also recorded the vehicle that was oncoming at a second point in time, the operating state of the rear-view mirror replacement camera can be rated as “sufficient”. In this case in particular, the driver is not given a warning.

Gemäß einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens erfolgt das Vergleichen des ersten und den zweiten Videosignals pixelweise und/oder blockweise und/oder histogrammbasiert und/oder merkmalsbasiert. Beispielsweise kann im Falle eines histogrammbasierten Vergleiches in Randbereichen des Bildes, welches durch das Videosignal erzeugt wird, nach Gebäudefronten und deren charakteristischen Farbinformationen mittels lokaler Histogrammbildungen im RGB(rot-grün-blau)-Raum gesucht werden. Im Fall eines pixelweisen Vergleiches können beispielsweise, falls dem vordefinierten Vergleichskriterium eine Helligkeitsverteilung zugewiesen ist, die Helligkeitsverteilungen der Bilder, welche durch die jeweiligen Videosignale generiert werden, Pixel für Pixel miteinander verglichen werden. Ein pixelweiser Vergleich liefert hierbei eine erhöhte Präzision hinsichtlich der Aussagekraft des Vergleiches, in Abhängigkeit dessen, wie der Betriebszustand bewertet wird. Beispielsweise können in einem blockweisen Vergleich auch größere Pixelgruppen miteinander verglichen werden. Im Falle eines merkmalsbasierten Vergleichs können insbesondere Merkmale, wie beispielsweise Fahrbahnlinien, miteinander verglichen werden. Bei den jeweiligen Vergleichen muss insbesondere eine Transformation der Bilder und/oder eine Korrelation der Bilder, welche durch die ersten und zweiten Videosignale erzeugt werden, durchgeführt werden, um die unterschiedlichen Ausrichtungen der Kameras bzw. unterschiedliche Sichtbereiche der Kameras zu berücksichtigen.According to an advantageous development of the method according to the invention, the comparison of the first and the second video signal is carried out pixel-wise and / or block-wise and / or histogram-based and / or feature-based. For example, in the case of a histogram-based comparison in edge areas of the image which is generated by the video signal, building fronts and their characteristic color information can be searched for using local histogram formations in the RGB (red-green-blue) space. In the case of a pixel-by-pixel comparison, for example, if a brightness distribution is assigned to the predefined comparison criterion, the brightness distributions of the images generated by the respective video signals can be compared pixel by pixel. A pixel-by-pixel comparison provides an increased precision with regard to the meaningfulness of the comparison, depending on how the operating state is evaluated. For example, larger pixel groups can also be compared with one another in a block-wise comparison. In the case of a feature-based comparison, features such as road lines, in particular, can be compared with one another. In the respective comparisons, in particular a transformation of the images and / or a correlation of the images generated by the first and second video signals must be carried out in order to take into account the different orientations of the cameras or different viewing areas of the cameras.

Gemäß einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird das Objekt in dem ersten und zweiten Videosignal lokalisiert und zu dem Vergleich verwendet. Das Lokalisieren kann insbesondere durch Bilder, welche in Abhängigkeit der ersten und zweiten Videosignale generiert werden, erfolgen. Beispielsweise kann eine Matrix zweidimensionaler Koordinaten über ein solches Bild, welches aus einem ersten Videosignal erzeugt wird, gelegt werden. Diese speziellen Koordinaten, an denen sich das Objekt befinden kann, können auf ein Bild, welches durch das zweite Videosignal erzeugt wird, projiziert werden. Durch eine Transformation des ersten Bildes, unter Berücksichtigung der Kameraausrichtung der zweiten Kamera und insbesondere der Fahrgeschwindigkeit des Fortbewegungsmittels, kann festgestellt werden, ob das Objekt an den Koordinaten lokalisiert ist, an denen es bezüglich eines vordefinierten Vergleichskriteriums zu erwarten wäre. Sollte dies nicht der Fall sein, so kann der Betriebszustand der ersten Kamera als „nicht ausreichend“ bewertet werden. Im anderen Fall kann der Betriebszustand als „ausreichend“ bewertet werden. Somit kann durch das Lokalisieren des Objektes zusätzlich eine verbesserte Plausibilisierung der Funktionsfähigkeit der ersten Kamera erreicht werden. Zusätzlich oder alternativ kann bei einer bekannten optischen Transformierungsvorschrift eine dem Fachmann bekannte Lookup-Tabelle zum Bildvergleich verwendet werden, wodurch sich der Rechenaufwand reduzieren lässt.According to a further advantageous embodiment of the method according to the invention, the object is located in the first and second video signals and used for the comparison. The localization can take place in particular through images which are generated as a function of the first and second video signals. For example, a matrix of two-dimensional coordinates can be overlaid on such an image, which is generated from a first video signal. These special coordinates, at which the object can be located, can be projected onto an image which is generated by the second video signal. By transforming the first image, taking into account the camera orientation of the second camera and in particular the driving speed of the means of transportation, it can be determined whether the object is located at the coordinates at which it would be expected with respect to a predefined comparison criterion. If this is not the case, the operating status of the first camera can be rated as “insufficient”. In the other case, the operating status can be rated as "sufficient". Locating the object can thus additionally improve the plausibility check of the functionality of the first camera. Additionally or alternatively, a lookup table known to the person skilled in the art can be used for image comparison in the case of a known optical transformation regulation, as a result of which the computation effort can be reduced.

In einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens repräsentiert das vordefinierte Vergleichskriterium eine Farbverteilung und/oder eine Helligkeitsverteilung und/oder eine Textur des Objektes und/oder eine Morphologie des Objektes zu einem ersten Zeitpunkt. Mit anderen Worten kann der Vergleich bezüglich des vordefinierten Vergleichskriteriums basierend auf einer Farbinformation oder einer Helligkeitsinformation oder auf einer Form des Objektes erfolgen. Beispielsweise kann eine Textur des Objektes eine Rauheit der Oberfläche und/oder ein Muster der Oberfläche des Objektes umfassen. Hingegen beschreibt eine Morphologie insbesondere die äußere Form, beispielsweise den Umriss, eines Objektes, insbesondere eine Linienform und/oder eine runde Form und/oder eine eckige Form. Durch die vorstehend beschriebenen Vergleichskriterien bezüglich der Objekte kann nicht nur ein Totalausfall der ersten Kamera erkannt werden, sondern auch eine Latenz. Insbesondere ist es durch die vordefinierten Vergleichskriterien sogar möglich, eine Dauer der Latenz festzustellen. Gemäß einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens kann das Verfahren ferner den Schritt eines Transformierens des Bildes, welches aus dem ersten und/oder des zweiten Videosignal erzeugt wird, in Abhängigkeit eines Lenkwinkels und/oder einer Geschwindigkeit und/oder einer Beschleunigung des Fortbewegungsmittels umfassen. Beispielsweise kann durch ein Lenken des Fortbewegungsmittels ein Bild, das aus dem zweiten Videosignal generiert wurde, das Objekt räumlich verzerrt darstellen. Im Ansprechen auf ein Lenken kann beispielsweise ein Lenkwinkel über eine Auswerteeinheit ermittelt werden und in Abhängigkeit davon eine Transformation des Bildes, welches aus dem zweiten Videosignal erhalten wird, in ein normiertes Bild, welches das Objekt ohne den Einfluss des Lenkwinkels darstellt, durchgeführt werden, so dass der Einfluss des Lenkwinkels keine Fehleranfälligkeit des Systems begründet. Beispielsweise kann auch eine negative oder positive Beschleunigung des Fortbewegungsmittels während des Bewertens des Betriebszustandes der ersten Kamera stattfinden. In diesem Fall kann ebenfalls über eine Auswerteeinheit, beispielsweise eine CPU und/oder einen Mikrocontroller, der Einfluss der Beschleunigung auf die Transformation der Bilder, welche aus den Videosignalen generiert werden, ineinander berücksichtigt werden. Somit wird die Fehleranfälligkeit des erfindungsgemäßen Verfahrens weiter reduziert. Zusätzlich oder alternativ kann das erfindungsgemäße Verfahren ein Transformieren des ersten und/oder zweiten Videosignals in Abhängigkeit einer Ausrichtung der ersten und/oder zweiten Kamera umfassen. Beispielsweise kann eine derartige Transformation der Tatsache geschuldet sein, dass die erste Kamera ein größeres Sichtfeld als die zweite Kamera aufweist. Ferner kann auch die zweite Kamera aufgrund einer Beschädigung ein anderes Sichtfeld, als es standardmäßig vorgesehen ist, aufweisen. Überdies kann auch eine erste Kamera über eine niedrigere Auflösung und/oder eine niedrigere Helligkeitsempfindlichkeit als die erste Kamera verfügen. Die Transformation des zweiten und/oder des ersten Videosignals in Abhängigkeit dieser Ausrichtung kann beispielsweise bezüglich einer vordefinierten Referenz erfolgen. Dieser Referenz können beispielsweise ein Sichtbereich und/oder ein Sichtwinkel und/oder eine Auflösung und/oder eine Helligkeitsempfindlichkeit der ersten und/oder zweiten Kamera zugewiesen sein.In a further advantageous embodiment of the method according to the invention, the predefined comparison criterion represents a color distribution and / or a brightness distribution and / or a texture of the object and / or a morphology of the object at a first point in time. In other words, the comparison with respect to the predefined comparison criterion can take place on the basis of color information or brightness information or on a shape of the object. For example, a texture of the object can include a roughness of the surface and / or a pattern of the surface of the object. In contrast, a morphology describes in particular the outer shape, for example the outline, of an object, in particular a line shape and / or a round shape and / or an angular shape. Not only a total failure of the first camera but also a latency can be recognized by the comparison criteria described above with regard to the objects. In particular, the predefined comparison criteria even make it possible to determine a duration of the latency. According to a further advantageous embodiment of the method according to the invention, the method can further comprise the step of transforming the image which is generated from the first and / or the second video signal as a function of a steering angle and / or a speed and / or an acceleration of the means of transportation. For example, by steering the means of transportation, an image generated from the second video signal can represent the object in a spatially distorted manner. In response to steering, a steering angle can be determined, for example, via an evaluation unit and, depending on this, a transformation of the image obtained from the second video signal into a normalized image that represents the object without the influence of the steering angle can be carried out, so that the influence of the steering angle does not cause the system to be susceptible to errors. For example, a negative or positive acceleration of the means of transportation can also take place during the evaluation of the operating state of the first camera. In this case, the influence of the acceleration on the transformation of the images generated from the video signals can also be taken into account by means of an evaluation unit, for example a CPU and / or a microcontroller. The susceptibility to errors of the method according to the invention is thus further reduced. Additionally or alternatively, the method according to the invention can include transforming the first and / or second video signal depending on an orientation of the first and / or second camera. For example, such a transformation may be due to the fact that the first camera has a larger field of view than the second camera. Furthermore, due to damage, the second camera can also have a different field of view than is provided as standard. In addition, a first camera can also have a lower resolution and / or a lower sensitivity to brightness than the first camera. The transformation of the second and / or the first video signal as a function of this alignment can take place, for example, with respect to a predefined reference. This reference can be assigned, for example, a viewing area and / or a viewing angle and / or a resolution and / or a brightness sensitivity of the first and / or second camera.

Gemäß einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens umfasst dieses die Schritte des Wiederholens des Erfassens und des Vergleichens und des Dokumentierens der aus dem Vergleich resultierenden Bewertung und des Bewertens eines Überschreitens eines vordefinierten Schwellenwertes in Abhängigkeit der dokumentierten Bewertung. Mit anderen Worten wird ein kontinuierliches Bewerten des Betriebszustands der ersten Kamera über die Zeit ermöglicht. Erst beim Überschreiten eines vordefinierten Schwellenwerts wird eine Warnung für den Anwender des Fortbewegungsmittels generiert und ausgegeben. Dies hat zum Vorteil, dass z.B. bei Verdeckungen der Kamera nicht direkt ein Falschalarm generiert wird und andererseits bei bestätigtem positivem Betriebszustand der ersten Kamera Rechenleistung für die Auswertung der Videosignale der zweiten Kamera gespart wird. Insbesondere können Objekte, welche von der ersten und/oder der zweiten Kamera erfasst werden, beispielsweise durch vorbeifahrende Fremd-Fortbewegungsmittel verdeckt werden. Dies stellt eine Störung in der Bewertung des Betriebszustandes der ersten Kamera dar. Hierbei wird insbesondere eine sog. „gleitende Bewertung“ der Funktionsfähigkeit der ersten Kamera durchgeführt. Diese gleitende Bewertung kann beispielsweise während eines Zeitraumes stattfinden, der beispielsweise zwischen 10 und 20 Sekunden beträgt, und/oder eine Anzahl von mindestens zwei Wiederholungen, insbesondere mindestens 10 Wiederholungen, aufweisen. Durch das Wiederholen der Bewertung, kann die Fehleranfälligkeit bzw. das Risiko einer Falschbewertung weiter minimiert werden.According to a further advantageous embodiment of the method according to the invention, this comprises the steps of repeating the recording and comparing and documenting the evaluation resulting from the comparison and evaluating whether a predefined threshold value has been exceeded as a function of the documented evaluation. In other words, a continuous assessment of the operating state of the first camera over time is made possible. Only when a predefined threshold value is exceeded is a warning generated and issued for the user of the means of transportation. This has the advantage that e.g. If the camera is covered, a false alarm is not generated directly and, on the other hand, if the positive operating state of the first camera is confirmed, computing power is saved for evaluating the video signals of the second camera. In particular, objects which are captured by the first and / or the second camera can be covered, for example, by passing foreign means of transportation. This represents a disturbance in the evaluation of the operating state of the first camera. In this case, a so-called “sliding evaluation” of the functionality of the first camera is carried out. This sliding evaluation can take place, for example, over a period of time, for example between 10 and 20 seconds, and / or have a number of at least two repetitions, in particular at least 10 repetitions. By repeating the assessment, the susceptibility to errors or the risk of an incorrect assessment can be further minimized.

In einer vorteilhaften Weiterbildung umfasst das erfindungsgemäße Verfahren ferner den Schritt eines Generierens eines Bird's Eye View-Bildes aus dem ersten und dem zweiten Videosignal. Das Generieren des Bird's Eye View-Bildes aus den Videosignalen der ersten und zweiten Kamera kann durch bekannte technische Verfahren hierzu erfolgen. Hierbei kann anhand des Bird's Eye View-Bildes der Vergleich mittels einer Bildkorrespondenz-Analyse erfolgen. Somit kann das Bewerten des Betriebszustandes der ersten Kamera vereinfacht in einem einzelnen Bild durchgeführt werden, ohne die Notwendigkeit, verschiedene Bilder ineinander zu transformieren.In an advantageous development, the method according to the invention further comprises the step of generating a bird's eye view image from the first and the second video signal. The bird's eye view image can be generated from the video signals of the first and second cameras using known technical methods. The bird's eye view image can be used for comparison by means of an image correspondence analysis. Thus, the evaluation of the operating state of the first camera can be carried out in a simple manner in a single image without the need to transform different images into one another.

Der folgende erfindungsgemäße Aspekt weist die vorteilhaften Ausgestaltungen und Weiterbildungen mit den wie vorstehend genannten technischen Merkmalen sowie die generellen Vorteile des erfindungsgemäßen Verfahrens und die jeweils damit verbundenen technischen Effekte entsprechend auf. Zur Vermeidung von Wiederholungen wird deshalb in der Folge auf eine erneute Aufzählung verzichtet.The following aspect according to the invention has the advantageous refinements and developments with the technical features mentioned above as well as the general advantages of the method according to the invention and the technical effects associated therewith accordingly. To avoid repetitions, the list is therefore not repeated.

Gemäß einem zweiten Aspekt betrifft die vorliegende Erfindung ein System, welches eingerichtet ist, ein Verfahren nach dem ersten Aspekt der vorliegenden Erfindung durchzuführen. Ein derartiges System kann beispielsweise auf einem Fortbewegungsmittel implementiert sein. Insbesondere umfasst das System eine erste Kamera, beispielsweise eine Rückspiegelersatzkamera, des Fortbewegungsmittels, welche eingerichtet ist, ein Objekt zu einem ersten Zeitpunkt, welcher später als der zweite Zeitpunkt ist, zu erfassen. Ferner kann das System eine zweite Kamera, beispielsweise eine Frontkamera, umfassen, welche eingerichtet ist, das Objekt zu einem zweiten Zeitpunkt, welcher früher als der erste Zeitpunkt ist, zu erfassen. Ferner kann das System eine Auswerteeinheit umfassen, welche eingerichtet ist, die jeweils ersten und zweiten Videosignale der jeweils ersten und zweiten Kamera bezüglich eines vordefinierten Kriteriums miteinander zu vergleichen. Ferner kann die Auswerteeinheit in Abhängigkeit des Vergleiches den Betriebszustand der ersten Kamera bewerten.According to a second aspect, the present invention relates to a system which is set up to carry out a method according to the first aspect of the present invention. Such a system can, for example, be implemented on a means of transportation. In particular, the system comprises a first camera, for example a rear-view mirror replacement camera, of the means of transportation, which is set up to capture an object at a first point in time which is later than the second point in time. Furthermore, the system can comprise a second camera, for example a front camera, which is set up to capture the object at a second point in time, which is earlier than the first point in time. Furthermore, the system can comprise an evaluation unit, which is set up to compare the respective first and second video signals of the respective first and second camera with respect to a predefined criterion. Depending on the comparison, the evaluation unit can also evaluate the operating state of the first camera.

Figurenlistelist of figures

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:

• 1 eine erste Ausführungsform des erfindungsgemäßen Systems;
• 2a ein Bild, welches aus einem Videosignal einer Frontkamera einer ersten Ausführungsform des erfindungsgemäßen Systems zu einem ersten Zeitpunkt generiert wurde;
• 2b ein Bild, welches aus einem Videosignal einer Rückspiegelersatzkamera derselben Ausführungsform des erfindungsgemäßen Systems zu einem späteren Zeitpunkt als der in2a generiert wurde;
• 3a ein Bird's Eye View-Bild, welches aus einem Videosignal einer Frontkamera gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens zu einem ersten Zeitpunkt generiert wurde;
• 3b ein Bird's Eye View-Bild, welches aus einem Videosignal einer Rückspiegelersatzkamera derselben Ausführungsform zu einem späteren Zeitpunkt als der in3a generiert wurde;
• 4a eine Helligkeitsverteilung eines Bildes, welches aus einem Videosignal einer Frontkamera gemäß einer ersten Ausführungsform des erfindungsgemäßen Systems zu einem ersten Zeitpunkt generiert wurde;
• 4b eine Helligkeitsverteilung einer Bildes, welches aus einem Videosignal einer Rückspiegelersatzkamera gemäß derselben Ausführungsform des erfindungsgemäßen Systems zu einem späteren Zeitpunkt als der in4a generiert wurde;
• 5 ein Blockschaltbild einer zweiten Ausführungsform des erfindungsgemäßen Systems;
• 6 ein Blockschaltbild einer Plausibilitätsberechnung gemäß einer dritten Ausführungsform des erfindungsgemäßen Systems; und
• 7 ein Flussdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens.

Exemplary embodiments of the invention are described in detail below with reference to the accompanying drawing. In the drawing is:

• 1 a first embodiment of the system according to the invention;
• 2a an image which was generated from a video signal of a front camera of a first embodiment of the system according to the invention at a first point in time;
• 2 B an image, which from a video signal of a rearview mirror replacement camera of the same embodiment of the system according to the invention at a later time than that in 2a was generated;
• 3a a bird's eye view image, which was generated from a video signal of a front camera according to an embodiment of the inventive method at a first point in time;
• 3b a bird's eye view image, which from a video signal of a rearview mirror replacement camera of the same embodiment at a later time than that in 3a was generated;
• 4a a brightness distribution of an image which was generated from a video signal of a front camera according to a first embodiment of the system according to the invention at a first point in time;
• 4b a brightness distribution of an image, which from a video signal of a rear-view mirror replacement camera according to the same embodiment of the system according to the invention at a later time than that in 4a was generated;
• 5 a block diagram of a second embodiment of the system according to the invention;
• 6 a block diagram of a plausibility calculation according to a third embodiment of the system according to the invention; and
• 7 a flowchart of an embodiment of the method according to the invention.

1 zeigt eine Ausführungsform des erfindungsgemäßen Systems10, welches in einem Fortbewegungsmittel4, insbesondere in einem Automobil, verbaut ist. Das erfindungsgemäße System10 gemäß der ersten Ausführungsform umfasst eine Auswerteeinheit6, welche mit einem Speicher7 verbunden ist, der insbesondere eine Datei repräsentierend ein vordefiniertes Kriterium enthält. Ferner umfasst das in dem Fortbewegungsmittel4 angeordnete System10 gemäß der ersten Ausführungsform ein erstes, zweites und drittes Sichtfeld2a,2b,2c der ersten, zweiten und dritten Rückspiegelersatzkamera5a,5b,5c. Hierbei sind die ersten und dritten Rückspiegelersatzkameras5a,5c Außenspiegelersatzkameras, während die zweite Rückspiegelersatzkamera5b insbesondere als Innenspiegelersatzkamera ausgeführt ist. Ferner weist die Frontkamera3 ein erstes Sichtfeld1 auf. Beispielsweise kann mithilfe der ersten Ausführungsform des erfindungsgemäßen Systems10 das erfindungsgemäße Verfahren wie folgt durchgeführt werden: Über die Auswerteeinheit6 können die Bilder, welche jeweils aus den ersten und zweiten Videosignalen der Frontkamera3 und der ersten bis dritten Rückspiegelersatzkameras5a,5b,5c generiert werden, miteinander verglichen werden. Hierbei können die Bilder, welche aus dem Videosignal der Frontkamera3 zum Zeitpunkt t1 generiert werden mit den Bildern, welche aus den Videosignalen der rückwärts gerichteten Rückspiegelersatzkameras5a bis5c zu einem Zeitpunkt t2 = t1 + Δt generiert werden, verglichen werden. Dabei ist Δt die Zeit, die benötigt wird, um bei bekannter Geschwindigkeit des Fortbewegungsmittels4 das mit der Frontkamera3 erfasste Objekt mit einer der Rückspiegelersatzkameras5a,5b,5c zu erfassen. Hierbei gilt näherungsweise$\Delta \text{t}=\Delta \text{s}/\text{v}\frac{\Delta t}{v}.$

Hierbei entspricht Δs dem Abstand zwischen der Frontkamera3 und der zweiten Rückspiegelersatzkamera5b. Hierbei wird durch die Frontkamera3 und beispielsweise die zweite Rückspiegelersatzkamera5b eine Szene mit einem Objekt11 aus sehr ähnlichen Blickwinkeln betrachtet. 1 shows an embodiment of the system according to the invention 10 which is in a form of transportation 4 , especially in an automobile. The system according to the invention 10 according to the first embodiment comprises an evaluation unit 6 which with a memory 7 is connected, which in particular contains a file representing a predefined criterion. This also includes in the means of transportation 4 arranged system 10 according to the first embodiment, a first, second and third field of view 2a . 2 B . 2c the first, second and third rearview mirror replacement cameras 5a . 5b . 5c , Here are the first and third rear-view mirror replacement cameras 5a . 5c Wing mirror replacement cameras while the second rearview mirror replacement camera 5b is designed in particular as an interior mirror replacement camera. The front camera also points 3 a first field of vision 1 on. For example, using the first embodiment of the system according to the invention 10 the method according to the invention can be carried out as follows: via the evaluation unit 6 can the images, which each from the first and second video signals of the front camera 3 and the first to third rearview mirror replacement cameras 5a . 5b . 5c generated, compared with each other. Here, the images from the video signal of the front camera 3 are generated at the time t1 with the images, which are from the video signals of the rear-view rear-view mirror replacement cameras 5a to 5c are generated at a time t2 = t1 + Δt. Δt is the time it takes to travel at a known speed of the vehicle 4 the one with the front camera 3 Detected object with one of the rear-view mirror replacement cameras 5a . 5b . 5c capture. This applies approximately$\Delta \text{t}=\Delta \text{s}/\text{v}\frac{\Delta t}{v},$

Here Δs corresponds to the distance between thefront camera 3 and the second rearviewmirror replacement camera 5b , Here is through thefront camera 3 and for example the second rear viewmirror replacement camera 5b a scene with anobject 11 viewed from very similar angles.

Beispielsweise zeigt2a ein Bild, welches aus einem Videosignal einer Frontkamera3 generiert wird, auf welchem ein Objekt11 in Form eines Fahrbahnstreifens abgebildet ist.2b zeigt ein Bild, welches aus einem Videosignal der zweiten Rückspiegelersatzkamera5b generiert wird, auf welchem ebenfalls das Objekt11 nach Passieren desselben abgebildet ist. Hierbei ist das Bild repräsentierend das Objekt11 in2b zum zweiten Zeitpunktt2, welcher später als der Zeitpunktt1, an dem die Frontkamera3 das Objekt11 erfasst, gezeigt. Hierbei wird über die Auswerteeinheit6 die Aufnahme der Objektes11 zum Zeitpunktt1 mit der Aufnahme des Objektes11 zum Zeitpunktt2 (s.2b) verglichen. Beispielsweise kann das vordefinierte Vergleichskriterium eine Helligkeitsverteilung oder ein Bildmerkmal sein, welches im vorliegenden Fall das Objekt11 in Form eines Fahrbahnstreifens ist. Wenn sich also das Objekt11 zum Zeitpunktt2 an einer bestimmten Position des Bildes, welches aus dem Videosignal Rückspiegelersatzkamera5b generiert wird, befindet, so ist insbesondere eine ausreichende Funktionsfähigkeit dieser Kamera gewährleistet. For example, shows 2a an image made from a video signal from afront camera 3 is generated on which anobject 11 is shown in the form of a lane strip. 2 B shows an image, which from a video signal of the second rear-viewmirror replacement camera 5b is generated, on which also theobject 11 after passing it is shown. The image is theobject 11 in 2 B at the second point in time t2 which is later than the time t1 on which thefront camera 3 theobject 11 captured, shown. Here, theevaluation unit 6 the inclusion of theobject 11 at the time t1 with the inclusion of theobject 11 at the time t2 (S. 2 B) compared. For example, the predefined comparison criterion can be a brightness distribution or an image feature, which in the present case is theobject 11 is in the form of a lane strip. So if theobject 11 at the time t2 at a certain position of the image, which comes from the video signal rearviewmirror replacement camera 5b is generated, this ensures, in particular, that this camera is sufficiently functional.

3a zeigt ein Bird's Eye View-Bild, welches aus einem ersten Videosignal der Frontkamera3 erstellt wurde. Weiterhin zeigt3b ein Bird's Eye View-Bild desselben Objektes11, welches aus Sicht der ersten Rückspiegelersatzkamera5a erzeugt wurde. Aus diesen erzeugten Bird's Eye View-Bildern des Objektes11 können Bildkorrespondenzen erzeugt werden. Somit kann eine sichere Validierung der ersten Rückspiegelersatzkamera5a gewährleistet werden. Weiterhin können allerdings Merkmalsvergleiche des Objektes11 auch Helligkeits- oder Farbmerkmale berücksichtigen. 3a shows a Bird's Eye View image, which consists of a first video signal from thefront camera 3 was created. Furthermore shows 3b a Bird's Eye View image of thesame object 11 , which from the perspective of the first rear-viewmirror replacement camera 5a was generated. From these generated Bird's Eye View images of theobject 11 image correspondence can be generated. This means that the first rearview mirror replacement camera can be validated safely 5a be guaranteed. Furthermore, feature comparisons of the object can be made 11 also consider brightness or color features.

4a zeigt ein Bild, welches aus einem Videosignal der Frontkamera3 einer ersten Ausführungsform des erfindungsgemäßen Systems10 zu einem Zeitpunktt1 generiert wird. Hierbei befindet sich das Fortbewegungsmittel4 im Stillstand. Das Objekt11, hier in Form eines LKWs, wird durch die Frontkamera3 erfasst. Durch die Rückspiegelersatzkamera5b wird das Objekt11 nach dem Vorbeifahren erfasst. Somit kann auch ohne dass sich das Fortbewegungsmittel4 bewegen muss, eine Bewertung des Betriebszustandes der Frontkamera3 erfolgen. 4a shows an image, which from a video signal of the front camera 3 a first embodiment of the system according to theinvention 10 at a time t1 is generated. Here is the means oftransportation 4 at standstill. Theobject 11 , here in the form of a truck, is through thefront camera 3 detected. Through the rear-viewmirror replacement camera 5b becomes theobject 11 captured after driving past. Thus, it can also be used without the means oftransportation 4 must move, an assessment of the operating status of thefront camera 3 respectively.

Im Fall der4a und4b kann ein Vergleich anhand des Kontrastes, welcher durch die Helligkeitsverteilung des Bildes des Objekts11 verursacht wird, erfolgen. Beispielsweise ist es auch möglich, dass in Randbereichen der Bilder nach Gebäudeformen oder charakteristischen Farbinformationen derselben mittels lokaler Histogrammbildung im RGB-Raum gesucht wird. Dabei ist zu berücksichtigen, dass es in bestimmten Bildern zu Verdeckungen durch vorbeifahrende Fortbewegungsmittel4 kommen kann. Hierbei kann eine gleitende Bewertung über einen längeren Zeitraum von beispielsweise Δt + 10 Sekunden durchgeführt werden. Hierbei können insbesondere Kontraste der Bilder, welche durch die Videoeingangssingale der Kameras erzeugt werden, zur Bildkorrespondenzanalyse (z.B. mithilfe eines Grafikprozessors) hervorgehoben dargestellt werden. Hierbei werden die Bilder insbesondere im Hinblick auf wiederauffindbare Strukturen analysiert. Insbesondere ist in4a und4b die wiederauffindbare Struktur des LKW (z.B. Reifen und/oder Anhängermorphologie) gezeigt, welche für einen Bildvergleich herangezogen werden kann.In the case of 4a and 4b can make a comparison based on the contrast, which is determined by the brightness distribution of the image of theobject 11 caused. For example, it is also possible to search for building shapes or characteristic color information thereof in the edge regions of the images by means of local histogram formation in RGB space. It should be borne in mind that in certain pictures there are occlusions caused by passingvehicles 4 can come. Here, a sliding assessment can be carried out over a longer period of time, for example Δt + 10 seconds. In particular, contrasts of the images generated by the video input signals of the cameras can be highlighted for image correspondence analysis (for example with the aid of a graphics processor). The images are analyzed in particular with regard to structures that can be found. In particular, in 4a and 4b the retrievable structure of the truck (e.g. tires and / or trailer morphology) is shown, which can be used for a picture comparison.

Die Plausibilität der Kamerabilder lässt sich für das Bird's Eye View-Szenario beispielsweise mit bekannten Methoden der Bildkorrespondenz-Analyse in unterschiedlicher Genauigkeit und unterschiedlichem Rechenaufwand bestimmen (z.B. pixelweise, blockweise, histogrammweise, merkmalsbasiert, und/oder in anderen Bildbearbeitungsverfahren). Darüber hinaus können Blockmatching-Verfahren (bekannt aus der Bewegungsschätzung für die Bildkompression) für große Bildbereiche plausibilisiert werden. Beispielsweise wird das Objekt11, in Form eines kontrastierten LKWs, in4a über mehrere Bilder der Frontkamera3 verfolgt. Wenn dieser aus dem Bild verschwindet (beispielsweise am linken unteren Rand) kann angenommen werden, dass der LKW einige Zeit später im Rückspiegelersatzkamerabild am rechten Bildrand auftaucht. Dieses Vorwissen wird beispielsweise bei einem Blockmatching-Algorithmus verwendet, so dass die Korrespondenzsuche mit effizienter Parametrierung bezüglich der Blockgröße und den Suchbereichen erfolgt. Bei bekannter Eigenbewegung des Fortbewegungsmittels4 kann ein Merkmal auf der Bodenebene im Bild, welches aus einem Videosignal der Frontkamera3 erzeugt wird, in einem sehr eng begrenzten Bereich der Rückspiegelersatzkameras5a,5b,5c erwartet werden. Mit diesen Voraussetzungen können der Suchbereich, die Robustheit und die benötigte Rechenzeit der eingesetzten Verfahren optimiert werden. Weiterhin kann das Vorwissen der Frontkamera3 um ein Scheinwerferlicht eines entgegenkommenden Fremdfortbewegungsmittels und den Rückfahrscheinwerfer desselben Fremdfortbewegungsmittels, welches sich in dem Erfassungsbereich der Rückspiegelersatzkamera5a,5b,5c der entsprechenden erwarteten Bewegungsrichtung wiederfinden lässt, erweitert werden.The plausibility of the camera images for the Bird's Eye View scenario can be determined, for example, using known methods of image correspondence analysis with different levels of accuracy and different computational effort (e.g. pixel-by-pixel, block-by-block, histogram-based, feature-based, and / or in other image processing methods). In addition, block matching methods (known from motion estimation for image compression) can be made plausible for large image areas. For example, theobject 11 , in the form of a contrasting truck, in 4a over several pictures of thefront camera 3 tracked. If this disappears from the image (for example at the lower left edge), it can be assumed that the truck will appear in the rear view mirror replacement camera image at the right edge of the image some time later. This prior knowledge is used, for example, in a block matching algorithm, so that the correspondence search is carried out with efficient parameterization with regard to the block size and the search areas. With known own movement of the means oftransportation 4 can be a feature on the ground level in the image, which is a video signal from thefront camera 3 is generated in a very narrow range of rearviewmirror replacement cameras 5a . 5b . 5c to be expected. With these requirements, the search area, the robustness and the required computing time of the methods used can be optimized. Furthermore, the previous knowledge of thefront camera 3 around a headlight light of an oncoming foreign vehicle and the reversing headlight of the same external vehicle, which is located in the detection area of the rear-viewmirror replacement camera 5a . 5b . 5c of the corresponding expected direction of movement can be expanded.

5 zeigt ein Blockschaltbild gemäß einer zweiten Ausführungsform des erfindungsgemäßen Systems20. Dieses System20 kann auch als Kamera-Monitor-System bezeichnet werden. Hierbei ist eine Frontkamera3 unabhängig von den Rückspiegelersatzkameras5a,5b,5c angeordnet. 5 shows a block diagram according to a second embodiment of the system according to theinvention 20 , Thissystem 20 can also be called a camera monitor system. Here is afront camera 3 regardless of the rearviewmirror replacement cameras 5a . 5b . 5c arranged.

6 zeigt eine dritte Ausführungsform des erfindungsgemäßen Systems30. Hierbei werden verschiedene Prozesse, welche innerhalb der Auswerteeinheit 6zwischen der Frontkamera3 und der Rückspiegelersatzkamera5 stattfinden können, illustriert. ReiheL1 zeigt beispielsweise Verfahrensschritte an, welche in der Frontkamera 3-Vorverarbeitung stattfinden können. Hierbei istS1 eine Bewegungsschätzung,S2 ein Warping in einem Bird's Eye View und SchrittS3 ein Erstellen eines lokalen Histogramms. ReiheL2 zeigt wiederum Schritte zur Bewertung einer Funktionsfähigkeit der Rückspiegelersatzkamera5. Hierbei ist SchrittS4 ein Blockmatching-Algorithmus, SchrittS5 ein optischer Fluss und SchrittS6 insbesondere ein Histogrammvergleich. ReiheL3 zeigt wiederum eine Rückspiegelersatzkamera 5-Vorverarbeitung. Ein möglicher VerfahrensschrittS7 ist hierbei ein Festlegen einer Region of Interest in einem Bild, welches aus einem Videosignal generiert wurde. Weiterhin kann in SchrittS8 ebenfalls ein Warping des erfassten Bildes, welches aus dem zweiten Videosignal der Rückspiegelersatzkamera erzeugt wird, stattfinden. In SchrittS9 kann ebenfalls ein lokales Histogramm für die Rückspiegelersatzkamera5 erstellt werden. 6 shows a third embodiment of the system according to theinvention 30 , Here are various processes which take place within theevaluation unit 6 between thefront camera 3 and the rearview mirror replacement camera 5 can take place, illustrated. line L1 For example, indicates process steps that can take place in thefront camera 3 preprocessing. Here is S1 a motion estimate, S2 a warping in a bird's eye view and crotch S3 creating a local histogram. line L2 again shows steps for evaluating the functionality of the rear-view mirror replacement camera 5 , Here is step S4 a block matching algorithm, step S5 an optical flow and step S6 especially a histogram comparison. line L3 again shows a rear-view mirror replacement camera 5 preprocessing. A possible procedural step S7 is a definition of a region of interest in an image that was generated from a video signal. Furthermore, in step S8 likewise a warping of the captured image, which is generated from the second video signal of the rear-view mirror replacement camera, takes place. In step S9 can also use a local histogram for the rearview mirror replacement camera 5 to be created.

7 zeigt ein Flussdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens. Hierbei wird in einem ersten Schritt100 ein Objekt11 in einem ersten Zeitpunktt1 durch die Rückspiegelersatzkamera5 erfasst. In einem zweiten Schritt200 wird dasselbe Objekt11 mit einer Frontkamera3 des Fortbewegungsmittels zu einem zweiten Zeitpunktt2, welcher früher als der erste Zeitpunktt1 ist, erfasst. In einem dritten Schritt300 wird ein Bild, welches aus einem ersten Videosignal repräsentierend das Objekt11 erzeugt wurde, mit einem Bild, welches aus einem zweiten Videosignal repräsentierend das Objekt11 erzeugt und zum Zeitpunktt2 erfasst wurde, bezüglich eines vordefinierten Vergleichskriteriums, beispielsweise einer Helligkeitsverteilung verglichen. In einem vierten Schritt400 wird in Abhängigkeit des Ergebnisses des Vergleiches der Betriebszustand der Rückspiegelersatzkamera5 bewertet. In einem fünften Schritt500 werden die Schritte des Erfassens100,200 und des Vergleichens300 wiederholt. In einem sechsten Schritt600 wird die daraus resultierende Bewertung des, welche in dem vierten Schritt400 vorgenommen wurde, dokumentiert. In einem siebten Schritt700 wird ein Überschreiten eines vordefinierten Schwellenwerts in Abhängigkeit der dokumentierten Bewertung bewertet. 7 shows a flow diagram of an embodiment of the method according to the invention. This is thefirst step 100 anobject 11 at a first point in time t1 through the rear-view mirror replacement camera 5 detected. In asecond step 200 becomes thesame object 11 with afront camera 3 of the means of transportation at a second time t2 which is earlier than the first time t1 is recorded. In athird step 300 becomes an image representing the object from afirst video signal 11 was generated with an image representing the object from asecond video signal 11 generated and at the time t2 was recorded, compared with respect to a predefined comparison criterion, for example a brightness distribution. In afourth step 400 depending on the result of the comparison, the operating state of the rear-view mirror replacement camera 5 rated. In afifth step 500 are the steps of capturing 100 . 200 and comparing 300 repeated. In asixth step 600 the resulting evaluation of what is in thefourth step 400 documented. In aseventh step 700 an exceeding of a predefined threshold value is evaluated depending on the documented evaluation.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

• WO 9638319 [0002]WO 9638319 [0002]

Claims (10)

Translated fromGerman

Verfahren zur Bewertung eines Betriebszustandes einer ersten Kamera eines Fortbewegungsmittels (4) umfassend die Schritte:• Erfassen (100) eines Objektes (11) mit der ersten Kamera zu einem ersten Zeitpunkt t1;• Erfassen (200) des Objektes (11) mit einer zweiten Kamera des Fortbewegungsmittels (4) zu einem zweiten Zeitpunkt t2;• Vergleichen (300) eines ersten Videosignals repräsentierend das Objekt (11), welches durch die erste Kamera zu dem ersten Zeitpunkt t1 erfasst wurde mit einem zweiten Videosignal repräsentierend das Objekt (11), welches mit der zweiten Kamera zu dem zweiten Zeitpunkt t2 erfasst wurde, bezüglich eines vordefinierten Vergleichskriteriums; und• Bewerten (400) des Betriebszustandes der ersten Kamera in Abhängigkeit eines Ergebnisses des Vergleiches.Method for evaluating an operating state of a first camera of a means of transportation (4) comprising the steps:• Detecting (100) an object (11) with the first camera at a first point in time t1;• Detecting (200) the object (11) with a second camera of the means of transportation (4) at a second time t2;• Comparing (300) a first video signal representing the object (11), which was recorded by the first camera at the first time t1, with a second video signal representing the object (11), which was recorded by the second camera at the second time t2 , with regard to a predefined comparison criterion; and• Evaluate (400) the operating state of the first camera depending on a result of the comparison.Verfahren nachAnspruch 1, wobei die erste Kamera eine Frontkamera (3) und die zweite Kamera eine Rückspiegelersatzkamera (5, 5a, 5b, 5c) ist oder die zweite Kamera eine Frontkamera (3) und die erste Kamera eine Rückspiegelersatzkamera (5, 5a, 5b, 5c) ist.Procedure according to Claim 1 , wherein the first camera is a front camera (3) and the second camera is a rear view mirror replacement camera (5, 5a, 5b, 5c) or the second camera is a front camera (3) and the first camera is a rear view mirror replacement camera (5, 5a, 5b, 5c) is.Verfahren nachAnspruch 1 oder2, wobei das Vergleichen (300) des ersten und des zweiten Videosignals pixelweise und/oder blockweise und/oder histogrammbasiert und/oder merkmalsbasiert erfolgt.Procedure according to Claim 1 or 2 , wherein the comparison (300) of the first and the second video signal is carried out pixel-wise and / or block-wise and / or histogram-based and / or feature-based.Verfahren nach einem der vorstehenden Ansprüche, wobei das Objekt (11) in dem ersten und dem zweiten Videosignal lokalisiert und zu dem Vergleich verwendet wird.Method according to one of the preceding claims, wherein the object (11) is located in the first and the second video signal and used for the comparison.Verfahren nach einem der vorstehenden Ansprüche, wobei das vordefinierte Vergleichskriterium eine Farbverteilung und/oder eine Helligkeitsverteilung und/oder eine Textur des Objektes (11) und/oder eine Morphologie des Objektes (11) zu dem ersten Zeitpunkt t1 repräsentiert.Method according to one of the preceding claims, wherein the predefined comparison criterion represents a color distribution and / or a brightness distribution and / or a texture of the object (11) and / or a morphology of the object (11) at the first time t1.Verfahren nach einem der vorstehenden Ansprüche ferner umfassend• den Schritt eines Transformierens des ersten und/oder zweiten Videosignals in Abhängigkeit eines Lenkwinkels und/oder einer Geschwindigkeit und/oder einer Beschleunigung und/oder• den Schritt eines Transformierens des ersten und/oder zweiten Videosignals in Abhängigkeit einer Ausrichtung der ersten und/oder der zweiten Kamera.The method of any preceding claim further comprising• the step of transforming the first and / or second video signal as a function of a steering angle and / or a speed and / or an acceleration and / or• the step of transforming the first and / or second video signal depending on an orientation of the first and / or the second camera.Verfahren nach einem der vorstehenden Ansprüche ferner umfassend die Schritte:• Wiederholen (500) der Schritte des Erfassens und des Vergleichens;• Dokumentieren (600) der daraus resultierenden Bewertung; und• Bewerten (700) eines Überschreitens eines vordefinierten Schwellenwertes in Abhängigkeit der dokumentierten Bewertung.Method according to one of the preceding claims, further comprising the steps:Repeating (500) the steps of acquiring and comparing;• Document (600) the resulting assessment; and• Assessing (700) an exceeding of a predefined threshold value depending on the documented assessment.Verfahren nach einem der vorstehenden Ansprüche ferner umfassend den Schritt eines Generierens eines Bird's Eye View-Bildes aus dem ersten und dem zweiten Videosignal.A method according to any preceding claim further comprising the step of generating a bird's eye view image from the first and second video signals.Verfahren nachAnspruch 8 ferner umfassend den Schritt eines Durchführens einer Bildkorrespondenzanalyse innerhalb des generierten Bird's Eye View-Bildes.Procedure according to Claim 8 further comprising the step of performing an image correspondence analysis within the generated Bird's Eye View image.System (10, 20, 30), welches eingerichtet ist, ein Verfahren nach einem der vorstehenden Ansprüche durchzuführen.System (10, 20, 30) which is set up to carry out a method according to one of the preceding claims.

Images