DE19833207A1 - Three-dimensional distance-measuring image generation of spatial object - Google Patents

Abstract

The method involves illuminating the object (1) with a short light pulse, and detecting reflected light pulses in an opto-electronic sensor (4) comprising a short-term integrator with adjustable integration time at each pixel element (9). Distance values are determined from different intensities, resulting from different run times of the reflected light pulses. The method involves using an opto-electronic sensor (4) comprising a short-term integrator with adjustable integration time provided at each pixel element (9). The object (1) is illuminated with a short light pulse, preferably through laser diodes. Light pulses reflected by object points (G) are detected in the sensor within the integration time, whereby a start point of the integration time lies prior to the impact of a first reflected light pulse corresponding to the nearest object point. Distance values are determined from different intensities of the reflected light pulses, resulting from different run times. Two integration windows with different integration times are preferably used for the image generation.

Description

Translated fromGerman

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes von räumli­chen Objekten.The invention relates to a method and an apparatus forRecording a three-dimensional image of the distance from raumliobjects.

Dreidimensional aufnehmende und verarbeitende Sensorsysteme gewinnen für verschiedenste Aufgabenstellungen in der indu­striellen Technik zunehmend an Bedeutung. Bekannte optische Radarsysteme, wie beispielsweise Laserradar basieren entweder auf dem Prinzip der Laserimpuls-Laufzeitmessung oder auf der Bestimmung der Phasendifferenz von moduliertem Laserlicht zur Ableitung der Objektdistanz. Zum Aufbau eines dreidimensiona­len bildgebenden Systemes sind zusätzliche mechanische Scaneinrichtungen erforderlich. Dies führt zu einem relativ teuren elektronischen und mechanischen Aufwand, der den Ein­satz solcher dreidimensionalen Systeme auf wenige Spezialan­wendungen beschränkt.Three-dimensional recording and processing sensor systemswin for various tasks in the industrategic technology is becoming increasingly important. Known opticalRadar systems, such as laser radar, are either basedon the principle of laser pulse transit time measurement or on theDetermination of the phase difference of modulated laser light forDerivation of the object distance. To build a three-dimensionallen imaging systems are additional mechanicalScanning facilities required. This leads to a relativeexpensive electronic and mechanical effort that the oneset of such three-dimensional systems on a few speciallimited turns.

Es sind Verfahren bekannt, die eine CCD-Kamera (Charged Cou­pled Device) einsetzen, wobei für diese Halbeleiterkameras die Fernseh(TV)- Norm herangezogen wird. Somit lassen sich lediglich relativ lange Auslesezeiten erzielen.Methods are known which use a CCD camera (Charged Coupled Device) use, for these semiconductor camerasthe television (TV) standard is used. So you canonly achieve relatively long readout times.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Aufnahme eines dreidimensionalen Abstandsbildes, sowie eine Vorrichtung dazu zur Verfügung zu stellen, womit ein schnel­les und kostengünstiges Verfahren zur Gewinnung eines dreidi­mensionalen Abstandsbildes für räumliche Objekte ohne aufwen­dige mechanische Einrichtungen bereitgestellt wird.The invention has for its object a method forRecording a three-dimensional distance image, as well as aTo provide a device with which a quickles and inexpensive method for obtaining a dreididimensional distance image for spatial objects without expendituremechanical equipment is provided.

Die Lösung dieser Aufgabe geschieht durch die Merkmale des Anspruchs 1, 2 bzw. des Anspruches 23.This problem is solved by the features ofClaim 1, 2 and claim 23. 

Der Erfindung liegt die Erkenntnis zugrunde, daß unter Ein­satz eines bildpunktauflösenden (pixelauflösenden) und wahl­frei auslesbaren optoelektronischen Sensors, dessen Integra­tionszeit punktweise einstellbar ist, eine extrem schnelle Bildaufnahme eines dreidimensionalen Abstandsbildes möglich ist. Dazu wird das Objekt mit einem oder mehreren sehr kurzen Lichtimpulsen beleuchtet, woraufhin Lichtimpulse der gleichen Länge vom Objekt zurückgestreut werden. Diese zurückgestreu­ten Lichtimpulse werden über eine entsprechende Optik auf den optoelektronischen Chip geleitet. Aufgrund der unterschiedli­chen Abstände unterschiedlicher Objektpunkte vom Sensor wer­den mit jeweiligen Orten korrespondierende zurückgestreute Lichtimpulse zu jeweils unterschiedlichen Zeiten am Sensor ankommen. Für eine Abstandsmessung wird ein Zeitmeßfenster geöffnet, dessen Zeitdauer einer vorbestimmbaren Integrati­onszeit entspricht. Die Integrationszeit ist kleiner oder gleich der Länge der ausgesandten und damit auch der Länge der reflektierten Lichtimpulse. Somit ist sichergestellt, daß am Ende der Integrationszeit ein einheitliches Abschneiden der zurückgestreuten Lichtimpulse am Sensor erfolgt. Die zeitverzögert eintreffenden Lichtimpulse je Bildpunktelement werden hinten abgeschnitten, so daß aufgrund der unterschied­lichen Ladungen im Raster des optoelektronischen Sensors die unterschiedlichen Laufzeiten in Ladungsunterschiede umgesetzt werden können. Daraus läßt sich ein dreidimensionales Ab­standsbild errechnen.The invention is based on the finding that under oneset of a pixel-resolving and choicefreely readable optoelectronic sensor, whose integrapoint of time is adjustable, an extremely fastImage acquisition of a three-dimensional distance image possibleis. To do this, the object with one or more very shortLight pulses illuminated, whereupon light pulses of the sameLength from the object. Scattered this backth light pulses are transmitted to theoptoelectronic chip passed. Due to the differdistance between different object points from the sensorthe scattered back corresponding to the respective placesLight pulses at different times on the sensorarrive. A time measurement window is used for a distance measurementopened, the duration of a predeterminable integrations time. The integration time is shorter orequal to the length of the emitted and thus also the lengthof the reflected light pulses. This ensures thata uniform performance at the end of the integration periodthe backscattered light pulses occur at the sensor. Thearriving light pulses per pixel element with a time delayare cut off at the back, so that due to the differencecharges in the grid of the optoelectronic sensordifferent terms in charge differencescan be. From this, a three-dimensional abcalculate still image.

Die Erfindung kann auch derart gestaltet sein, daß anstelle eines Lichtimpulses mit definierter Länge lediglich ein Lichtintensitätsanstieg mit steiler Flanke Verwendung findet, der entsprechend am Sensor aufgenommen und ausgewertet wird. Dadurch wird das Meßergebnis unabhängig vom Verlauf der ab­fallenden Flanke des Lichtimpulses. Zum anderen kann der Ein­fluß eines Dunkelstromes, der beispielsweise durch die Be­triebswärme eines Sensorelementes erzeugt wird, sowie der An­teil des Umgebungslichtes (Störlicht) exakt für jeden Bild­punkt kompensiert werden. Durch insgesamt drei aufeinander­ folgende Messungen werden zunächst der Dunkelstrom und das Umgebungslicht erfaßt, danach werden in Zusammenhang mit ei­ner Belichtung die vom Objekt reflektierten und am Sensor empfangenen Lichtmengen in Form des Sensorsignalses inte­griert, was anschließend mit einer höheren Integrationszeit wiederholt wird. Daraus läßt sich durch entsprechende Inter­polation die Laufzeit des Lichtes für jeden Objektpunkt er­mitteln. Dies eröffnet die Verwendung von geringeren Licht­leistungen bei gleichzeitig genauer Messung der Laufzeit und damit der Entfernung zum Objekt.The invention can also be designed such that insteadof a light pulse with a defined length only oneIncrease in light intensity with a steep flank is used,which is recorded and evaluated accordingly on the sensor.This makes the measurement result independent of the course of thefalling edge of the light pulse. On the other hand, the oneflow of a dark current, for example through the Bedriving heat of a sensor element is generated, as well as the onpart of the ambient light (stray light) exactly for each imagepoint can be compensated. By three in total the following measurements will first be the dark current and theAmbient light is detected, then in connection with eggexposure is reflected by the object and on the sensorreceived amounts of light in the form of the sensor signal integrants what subsequently with a higher integration timeis repeated. This can be done through appropriate interpolation the runtime of the light for each object pointaverage. This opens up the use of lower lightperformance with precise measurement of the runtime andhence the distance to the object.

In einer vorteilhaften Ausgestaltung der Erfindung werden mit einer sehr langen Integrationszeit sämtliche Lichtimpulse gleichzeitig mit der zuerst beschriebenen Messung oder zeit­versetzt danach mit ihrer vollständigen Länge aufgenommen. Dies wird zur Normierung benutzt, so daß Unterschiede im Re­flexionsverhalten des Objektes erkannt und ausgeglichen wer­den können.In an advantageous embodiment of the inventiona very long integration time all light pulsessimultaneously with the measurement or time described firstthen added with their full length offset.This is used for normalization, so that differences in Rethe object's flexion behavior is recognized and balancedthat can.

Weitere vorteilhafte Ausgestaltungen können den Unteransprü­chen entnommen werden.Further advantageous refinements can be found in the subclaimsChen be removed.

Die wesentlichen Vorteile der Erfindung liegen darin, daß beispielsweise mechanische Shutter entfallen. Es können ex­trem kurze Bildaufnahmezeiten realisiert werden. Der verwen­dete optoelektronische Sensor wird allgemein als CMOS-Sensor bezeichnet, wobei dies lediglich die technologische Bezeich­nung des Halbleiterbauelementes ist. Mit einem derartigen Sensor lassen sich minimale Integrationszeiten von 50 bis 30 nsec realisieren (Jitter bei weniger als 0,1%). Die techni­sche Entwicklung schreitet bei den Integrationszeiten noch voran.The main advantages of the invention are thatfor example, mechanical shutters are eliminated. Exextremely short image acquisition times can be realized. The useThe optoelectronic sensor is commonly used as a CMOS sensorreferred to, whereby this is only the technological designationvoltage of the semiconductor device. With such aSensor integration times are minimal from 50 to 30Realize nsec (jitter at less than 0.1%). The techniThe development is still progressing with the integration timesAhead.

In folgenden werden anhand von schematischen Figuren Ausfüh­rungsbeispiele beschrieben.In the following, diagrammatic figures are useddescribed examples.

Fig. 1 zeigt das Funktionsprinzip zur Erfassung eines drei­dimensionalen Abstandsbildes mit einem CMOS-Sensor,Fig. 1 shows the operating principle for detecting a three-dimensional distance image with a CMOS sensor,

Fig. 2 zeigt die schematische Darstellung einer zeitlichen Verschiebung zweier Lichtimpulse deren zugehörige Objektpunk­te einen unterschlichen Abstand zum CMOS-Sensor besitzen, re­lativ zu Integrationsfenstern,Fig. 2 shows the schematic representation of a time shift between two light pulses whose associated object punk te under a creep distance from the CMOS sensor have, concentration relative to integration windows,

Fig. 3 zeigt zwei Varianten des Sensors zur gleichzeitigen Erfassung von dreidimensionalen Abstandsbildern und Intensi­täts- bzw. Grauwertbildern mit einem CMOS-Sensor,Fig. 3 shows two variants of the sensor for the simultaneous detection of three-dimensional distance images and Intensi täts- or gray scale images with a CMOS sensor,

Fig. 4 zeigt die schematische Darstellung der Fahrzeuginnen­raumüberwachung mit einem dreidimensionalen CMOS-Sensor.Fig. 4 shows the schematic representation of the vehicle interior monitoring with a three-dimensional CMOS sensor.

Fig. 5 zeigt die Entfernungsmessung mit integrierendem CMOS-Bildsensor, wobei das Signal der sendeseitigen Laserdiode und die empfangsseitigen Sensorsignale dargestellt sind,Fig. 5 shows the distance measurement with integrating CMOS image sensor, the signal of the transmission side laser diode and the receiving side sensor signals are shown,

Fig. 6 zeigt die Entfernungsmessung mit integrierendem CMOS-Bildsensor, wobei inFig. 6a der sendeseitige Betrieb einer Laserdiode und inFig. 6b die durch fortlaufende Integration am Sensor erzielten Sensorsignale dargestellt sind,Fig. 6 shows the distance measurement with integrating CMOS image sensor, wherein the sensor signals obtained by continuous integration of the sensor are shown inFig. 6a of the transmission-side operation of a laser diode and inFig. 6b,

Fig. 7 zeigt in zeitlicher Korrelation die Zusammenhänge zwischen sendeseitiger Beleuchtung und empfangsseitiger De­tektion eines Laserimpulses, wobei die in derFig. 7 unten dargestellten Meßsignale in Verbindung mit einer kurzen Inte­grationszeit und einer sehr langen Integrationszeit darge­stellt werden,Fig. 7 shows the correlation in time correlation between transmission-side lighting and reception-side detection of a laser pulse, the measurement signals shown inFig. 7 below in conjunction with a short integration time and a very long integration time are Darge,

Fig. 8 zeigt in zeitlicher Korrelation die sende- und emp­fangsseitige Darstellung eines Laserimpulses, wobei auf die Beleuchtungssteuerung des Sensors bezogen zwei unterschiedli­che kurze Integrationszeiten vorgesehen sind.Fig. 8 shows in time correlation the transmission and reception representation of a laser pulse, two different short integration times are provided based on the lighting control of the sensor.

Es wird ein Verfahren zur seriellen oder gleichzeitigen Er­fassung bzw. Erzeugung eines Intensitäts- und eines dreidi­mensionalen Abstandsbildes räumlicher Objekt mit einem opto­elektronischen Sensor unter Kurzzeitbelichtung beschrieben. Das Verfahren nutzt die Laufzeitunterschiede der von den dreidimensionalen Objekten zurückgestreuten Lichtimpulse bei der bildpunktsynchronen (pixelsynchronen) Detektion am Sensor innerhalb kurzer Integrationszeiten. Dabei wird ein CMOS-Sensor eingesetzt. Dieser Sensor besitzt eine Lichtempfind­lichkeit von beispielsweise 1 mLux. Weiterhin weist er eine hohe Intensitätsdynamik von bis zu 10⁷ auf, einen wahlfreien Zugriff auf die einzelnen Bildpunkte (Pixel), sowie eine ein­stellbare Integrationszeit (Sample & Hold). Für die Messung der Ladungsmenge Q(t) bei Belichtung am einzelnen Bildpunkt.A method for serial or simultaneous detection or generation of an intensity and a three-dimensional distance image of a spatial object with an optoelectronic sensor under short exposure is described. The method uses the runtime differences of the light impulses scattered back from the three-dimensional objects in the case of pixel-synchronous (pixel-synchronous) detection at the sensor within short integration times. A CMOS sensor is used for this. This sensor has a light sensitivity of 1 mLux, for example. Furthermore, it has a high intensity dynamic of up to 10⁷ , an optional access to the individual pixels (pixels) and an adjustable integration time (sample & hold). For measuring the amount of charge Q (t) when exposed to a single pixel.

Gegenüber Verfahren die eine CCD-Kamera einsetzen, lassen sich besondere Vorteile erzielen, wie beispielsweise die pa­rallele Erfassung von Intensitäts- und dreidimensionalen Bil­dern, sowie die Realisierung kurzer Bildaufnahmezeiten, die deutlich unter den Auslesezeiten von CCD-Kameras liegen. Wei­terhin benötigt der CMOS keine aufwendigen mechanischen Shut­ter und es müssen auch keine leistungsstarken Laserlichtquel­len für die Kurzzeitbelichtung eingesetzt werden.Compared to processes that use a CCD cameraachieve special advantages, such as the paparallel acquisition of intensity and three-dimensional images, as well as the realization of short image acquisition times, theare significantly lower than the readout times of CCD cameras. WeiFurthermore, the CMOS does not require any complex mechanical shutdownter and there is no need for powerful laser light sourceslen are used for the short exposure.

Das Verfahren ist insbesondere für die Erkennung von Personen und Bewegungsabläufen in der Raumüberwachung, beispielsweise Fahrzeuginnen/-außenüberwachung der Automatisierung von Kra­nanlagen sowie der Navigation geeignet.The method is particularly useful for recognizing peopleand motion sequences in room surveillance, for exampleVehicle interior and exterior monitoring of automation from Krasystems and navigation.

Die wesentlichen Funktionsmerkmale werden anhand vonFig. l erläutert. Zunächst wird für die Beleuchtung der zu erfassen­den räumlichen Objekte mit kurzen Lichtimpulsen beispielswei­se <100 ns gesorgt. Die Beleuchtung kann mit Laserlicht, wie beispielsweise mit einer gepulsten Laserdiode oder mit Lichtquellen, wie beispielsweise einer gepulsten LED-Diode erfolgen. Das Verfahren ist unabhängig vom Winkel der Be­leuchtung, die nicht unbedingt zentral zur allgemeinen Detek­ tionsrichtung erfolgen muß. So ist beispielsweise auch bei koaxialer Beleuchtung und Detektion der Einsatz eines Ring­lichtes denkbar. Die inFig. 1 dargestellte Anordnung dient nur zur schematischen Verdeutlichung des Funktionsprinzips.The essential functional features are explained with reference toFIG. 1. First, the lighting of the spatial objects to be detected is provided with short light pulses, for example <100 ns. Illumination can take place with laser light, for example with a pulsed laser diode, or with light sources, for example with a pulsed LED diode. The method is independent of the angle of the lighting, which does not necessarily have to be central to the general direction of detection. For example, the use of a ring light is also conceivable for coaxial lighting and detection. The arrangement shown inFig. 1 only serves to illustrate the functional principle schematically.

Eine erste Bildaufnahme A wird mit einer kurzen Integrations­zeit Δ_A CMOS-Sensor verbunden. Die von den Objektpunkten G der dreidimensionalen Szene zurückgestreuten Lichtimpulse3 der Länge Δ_L (<100 nsec) werden an den zugehörigen Bildpunk­ten9 des CMOS-Sensors innerhalb einer eingestellten kurzen Integrationszeit Δ_A≦Δ_L erfaßt. Durch einen elektronischen Triggerimpuls wird dabei ein fester zeitlicher Bezug zwischen ausgesandtem Lichtimpuls2 und dem Öffnen des Integrations­zeitfensters am CMOS-Sensor hergestellt. Aufgrund der Lauf­zeit des Lichtes ergibt sich je nach Objektabstand R eine un­terschiedliche zeitliche Verschiebung
A first image acquisition A is connected to a short integration time Δ_A CMOS sensor. The back scattered light pulses3 of the length Δ_L (<100 nsec) from the object points G of the three-dimensional scene are detected at the associated pixels9 of the CMOS sensor within a set short integration time Δ_A ≦ Δ_L. An electronic trigger pulse establishes a fixed temporal relationship between the emitted light pulse2 and the opening of the integration time window on the CMOS sensor. Due to the running time of the light, there is a different time shift depending on the object distance R.

τ = 2R/V_c (V_c = Lichtgeschwindigkeit)
τ = 2R / V_c (V_c = speed of light)

zwischen ausgesandtem und am CMOS-Sensor detektierten Lich­timpuls. Die am Bildpunkt innerhalb der Integrationszeit ΔA gemessene Ladung Q_A wird dadurch vom Abstand R zwischen Sen­sor und Objektpunkt G abhängig. Siehe hierzuFig. 2.
between the emitted light pulse and the CMOS sensor. The charge Q_A measured at the pixel within the integration time ΔA thus becomes dependent on the distance R between the sensor and the object point G. SeeFig. 2.

Q_A∞I₀ * O_R(Δ_L - (2R/V_C - t_D)) (1)
Q_A ∞I₀ * O_R (Δ_L - (2R / V_C - t_D )) (1)

I₀ Intensität des ausgesandten Lichtimpulses
O_R Oberflächenreflexionskoeffizient am Objektpunkt G
t_D Triggerpunktzeitverzögerung zwischen ausgesandtem Lichtim­puls und Start des Integrationsfensters am CMOS-Sensor.I₀ intensity of the emitted light pulse
O_R surface reflection coefficient at object point G
t_D Trigger point time delay between emitted light pulse and start of the integration window on the CMOS sensor.

Für Objektpunkte G mit gleichem Oberflächenreflektionskoeffi­zienten O_R wird abhängig von ihrem Abstand R eine unter­schiedliche Ladung Q_A am zugehörigen Bildpunkt des CMOS-Sensors gemessen. Damit werden kleine Laufzeitunterschiede der Lichtimpulse in Ladungsänderungen Q_A transformiert, so daß eine integrierte Ladung für jeweils einen Objektpunkt G mit seinem jeweiligen Abstand R_{(1,. . .)} stellvertretend ist. Diese können bei einem CMOS-Sensor sehr empfindlich und mit hoher Dynamik detektiert werden. Üblicherweise besitzen die Objekte einer dreidimensionalen Szene eine unterschiedliche Oberflä­chenreflexion.For object points G with the same surface reflection coefficient O_R , depending on their distance R, a different charge Q_{A is} measured at the associated pixel of the CMOS sensor. Thus small transit time differences of the light pulses are transformed into changes in charge Q_A , so that an integrated charge is representative for each object point G with its respective distance R_(1,...) . With a CMOS sensor, these can be detected very sensitively and with high dynamics. Usually, the objects of a three-dimensional scene have a different surface reflection.

Es wird daher zur Normierung des Abstandsbildes noch eine zweite Bildaufnahme Q_B durchgeführt, die nur von der Oberflä­chereflexion der Objekte der dreidimensionalen Szene abhängig ist.To normalize the distance image, a second image recording Q_B is therefore carried out, which is only dependent on the surface reflection of the objects of the three-dimensional scene.

Die Durchführung einer zweiten Bildaufnahme B mit langer In­tegrationszeit Δ_B dient zur Normierung der Oberflächenrefle­xion der dreidimensionalen Szene, wobei im Prinzip das her­kömmliche Intensitäts- oder Grauwertbild verwendet wird. Hierzu wird am CMOS-Sensor bei einer zweiten Bildaufnahme ei­ne Integrationszeit Δ_B eingestellt, die sehr groß gegenüber der Länge eines Beleuchtungslichtimpulses ist; Δ_B»Δ_L z. B. 1 Mikrosekunde. Jetzt werden alle zurückgestreuten Lichtim­pulse3 unabhängig von ihrer Laufzeit in vollem Umfang am CMOS-Sensor detektiert. Die an einem Bildpunkt gemessene La­dung Q_B gibt sich zu
Carrying out a second image recording B with a long integration time Δ_B serves to standardize the surface reflection of the three-dimensional scene, in principle using the conventional intensity or gray value image. For this purpose, the integration time Δ_B , which is very large compared to the length of an illuminating light pulse, is set on the CMOS sensor during a second image recording; Δ_B »Δ_L z. B. 1 microsecond. Now all backscattered light pulses3 are fully detected on the CMOS sensor regardless of their runtime. The charge Q_B measured at one pixel is admitted

Q_B∞I_D.O_R.Δ_L. (2)
Q_B ∞I_D .O_R .Δ_L. (2)

Das erhaltene Bild ist nur von der Beleuchtungsintensität I₀, dem Oberflächenreflektions-Koeffizienten O_R des zugehörigen Objektpunktes, sowie der Lichtimpulslänge Δ_L abhängig.The image obtained is only dependent on the illumination intensity I₀ , the surface reflection coefficient O_{R of} the associated object point, and the light pulse length Δ_L.

Die Erzeugung des zweidimensionalen Abstandsbildes Q_R ge­schieht durch die Berechnung aus der Differenz und Normierung von Bildaufnahme A und B bzw. Q_A und Q_B
The two-dimensional distance image Q_{R is} generated by the calculation from the difference and normalization of image acquisition A and B or Q_A and Q_B

Q_R = (Q_A - Q_B)/Q_B (3)Q_R = (Q_A - Q_B ) / Q_B (3)

Aus Gleichung (1) und (2) folgt mit t_d = 0 die Gleichung
From equations (1) and (2) follows the equation with t_d = 0

Q_R∞ - 2R/(V_C * Δ_L) (4)Q_R ∞ - 2R / (V_C * Δ_L ) (4)

Dieser Wert kann nach Auslesen und Digitalisieren sowie zu­sätzlicher Skalierung für alle Bildpunkte direkt als Ab­standsbild Q_R ausgegeben werden. Ist die Triggerverzögerungs­zeit t_d ungleich 0, so addiert sich zu allen Punkten des Ab­standsbildes Q_R ein konstanter Offset
After reading out and digitizing and for additional scaling, this value can be output directly as a distance image Q_R for all pixels. If the trigger delay time t_{d is} not equal to 0, then a constant offset is added to all points of the distance map Q_R

R_D = t_D/(V_C * Δ_L) (5)
R_D = t_D / (V_C * Δ_L ) (5)

R_D = Abstandswert bei t_D (Ladungsoffset)
Die gleichzeitige Aufnahme von Intensitäts- und dreidimen­sinalem Bild bezieht sich auf eine Ausführung einer örtlich und zeitlich parallelen Erfassung von Intensitäts-und Ab­standswerten. Hierzu wird eine Chiparchitektur und pixelbezo­gene Integrationszeit derart gewählt, daß direkt benachbarte Pixel A und Pixel B entsprechend derFig. 3 auf dem CMOS-Sensor die zurückgestreuten Lichtimpulse3 der dreidimensio­nalen Szene gleichzeitig mit kurzer Integrationszeit Δ_A≦Δ_L (für Pixel A) aufnehmen und mit langer Integrationszeit Δ_B « Δ_L (für Pixel B) erfassen. Durch eine auf dem Chip inte­grierte elektronische Schaltung kann dann direkt das zweidi­mensionale Abstandsbild
R_D = distance value at t_D (charge offset)
The simultaneous recording of the intensity and three-dimensional image relates to the execution of a spatially and temporally parallel recording of intensity and distance values. For this purpose, a chip architecture and pixel-related integration time is chosen such that directly adjacent pixels A and pixel B according toFIG. 3 on the CMOS sensor the backscattered light pulses3 of the three-dimensional scene simultaneously with a short integration time Δ_A ≦ Δ_L (for pixel A ) and record with a long integration time Δ_B «Δ_L (for pixel B). An integrated electronic circuit on the chip can then directly the two-dimensional distance image

Q_R = (Q_A - Q_B)/Q_B (6)
Q_R = (Q_A - Q_B ) / Q_B (6)

der zugeordneten Pixel A und B berechnet und ausgegeben wer­den.of the assigned pixels A and B are calculated and outputthe.

Fig. 3 zeigt dazu schematisch zwei mögliche Anordnungen auf dem CMOS-Sensor für die parallele Erfassung von Intensitäts und dreidimensionalem Abstandsbild. Weitere Varianten hierzu sind möglich. Die gleichzeitige Erfassung von Intensitäts- und dreidimensionalem Abstandsbild ist besonders für die Ana­lyse bewegter dreidimensionaler Szenen von Bedeutung, bei­ spielsweise die Erfassung von Personengestik oder die Objekt­verfolgung. Weitere besondere Kennzeichen der Erfindung sind:
Fig. 3 illustrates this schematically two possible arrangements on the CMOS sensor for the parallel detection of intensity and a three-dimensional distance image. Other variants are possible. The simultaneous acquisition of intensity and three-dimensional distance images is particularly important for the analysis of moving three-dimensional scenes, for example the acquisition of gestures or the tracking of objects. Further special characteristics of the invention are:

• - Falls erforderlich kann eine zusätzliche Normierung des dreidimensionalen Abstandsbildes bezüglich Umgebungslicht durchgeführt werden. Hierzu wird zunächst ohne Beleuchtung der dreidimensionalen Szene bzw. des Objekts die Ladung eines Bildpunktes mit kurzer und langer Integrationszeit erfaßt und von den mit Beleuchtung gemessenen Ladungen Q_A und Q_B abgezo­gen. Anschließend erfolgt die Berechnung des Abstandsbildes Q_R- If necessary, an additional standardization of the three-dimensional distance image with respect to ambient light can be carried out. For this purpose, the charge of a pixel with a short and long integration time is first detected without illuminating the three-dimensional scene or the object and is subtracted from the charges Q_A and Q_B measured with illumination. The distance image Q_{R is} then calculated
• - Durch zeitliche Mittelung der Signale mehrerer Lichtim­pulse kann eine Erhöhung der Empfindlichkeit des Verfahrens gegenüber dem Rauschen bei geringen zurückgestreuten Lichtin­tensitäten erreicht werden.- By averaging the signals of several lights in timepulse can increase the sensitivity of the procedurecompared to the noise at low backscattered lightintensities can be achieved.
• - Die Meßunsicherheit für die Abstandsbestimmung hängt vom Signal/Rauschverhalten des CMOS-Sensors ab. Erwartet wird das Laufzeitunterschiede zwischen 0,1 ns noch detektiert werden können. Daraus folgt eine Meßunsicherheit von weniger als 3 cm für die Abstandsbestimmung.- The measurement uncertainty for the distance determination depends onSignal / noise behavior of the CMOS sensor. This is expectedDifferences in transit time between 0.1 ns can still be detectedcan. This results in a measurement uncertainty of less than 3cm for the distance determination.

Die wesentlichen Verwendungen des beschriebenen Verfahrens und der beschriebenen Vorrichtung betreffen die Überwachung von Innenräumen, insbesondere in Fahrzeugen in Verbindung mit volumetrischen Auswerteverfahren. Die Aufgabe der optischen Innenraummüberwachung bei Fahrzeugen ist die Erkennung der Sitzbelegung, wie beispielsweise Personen, Kindersitz, son­stige Objekte, die Erfassung der Sitzposition von Personen sowie der Diebstahlschutz, d. h. das unzulässige Eindringen in das Fahrzeuginnere von außen. Die Erkennung von Personen und ihrer Sitzposition ist für die stufenweise Auslösung eines Airbaigs (smart Airbaig) von hoher sicherheitsrelevanter Be­deutung und muß im Kollisionsfall sehr zuverlässig und in kurzen Meßzeiten erfolgen. Die Erfindung erfüllt diese Anfor­derungen durch eine schnelle und zuverlässige Erzeugung eines dreidimensionalen Abstandsbildes Q_R im Fahrzeuginneren, wobei volumentrische Auswerteverfahren eingesetzt werden. Dabei werden aus den Abstandswerten R in einem Raumwinkelelement Ω die von Objekten1 besetzten Nettovolumenanteile im Fahrzeu­ginnenraum als Differenz zu den Abstandswerten bei unbesetz­tem Fahrzeuginneren bestimmmt (siehe hierzuFig. 4).The essential uses of the described method and the described device relate to the monitoring of interior spaces, in particular in vehicles in connection with volumetric evaluation methods. The task of optical interior surveillance in vehicles is the detection of seat occupancy, such as people, child seats, other objects, the detection of the seating position of people and theft protection, ie the inadmissible intrusion into the vehicle interior from the outside. The detection of people and their seating position is of high safety-relevant importance for the gradual release of an Airbaig (smart Airbaig) and must be carried out very reliably and in short measuring times in the event of a collision. The invention fulfills these requirements by quickly and reliably generating a three-dimensional distance image Q_R in the vehicle interior, using volumetric evaluation methods. In this case, from the distance values R in a solid angle element Ω, the net volume portions occupied by objects1 in the vehicle interior are determined as the difference to the distance values when the vehicle interior is not occupied (seeFIG. 4).

Das Verfahren und die Vorrichtung liefern weitere wesentliche Vorteile, wie:
The method and the device provide further significant advantages, such as:

• - Schnelle, globale Erfassung der aktuellen Sitzbelegung durch Differenzbildung eines dreidimensionalen Abstandsbildes vom Fahrzeuginneren ohne Objekte (dreidimensionales Referenz­bild Q_RO) und dem aktuell auszuwertenden dreidimensionalen Abstandsbild mit einer Person oder einem sonstigen Objekt Q_RP auf einem Sitz. Dabei gilt für das Nettovolumen V_p der Sitz­belegung:
  V_p = ∫_ΩR₀(Ω) * dF - ∫_ΩR_p(Ω) * dF (7),
  wobei R₀ die Abstandswerte ohne Person bzw. sonstigem Objekt und R_p die Abstandswerte mit Person bzw. sonstigem Objekt auf dem Sitz sind und dF eine differenzielle Fläche bezeichnet.- Fast, global recording of the current seat occupancy by forming a difference between a three-dimensional distance image from the vehicle interior without objects (three-dimensional reference image Q_RO ) and the currently to be evaluated three-dimensional distance image with a person or another object Q_RP on a seat. The net volume V_p applies here the seat occupancy:
  V_p = ∫_Ω R₀ (Ω) * dF - ∫_Ω R_p (Ω) * dF (7),
  where R_{0 is} the distance values without a person or other object and R_{p is} the distance values with a person or other object on the seat, and dF denotes a differential area.
• - Die adaptive Ermittlung der Sitzbelegung aus der Berech­nung der relativen Abstandsänderungen vor und nach dem Ein­steigen einer Person ins Fahrzeug kann durchgeführt werden. Durch Anwendung regressiver und stochiastischer Auswertever­fahren kann die Zuverlässigkeit der Differenzbestimmung noch weitergesteigert werden.- The adaptive determination of the seat occupancy from the compof the relative changes in distance before and after ongetting a person into the vehicle can be done.By using regressive and stochiastic evaluation verThe reliability of the difference determination can still drivebe further increased.
• - Die Größenbestimmung der erfaßten Objekte und globale Un­terscheidung von Objekten über Volumen-Vergleichsklassen ist möglich.- The size determination of the detected objects and global Undifferentiation of objects over volume comparison classespossible.
• - Räumliche Zuordnung von besetzten Volumenanteilen ist mög­lich- Spatial allocation of occupied volume shares is possibleLich
• - Bestimmung der räumlichen Extrempositionen (x,y,z) des be­setzten Volumens im Innenraum für die Steuerung der Airbaig Auslösung kann bestimmt werden.- Determination of the spatial extreme positions (x, y, z) of the beset volume in the interior for controlling the AirbaigTripping can be determined. 
• - Volumetrische Verfolgung von Bewegungsabläufen im Raum bei zeitlich aufeinanderfolgenden Bildaufnahmen und Differenzbil­dung. Erkennuung von Personen und Gestik aus der Bewegungsa­nalyse.- Volumetric tracking of motion sequences in spacesuccessive images and differential imagedung. Recognition of people and gestures from movementanalysis.

Diese integrale Volumenbetrachtung ermöglicht eine globale Erfassung von Objekten und Positionen im Raum und ist nicht auf die Bestimmung von Merkmalen, wie beispielsweise Kontu­ren, Ecken, Kanten im Bild zur Objekterkennung angewiesen. Die Auswertezeiten können für die dreidimensionale Bildauf­nahme und volumetrische Auswertung unter 10 ms liegen.This integral volume analysis enables a global oneDetection of objects and positions in space and is noton the determination of features such as contoursedges, corners, edges in the image are directed to object detection.The evaluation times can be for the three-dimensional imageacquisition and volumetric evaluation are less than 10 ms.

Als Anwendungsgebiet des beschriebenen Verfahrens und der Vorrichtung kommt insbesondere ein Fahrzeuginnenraum infrage. Dabei wird für die dreidimensionale Bildaufnahme mit LED-Lichtimpulsen von beispielsweise 50 ns (Nanosekunden) ein Ob­jekt belichtet. Die Integrationszeiten am CMOS-Sensor werden für die Bildaufnahme Q_A zu 50 ns und für die Bildaufnahme Q_B zu 0,5 µs, gewählt. Die zu erfassende Szenendynamik im Fahr­zeuginneren soll 200 : 1 betragen. Die Abstandswerte R sollen mit einer Meßunsicherheit <15 cm (entsprechender Laufzeitun­terschied eines Lichtimpulses = 1 ns) in einem Meßbereich bis 1,5 m (Laufzeit 10 ns) erfaßt werden.A vehicle interior is particularly suitable as an area of application for the method and device described. An object is exposed for three-dimensional image acquisition with LED light pulses of, for example, 50 ns (nanoseconds). The integration times on the CMOS sensor are chosen for the image acquisition Q_A to 50 ns and for the image acquisition Q_B to 0.5 µs. The scene dynamics to be recorded inside the vehicle should be 200: 1. The distance values R should be recorded with a measurement uncertainty <15 cm (corresponding transit time difference of a light pulse = 1 ns) in a measuring range up to 1.5 m (transit time 10 ns).

Mit diesen Anforderungen wird am CMOS Sensor eine Intensi­tätsdynamik von (10×200 =) 2000 : 1 erforderlich. Die digi­tale Erfassung des dreidimensionalen Abstandsbildes Q_R wird damit durch einen 12 Bit A/D Wandler gewährleistet. Für eine Sensorortsauflösung von 50×50 Bildpunkten werden für die Bildaufnahmen A mit kurzer Integrationszeit und B mit langer Integrationszeit maximal 10⁴ Ausleseoperationen notwendig, die bei Auslesefrequenzen, von beispielsweise 2 MHz zu einer gesamten Bildaufnahmezeit für das dreidimensionale Abstands­bild von maximal 5 ms führen. Die Berechnung der Differenzvo­lumina aus den 2500 Abstandswerten ist mit einem schnellen Prozessor, wie beispielsweise einem Pentium mit 200 Mhz in weiteren 5 ms ohne Schwierigkeit ausführbar.With these requirements, an intensity dynamic of (10 × 200 =) 2000: 1 is required on the CMOS sensor. The digital acquisition of the three-dimensional distance image Q_R is thus ensured by a 12 bit A / D converter. For a sensor location resolution of 50 × 50 pixels, a maximum of 10⁴ readout operations are required for the image recordings A with a short integration time and B with a long integration time, which lead to a total image acquisition time for the three-dimensional distance image of a maximum of 5 ms at readout frequencies of, for example, 2 MHz. The calculation of the difference volume from the 2500 distance values can be carried out with a fast processor, such as a Pentium with 200 MHz, in a further 5 ms without difficulty.

InFig. 4 wird ein Schema für eine Anwendung der Erfindung in Fahrzeuginnenräumen dargestellt. Die Pfeile mit gepunkte­ten Linien sind stellvertretend für einen nichtbelegten Sitz und die mit durchgezogenen Linien für einen mit einer Person belegten Sitz. Für die globale Objekterkennung und Positions­bestimmung wird der umhüllende Nettovolumenanteil aus den dreidimensionalen Abstandsdaten bei besetztem und bei unbe­setztem Fahrzeug bestimmt. Das Nettovolumen V_p einer Person oder eines sonstigen Objektes auf einem Autositz berechnet sich nach Gleichung (7).InFIG. 4 is a diagram of an application of the invention is illustrated in vehicle interiors. The arrows with dotted lines represent a vacant seat and those with solid lines represent a seat occupied by a person. For global object recognition and position determination, the enveloping net volume fraction is determined from the three-dimensional distance data for occupied and unoccupied vehicles. The net volume V_{p of} a person or other object on a car seat is calculated according to equation (7).

Das bisher beschriebene Verfahren zur Aufnahme eines Ab­standsbildes beruht auf einem Differenzverfahren, wobei die Laufzeit T₀=U_p/U_ges*Δ_A beträgt, wobei:
T₀ = Lichtlaufzeit, Δ_A = Integrationszeit,
U_ges = Meßsignal bei Δ_B minus Dunkelstromanteil bei Δ_B,
U_p = U_ges minus (Meßsignalanteil bei Δ_A minus Dunkelstroman­teil bei Δ_A).The previously described method for recording a distance image is based on a difference method, the running time being T₀ = U_p / U_tot * Δ_A , where:
T₀ = light transit time, Δ_A = integration time,
U_tot = measuring signal for Δ_B minus dark current share of Δ_B,
U_p = U_ges minus (Meßsignalanteil at Δ_A minus Dunkelstroman part at Δ_A).

Die weitere hauptsächliche Lösung der Erfindung, die inFig. 8 dargestellt wird, wertet die aufgenommenen Meßsignale am Sensor mittels eines Interpolationsverfahrens aus. Dabei ergibt sich die Laufzeit des Lichtes von der Lichtquelle über das Objekt bis zum Sensor durch den Schnittpunkt der Kurve des Meßsignales inFig. 8, geschnitten mit der Kurve des Dunkelstromanteiles. Für die Lichtlaufzeit gilt
The further main solution of the invention, which is shown inFIG. 8, evaluates the recorded measurement signals at the sensor by means of an interpolation method. The time of flight of the light from the light source via the object to the sensor results from the intersection of the curve of the measurement signal inFIG. 8, intersected with the curve of the dark current component. The following applies to the light transit time

T₀ = 2R / V_c,
T₀ = 2R / V_c ,

woraus sich der Abstandswert R ergibt.from which the distance value R results.

Die bei zahlreichen industriellen Anwendungen der Bildverar­beitung notwendige dreidimensionale Bilddatenerfassung ist insbesondere für die automatische Überwachung von Räumen, beispielsweise Autoinnenraum, notwendig. An die Genauigkeit des Entfernungsbildes/Abstandsbildes werden nicht allzu hohe Anforderungen gestellt. Entfernungsbilder mit etwa 1000 Bildlpunkten wären für eine Raumüberwachung in den meisten Fällen schon ausreichend. Übliche Triangulationsverfahren scheiden dabei aus Kostengründen, sowie wegen der großen not­wendigen Meßbasis, aus.The image processing in numerous industrial applicationsprocessing is necessary three-dimensional image data acquisitionespecially for the automatic monitoring of rooms,for example, car interior. Accuracythe distance image / distance image are not too highRequirements. Distance images with about 1000 Pixels would be for most room surveillanceCases sufficient. Usual triangulation proceduresdivorce for cost reasons, as well as because of the great needmanoeuvrable measuring base.

Sowohl die Beleuchtungsart entsprechendFig. 7, als auch die Beleuchtungsart entsprechendFig. 8 lassen eine schnelle und kostengünstige Aufnahme eines dreidimensionalen Abstandsbil­des verwirklichen. Das Verfahren, bei dem über die Interpola­tion die Laufzeit des Lichtes, die zur Auswertung notwendig ist, für jeden Bildelementpunkt des Sensors4 erzielt wird, ist beispielhaft inFig. 8 dargestellt. Hierin wird anstatt eines Lichtimpulses mit definierter Länge nur ein Lichtinten­sitätsanstieg mit steiler Flanke ausgewertet. Der am Sensor empfangene vom Objekt reflektierte Laserpuls wird durch zwei unterschiedliche Integrationszeiten abgeschnitten. Dadurch wird zum einen das Meßsignal unabhängig vom Verlauf der ab­fallenden Flanke des Lichtimpulses und zum anderen kann der Einfluß des Dunkelstromes, der beispielsweise durch die Be­triebswärme eines Sensors entsteht, und des Umgebungslichtes exakt für jeden Bildpunkt kompensiert werden.Both the type of illumination according toFIG. 7 and the type of illumination according toFIG. 8 enable a three-dimensional distance image to be recorded quickly and inexpensively. The method in which the transit time of the light, which is necessary for the evaluation, is achieved for each pixel point of the sensor4 via the interpolation is shown as an example inFIG. 8. Instead of a light pulse with a defined length, only a light intensity increase with a steep flank is evaluated here. The laser pulse received at the sensor and reflected by the object is cut off by two different integration times. As a result, the measurement signal is independent of the course of the falling edge of the light pulse and, on the other hand, the influence of the dark current, which arises, for example, from the operating heat of a sensor, and the ambient light can be compensated exactly for each pixel.

Fig. 5 zeigt die Entfernungsmessung mit integrierendem CMOS-Bildsensor. In dem Zeit t/Sensorspannung U-Diagramm ist zum einen die sendeseitig beleuchtende Laserdiode bzw. deren rechteckförmig ausgebildeter Lichtimpuls dargestellt. Darun­ter sind die empfangsseitig aufgenommenen Meßsignale darge­stellt. Die durchgezogene Linie, die vom Ursprung des Koordi­natensystems zu der Spannung U_d führt, ist die erste durch­geführte Messung und beinhaltet einen Dunkelstromanteil plus einen Fremdlichtanteil. U_d wird zur Integrationszeit T₂, die größer als eine andere Integrationszeit T₁ ist, aufgenommen.Fig. 5 shows the distance measurement with integrating CMOS image sensor. The time t / sensor voltage U diagram shows, on the one hand, the laser diode illuminating on the transmission side or its rectangular light pulse. Below, the measurement signals received at the receiving end are shown. The solid line leading from the origin of the coordinate system to the voltage U_d is the first measurement carried out and contains a dark current component plus an extraneous light component. U_d is recorded at the integration time T₂ , which is greater than another integration time T₁ .

Im Anschluß daran wird das Objekt1 mit der Laserdiode be­leuchtet, woraufhin zunächst in den einzelnen Bildpunkten nur die Dunkelströme verbunden mit dem Fremdlichtanteil inte­griert werden. Wenn aufgrund der Lichtlaufzeit T₀ zusätzli­ches Licht vom Objektpunkt G zurückgestreut wird, so steigt das Meßsignal vom Zeitpunkt T₀ entsprechend der Helligkeit des jeweiligen Bildpunktes stärker an. Nach einer bestimmten Integrationszeit T₁ wird dann die Spannung U₁ für alle Bild­punkte ausgelesen und abgespeichert. Der gleiche Vorgang wie­derholt sich nun mit der bereits aus der ersten Dunkelstrom­messung bekannten Integrationszeit T₂. T₁ beträgt beispiels­weise 30 ns und T₂ beträgt beispielsweise 60 ns. An den Stel­len, an denen das Meßsignal die Zeiten T₁ bzw. T₂ schneidet, was gleichbedeutend ist mit einem Abschneiden des empfangenen Lichtimpulses, ergibt sich der Punkt U₁ bzw. der Punkt U₂. Es gilt die Beziehung ΔU=U₂-U₁. Die Lichtlaufzeit T₀ er­rechnet sich nach der Formel die inFig. 5 dargestellt ist. Verlängert man eine Gerade durch die Punkte U₂ und U₁, so schneidet diese Gerade nach unten hin die Dunkelstrom dar­stellende Gerade zwischen dem Ursprung des Koordinatensystems und der Spannung U_D. Am Schnittpunkt kann die Lichtlaufzeit T₀ abgelesen werden. Sämtliche Werte für U₁ und U₂ bzw. ΔU werden ebenfalls für alle Bildpunkte ausgelesen und gespei­chert. Aus den für jeden Bildpunkt abgespeicherten Spannungen U_D, U₁, U₂ und ΔU in Verbindung mit den vorgegebenen Integra­tionszeiten T₁ und T₂ läßt sich eindeutig und exakt für jeden Bildpunkt die Laufzeit T₀ berechnen, auch wenn relativ hohe Dunkelstromanteile U_D vorliegen. Dabei gilt:
Subsequently, object1 is illuminated with the laser diode, whereupon initially only the dark currents are integrated with the extraneous light component in the individual pixels. If, due to the light propagation time T_0, additional light is scattered back from the object point G, the measurement signal rises more sharply from the time T_{0 in} accordance with the brightness of the respective pixel. After a certain integration time T_1, the voltage U₁ is then for all pixels are read and stored. The same process as is now repeated with the integration time T₂ already known from the first dark current measurement. T₁ is, for example, 30 ns and T₂ is, for example, 60 ns. At the points at which the measurement signal intersects the times T₁ and T₂ , which is equivalent to cutting off the received light pulse, the point U₁ or the point U₂ results. The relationship ΔU = U₂ -U₁ applies. The light propagation time T₀ is calculated using the formula shown inFIG. 5. If one extends a straight line through the points U₂ and U₁ , this straight line intersects downward the straight line representing the dark current between the origin of the coordinate system and the voltage U_D. The light propagation time T₀ can be read at the intersection. All values for U₁ and U₂ or ΔU are also read out and stored for all pixels. From the stored voltages U_D , U₁ , U₂ and ΔU for each pixel in conjunction with the predetermined integration times T₁ and T₂ , the transit time T₀ can be calculated clearly and exactly for each pixel, even if relatively high dark current components U_D available. The following applies:

T₀ = U₁.ΔT - ΔU.T₁/(U_D.ΔT/T₂ - ΔU).T₀ = U₁ .ΔT - ΔU.T₁ / (U_D .ΔT / T₂ - ΔU).

Dies eröffnet die Verwendung von geringeren Lichtleistungen bei gleichzeitig genauer Messung der Laufzeit und damit der Entfernung zum Objekt.This opens up the use of lower light outputswith precise measurement of the transit time and thus theDistance to the object.

Eine vorteilhafte Ausgestaltung sieht vor, daß zur Verringe­rung der aus Kostengründen meist kritischen Laserleistung ei­ne mehrfache Wiederholung des oben beschriebenen Vorgangs in hintereinander geschieht, wobei sich die ergebenden Werte für U₁, U_D, und ΔU erst am Ende der Mehrfachbelichtung von CMOS-Sensoren auslesen lassen und digitalisiert werden. Siehe hierzu dieFig. 6a und 6b. Eine analoge Mittelwertbildung für die Mehrfachbelichtung auf dem CMOS-Sensor vermeidet auch die relativ langen Auslesezeiten bei einer späteren digitalen Mittelung. Eine adaptive Einstellung auf die jeweilige Reflek­tivität des Objektes im Hinblick auf die Optimierung des Si­gnal-/Rauschverhältnisses der Meßwerte wird, dadurch erzielt, daß in wenigen Testbildern die Zahl der Belichtungen solange gesteigert wird, bis sich in einer gewissen Menge von Bild­punkten des Gesamtbildes eine Sättigung der Werte n(U₁+ΔU) einstellt; mit n = Anzahl der Mehrfachbelichtungen.An advantageous embodiment provides that in order to reduce the laser power, which is usually critical for reasons of cost, a repeated repetition of the above-described process occurs in succession, the resulting values for U₁ , U_D , and ΔU only appearing at the end of the multiple exposure of CMOS Have sensors read out and digitized. SeeFIGS. 6a and 6b. An analog averaging for multiple exposure on the CMOS sensor also avoids the relatively long readout times in a later digital averaging. An adaptive adjustment to the respective reflectivity of the object with regard to the optimization of the signal / noise ratio of the measured values is achieved in that the number of exposures is increased in a few test images until points in a certain amount of the image Overall image sets a saturation of the values n (U₁ + ΔU); with n = number of multiple exposures.

Durch die beschriebenen Schritte wird ermöglicht, daß eine exakte Berechnung von der Lichtlaufzeit T₀ bei vorliegendem Dunkelstrom und Umgebungslicht möglich ist, daß das Auslesen des Signales vom CMOS-Sensor erst nach der Mehrfachbelichtung geschieht, woraufhin sich die Digitalisierung anschließt und daß eine adaptive Einstellung der Mehrfachbelichtung entspre­chend der Objektreflektivität vorgenommen werden kann. Durch diese Maßnahmen kann eine bisher notwendige Laserleistung um den Faktor 10 bis 20 gesenkt werden bzw. die Genauigkeit er höht werden.The steps described enable an exact calculation of the light propagation time T₀ in the presence of dark current and ambient light, that the reading of the signal from the CMOS sensor only takes place after the multiple exposure, whereupon the digitization follows and that an adaptive setting of the Multiple exposure can be made according to the object reflectivity. Through these measures, a previously required laser power can be reduced by a factor of 10 to 20 or the accuracy can be increased.

Das in dem Bildsensor verwendete Sensorprinzip ist ein inte­grierendes Verfahren, beispielsweise auf der Basis einer n⁺-p -Photodiode. Diese Photodiode ist Bestandteil eines elektronischen Kurzzeitintegrators, der weiterhin einen Kon­densator und mehrere Transistoren aufweist. Die Verschaltung geschieht derart, daß sich beispielsweise die Kapazität des Kondensators in Abhängigkeit von dem auf die Photodiode ein fallenden Licht entlädt. Dies wird über einen sog. Shutter-Transistor gesteuert. Im Anschluß daran wird beispielsweise das in dem Kondensator verbleibende Potential ausgelesen. Um eine synchronisierte Beleuchtung zu gewährleisten wird die Zeitsteuerung des elektronischen Kurzzeitintegrators ein sog. Strobe-Signal zur Ansteuerung einer Lichtquelle erzeugen. Für jedes Bildpunktelement des Sensors4 wird ein derartiger elektronischer Kurzzeitintegrator (elektronischer Shutter) verwendet. Anstelle der am Ende einer Messung im Kondensator verbleibenden Potential kann auch das bereits abgeführte Po­tential als Meßwert herangezogen werden.The sensor principle used in the image sensor is an integrating process, for example based on an n⁺-p photodiode. This photodiode is part of an electronic short-term integrator, which also has a capacitor and several transistors. The circuitry is such that, for example, the capacitance of the capacitor discharges depending on the light falling on the photodiode. This is controlled by a so-called shutter transistor. The potential remaining in the capacitor is then read out, for example. In order to ensure synchronized lighting, the time control of the short-term electronic integrator will generate a so-called strobe signal for controlling a light source. Such an electronic short-time integrator (electronic shutter) is used for each pixel element of the sensor4 . Instead of the potential remaining in the capacitor at the end of a measurement, the potential already discharged can also be used as a measured value.

InFig. 6a sind mehrere hintereinander geschaltete sendesei­tige Laserimpulse dargestellt. InFig. 6b wird beispielhaft die Integrationszeit T₁ in Verbindung mit der jeweiligen Spannung U₁ und dem Dunkelstromanteil U_D dargestellt. Glei­ches kann für T₂, U₂ und U_D aufgetragen werden. Es ergibt sich für jede Belichtung bzw. Mehrfachbelichtung ein Wert für die Lichtlaufzeit T₀.InFig. 6a a plurality of series-connected send-side laser pulses are shown. InFig. 6b, the integration time T₁ in connection with the respective voltage U_1, and the dark current component U_D is exemplified. The same can be applied for T₂ , U₂ and U_D. A value for the light propagation time T₀ results for each exposure or multiple exposure.

In der Gegenüberstellung derFig. 7 und 8 ist zu erkennen, daß das Interpolationsverfahren entsprechendFig. 8 kürzere Beleuchtungszeiten aufweist. Die jeweils in der Mitte darge­stellten Shutter-Zeiten von beispielsweise 30 ns und 60 ns inFig. 8 und 60 ns in Verbindung mit einer sehr langen La­serimpulszeit inFig. 7 sollen die Integrationszeiten am Sensor festlegen. In derFig. 7 ist im oberen Teil das zeit­liche Verhältnis zwischen der sendeseitigen Beleuchtung und dem empfangsseitigen Eintreffen des Laserimpulses darge­stellt. Die in denFig. 5 bis 8 jeweils dargestellten Aus­führungsbeispiele weisen keine Triggerverzögerungszeit auf. Dies bedeutet, daß empfangsseitig mit dem Beginn des Senso­rimpulses das Meßfenster geöffnet wird. Dies bedeutet für die Darstellung inFig. 7, daß der Kurzzeit-Shutter (60 ns) den empfangenen Laserpuls, jeweils bezogen auf einen Objekt- bzw. Bildelementpunkt, bei der Zeit Δ_A abschneidet. Die Zeitdauer des Lichtimpulses ist sende- wie empfangsseitig Δ_L. Es wird deutlich, das auf Grund von verschiedenen Lichtlaufzeiten der elektronische Kurzzeitintegrator am Sensor jeweils ein Poten­tial als Meßwert liefern wird, daß in Abhängigkeit von der Laufzeit ab dem Zeitpunkt T₀ bis zum Ende von und Δ_A aufin­tegriert wird. Die Integrationszeit Δ_B wird im Falle derFig. 7 zum Ausgleich von Reflektivitätsunterschieden am Objekt1 verwendet. Dabei wird ein Dunkelstrom und Fremdlichtanteil ermittelt, der entsprechend vom Meßsignal abgezogen werden kann.In the comparison ofFIGS. 7 and 8 it can be seen that the interpolation method according toFIG. 8 has shorter illumination times. The shutter times shown in the middle of, for example, 30 ns and 60 ns inFIGS. 8 and 60 ns in conjunction with a very long laser pulse time inFIG. 7 are intended to determine the integration times on the sensor. InFig. 7 in the upper part, the temporal relationship between the transmission-side lighting and the reception-side arrival of the laser pulse is Darge. The exemplary embodiments shown in FIGS. 5 to 8 each have no trigger delay time. This means that the measurement window is opened on the receiving side with the start of the sensor pulse. For the representation inFIG. 7, this means that the short-term shutter (60 ns) cuts off the received laser pulse, in each case based on an object or picture element point, at the time Δ_A. The duration of the light pulse is Δ_{L on the} transmission and reception side. It is clear that due to different light propagation times the electronic short-term integrator on the sensor will each deliver a potential as a measured value that is dependent on the travel time from time T₀ to the end of and Δ_A is integrated. In the case ofFIG. 7, the integration time Δ_B is used to compensate for differences in reflectivity on object1 . A dark current and extraneous light component is determined, which can be deducted from the measurement signal.

DieFig. 8 zeigt eine derFig. 7 entsprechende Darstellung, wobei der obere Teil identisch dem derFig. 7 ist. In der Mitte derFig. 8 werden zwei Kurzzeit-Shutterzeiten darge­stellt. Diese werden in ähnlicher Weise wie inFig. 7 zum Abschneiden der am Sensor4 eintreffenden Laserimpulse ver­wendet. Somit ergeben sich eine kürzere Integrationszeit T und eine längere Integrationszeit T₂. Das Meßsignal weist in denFig. 7 und 8 einen Dunkelstrom und Fremdlichtanteil auf. Das Meßsignal ergibt sich somit aus der Addition des Photostromanteils zu dem Dunkelstrom und Fremdlichtanteil. Anders ausgedrückt kann der Photostromanteil ermittelt wer­den, indem vom Meßsignal der Dunkelstrom und Fremdlichtanteil angezogen wird. Die Lichtlaufzeit T₀ ergibt sich an der Stel­le auf der Zeitachse an der das Meßsignal bei einem eingehen­den reflektierten Lichtimpuls von dem normalen Verlauf des Dunkelstrom- und Fremdlichtanteils abweist, weil der Photo­stromanteil nicht mehr Null ist. Die Auswertung, die die Lichtlaufzeit T₀ ergibt, ist in Zusammenhang mitFig. 5 be­schrieben worden.FIG. 8 shows a representation corresponding toFIG. 7, the upper part being identical to that ofFIG. 7. In the middle ofFIG. 8, two short-term shutter times are shown. These are used in a manner similar toFIG. 7 for cutting off the laser pulses arriving at the sensor4 . This results in a shorter integration time T and a longer integration time T₂ . The measurement signal has inFigs. 7 and 8, a dark current and ambient light component. The measurement signal thus results from the addition of the photocurrent component to the dark current and extraneous light component. In other words, the photocurrent component can be determined by attracting the dark current and extraneous light component from the measurement signal. The light propagation time T₀ results at the position on the time axis at which the measurement signal rejects the reflected light pulse from the normal course of the dark current and extraneous light component because the photo current component is no longer zero. The evaluation, which gives the light propagation time T₀ , has been described in connection withFIG. 5.

Claims (26)

Translated fromGerman

1. Verfahren zur Aufnahme eines dreidimensionalen Abstands­bildes von räumlichen Objekten unter Einsatz eines bild­punktauflösenden optoelektronischen Sensors (4) mit an jedem Bildpunktelement (9) vorhandenen elektronischen Kurzzeitinte­grator, wobei eine Integrationszeit einstellbar ist, beste­hend aus folgenden Schritten:

• - das Objekt (1) wird mit mindestens einem Lichtimpuls (2) vorgegebener Zeitdauer Δ_L beleuchtet,
• - von Objektpunkten (G) zurückgestreute Lichtimpulse (3) werden an zugehörigen Bildpunkten des Sensors (4) innerhalb einer vorgegebenen kurzen Integrationszeit Δ_A, mit Δ_A≦Δ_L, erfaßt, wobei der Zeitpunkt für den Beginn der Integrations­zeit Δ_A vor dem Eintreffen des ersten zurückgestreuten Lich­timpulses (3) liegt, der dem nächstliegenden Objektpunkt (G) entspricht,
• - aus den entsprechend ihrer unterschiedlichen Laufzeiten resultierenden unterschiedlichen aufgenommenen Intensitäten der zurückgestreuten Lichtimpulse (3) werden Abstandswerte ermittelt.

1. Method for recording a three-dimensional distance image of spatial objects using an image-resolving optoelectronic sensor (4 ) with electronic short-term integrator present on each pixel element (9 ), an integration time being adjustable, consisting of the following steps:

• - the object (1 ) is illuminated with at least one light pulse (2 ) of predetermined time period Δ_L ,
• - From object points (G) backscattered light pulses (3 ) are detected at associated pixels of the sensor (4 ) within a predetermined short integration time Δ_A , with Δ_A ≦ Δ_L , the time for the start of the integration time Δ_A before Arrival of the first backscattered light timing pulse (3 ) which corresponds to the closest object point (G),
• - Distance values are determined from the different recorded intensities of the backscattered light pulses (3 ) resulting from their different running times.

2. Verfahren zur Aufnahme eines dreidimensionalen Abstands­bildes von räumlichen Objekten unter Einsatz eines bild­punktauflösenden optoelektronischen Sensors (4) mit an jedem Bildpunktelement (9) vorhandenem elektronischen Kurzzeitinte­grator, wobei eine Integrationszeit einstellbar ist, beste­hend aus folgenden Schritten:

• - Aufnahme und Integration des einen Dunkelstrom und Umge­bungslicht darstellenden Sensorsignales von dem Beginn der Aufnahme und Integration bis zu einer vorgegebenen Integrati­onszeit T₂,
• - Beginn der Belichtung eines Objektes (1) durch eine Be­leuchtungseinrichtung (5) zeitgleich mit dem Beginn der Auf­nahme und der Integration des Sensorsignales am Sensor (4), wobei innerhalb eines Lichtintensitätsanstieges des am Sensor (4) empfangenen Lichtes bis zu einer Integrationszeit T₁ in­tegriert wird und T₁ kleiner ist als T₂,
• - wiederholte Belichtung des Objektes (1) durch die Beleuch­tungseinrichtung (5) mit zeitgleichem Beginn der Aufnahme und der Integration des Sensorsignales am Sensor (4), wobei in­nerhalb des Lichtintensitätsanstieges des am Sensor (4) emp­fangenen Lichtes bis zu der Integrationszeit T₂ integriert wird,
• - zu den Zeitpunkten T₁ und T₂ wird für alle Bildpunkte der jeweils integrierte Wert des Sensorsignales ausgelesen und gespeichert und
• - aus den gespeicherten Werten werden für jeden Bildpunkt die Laufzeit T₀ des Lichtes von der Beleuchtungseinrichtung (5) über das Objekt (1) bis zum Sensor (4), sowie ein ent­sprechender Abstandswert, berechnet.

2. Method for recording a three-dimensional distance image of spatial objects using an image-resolving optoelectronic sensor (4 ) with an electronic short-term integrator present on each pixel element (9 ), an integration time being adjustable, consisting of the following steps:

• Recording and integration of the sensor signal representing a dark current and ambient light from the beginning of the recording and integration up to a predetermined integration time T₂ ,
• - Start of exposure of an object (1 ) by a lighting device (5 ) at the same time as the start of the uptake and the integration of the sensor signal on the sensor (4 ), being within a light intensity increase of the light received on the sensor (4 ) up to an integration time T₁ is integrated and T_{1 is} less than T₂ ,
• - Repeated exposure of the object (1 ) through the lighting device (5 ) with simultaneous start of the recording and the integration of the sensor signal on the sensor (4 ), being within the light intensity increase of the light received on the sensor (4 ) up to the integration time T_{2 is} integrated,
• - At times T₁ and T₂ , the respective integrated value of the sensor signal is read out and stored for all pixels
• - From the stored values, the transit time T_{0 of} the light from the lighting device (5 ) via the object (1 ) to the sensor (4 ) and a corresponding distance value are calculated for each pixel.

3. Verfahren nach Anspruch 2, worin die einzelnen Verfahrens­schritte zur Gewinnung eines Sensorsignales jeweils mehrfach wiederholt werden, und die daraus resultierenden Signale für jeden einzelnen Bildpunkt integriert werden und sich erst in Anschluß an die Mehrfachbelichtung das Auslesen, Abspeichern und Auswerten der Sensorsignale anschließt.3. The method of claim 2, wherein the individual methodsteps for obtaining a sensor signal several timesare repeated, and the resulting signals forevery single pixel can be integrated andConnection to multiple exposure, reading out, savingand evaluating the sensor signals.4. Verfahren nach Anspruch 2 oder 3, worin abgespeicherte Werte digitalisiert werden.4. The method according to claim 2 or 3, wherein storedValues are digitized.5. Verfahren nach einem der Ansprüche 3 oder 4, worin eine adaptive Einstellung auf die jeweilige Reflektivität eines Objektes (1), dadurch geschieht, daß die Zahl der Mehrfachbe­lichtungen solange gesteigert wird, bis in einer vorgegebenen Menge von Bildpunkten des Gesamtbildes sich eine Sättigung der integrierten Intensitätswerte des Sensorsignales bei T₁ und bei T₂ einstellt.5. The method according to any one of claims 3 or 4, wherein an adaptive adjustment to the respective reflectivity of an object (1 ), is done in that the number of Mehrfachbe exposures is increased until there is a saturation in a predetermined amount of pixels of the overall image the integrated intensity values of the sensor signal at T₁ and at T₂ .6. Verfahren nach Anspruch 1 oder 2, worin die Integrations­zeit bildpunktweise einstellbar ist.6. The method of claim 1 or 2, wherein the integrationtime can be adjusted pixel by pixel. 7. Verfahren nach einem der Ansprüche 1 oder 6, worin zur gleichzeitigen oder nachfolgenden Normierung der Oberflächen­reflexion des Objektes (1) zusätzlich sämtliche zurückge­streuten Lichtimpulse (3) mit einer langen Integrationszeit Δ_B»Δ_L vollständig erfaßt werden.7. The method according to any one of claims 1 or 6, wherein for the simultaneous or subsequent normalization of the surface reflection of the object (1 ) additionally all scattered light pulses (3 ) with a long integration time Δ_B »Δ_{L are} completely detected.8. Verfahren nach einem der Ansprüche 1 oder 6-7, worin der Beginn einer Integrationszeit Δ_A;Δ_B mit einer Triggerimpuls­verzögerung gegenüber dem Sendeimpuls verbunden ist.8. The method according to any one of claims 1 or 6-7, wherein the start of an integration time Δ_A ; Δ_{B is associated} with a trigger pulse delay compared to the transmission pulse.9. Verfahren nach einem der Ansprüche 1 oder 6-8, worin eine Integrationszeit Δ_A weniger als 100 ns beträgt.9. The method according to any one of claims 1 or 6-8, wherein an integration time Δ_{A is} less than 100 ns.10. Verfahren nach einem der Ansprüche 1 oder 6-9, worin eine Integrationszeit Δ_B ca. 1µs beträgt.10. The method according to any one of claims 1 or 6-9, wherein an integration time Δ_{B is} approximately 1µs.11. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Lichtimpulslänge weniger, als 100 ns beträgt.11. The method according to any one of the preceding claims, whereina light pulse length is less than 100 ns.12. Verfahren nach einem der vorhergehenden Ansprüche, worin zur gleichzeitigen Aufnahme eines dreidimensionalen Bildes und eines Grauwertbildes auf dem Sensor (4) zeilenweise un­terschiedliche Integrationszeiten Δ_A bzw. Δ_B oder T₁ bzw. T₂ eingestellt werden.12. The method according to any one of the preceding claims, wherein for the simultaneous recording of a three-dimensional image and a gray value image on the sensor (4 ) line by line un different integration times Δ_A or Δ_B or T₁ or T_{2 are} set.13. Verfahren nach einem der vorhergehenden Ansprüche, worin zur gleichzeitigen Aufnahme eines dreidimensionalen und eines Grauwertbildes auf dem Sensor (4) bildpunktweise unterschied­liche Integrationszeiten Δ_A bzw. Δ_B oder T₁ bzw. T₂ abwechselnd eingestellt werden.13. The method according to any one of the preceding claims, wherein for the simultaneous recording of a three-dimensional and a gray-scale image on the sensor (4 ) different integration times Δ_A or Δ_B or T₁ or T₂ are set alternately.14. Verfahren nach einem der vorhergehenden Ansprüche, worin das Objekt (1) mit Lichtimpulsen eines Lasers oder einer ge­pulsten Leuchtdiode beleuchtet wird.14. The method according to any one of the preceding claims, wherein the object (1 ) is illuminated with light pulses from a laser or a ge pulsed light-emitting diode.15. Verfahren nach einem der vorhergehenden Ansprüche, worin der Sensor (4) wahlfrei auslesbar ist.15. The method according to any one of the preceding claims, wherein the sensor (4 ) can be read out optionally.16. Verfahren nach einem der vorhergehenden Ansprüche, worin der Sensor (4) ein CMOS Sensor ist.16. The method according to any one of the preceding claims, wherein the sensor (4 ) is a CMOS sensor.17. Verfahren nach einem der vorhergehenden Ansprüche, worin die Entfernung vom Sensor (4) zu mindestens einem Punkt als Referenzabstand bekannt ist.17. The method according to any one of the preceding claims, wherein the distance from the sensor (4 ) to at least one point is known as a reference distance.18. Verfahren nach Anspruch 17, worin beim Einsatz in einem Fahrzeug ein Referenzpunkt am Türrahmen positioniert ist.18. The method of claim 17, wherein when used in aVehicle a reference point is positioned on the door frame.19. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Erkennung von statischen Objekten und/oder von Bewe­gungsabläufen vorgenommen wird.19. The method according to any one of the preceding claims, whereindetection of static objects and / or movementis carried out.20. Verfahren nach Anspruch 19, worin Objekte überwacht wer­den, wie Gegenstände oder Personen in Räumen oder in Fahrzeu­ge.20. The method of claim 19, wherein objects are monitoredthe, such as objects or people in rooms or in vehiclesge.21. Verfahren nach Anspruch 19, worin Fahrzeuge oder Kranan­lagen überwacht werden und/oder worin eine allgemeine Positi­onsbestimmung in einem Navigationssystem vorgenommen wird.21. The method of claim 19, wherein vehicles or cranewere monitored and / or what a general positiondetermination is made in a navigation system.22. Verfahren nach Anspruch 19 oder 20, worin eine Sitzbele­gung und/oder eine Sitzposition beispielsweise einer Person in einem Fahrzeug erkannt wird.22. The method of claim 19 or 20, wherein a Sitzbelegung and / or a seating position for example of a personis recognized in a vehicle.23. Vorrichtung zur Aufnahme eines dreidimensionalen Abstand­bildes, bestehend aus:

• - einer Beleuchtungseinrichtung (5), die Lichtimpulse (2) über eine Optik (6) auf ein Objekt (1) sendet,
• - einem optoelektronischen Sensor (4) mit einer vorgeschal­teten Optik (7), der die vom Objekt (1) zurückgestreuten Lichtimpulse (3) detektiert, wobei der Sensor (4) durch eine Vielzahl von Bilpunktelementen (9) bildpunktauflösend aufge­ baut und wahlfrei auslesbar ist und eine Integrationszeit bildpunktweise einstellbar ist,
• - einer Triggereinrichtung (8) zur zeitlichen Abstimmung zwischen Beleuchtungseinrichtung (5) und Sensor (4),
• - einer Recheneinheit zur Berechnung eines dreidimensionalen Bildes aus entsprechenden Ladungen der Bildpunktelemente (9) des Sensors (4).

23. Device for recording a three-dimensional distance image, consisting of:

• - an illuminating device (5 ) which transmits light pulses (2 ) to an object (1 ) via optics (6 ),
• - An optoelectronic sensor (4 ) with an optical circuit (7 ) which detects the light pulses (3 ) scattered back from the object (1 ), the sensor (4 ) being built up by a plurality of bil-point elements (9 ) with pixel resolution and being readable at will and an integration time can be set pixel by pixel,
• - a trigger device (8 ) for timing between the lighting device (5 ) and sensor (4 ),
• - A computing unit for calculating a three-dimensional image from corresponding charges of the pixel elements (9 ) of the sensor (4 ).

24. Vorrichtung nach Anspruch 23, worin an den Bildpunktele­menten (9) des Sensors (4) zeilen- oder spaltenweise abwech­selnd eine kurze Integrationszeit Δ_A bzw. T₁ und eine lange Integrationszeit Δ_B bzw. T₂ eingestellt ist.24. The device according to claim 23, wherein on the pixel elements (9 ) of the sensor (4 ) alternating rows or columns alternately a short integration time Δ_A or T₁ and a long integration time Δ_B or T_{2 is} set.25. Vorrichtung nach Anspruch 23, worin an den Bildpunktele­menten (9) des Sensors (4) abwechselnd kurze und lange Inte­grationszeiten Δ_A bzw. Δ_B oder T₁ bzw. T₂ eingestellt sind.25. The apparatus of claim 23, wherein on the pixel elements (9 ) of the sensor (4 ) alternating short and long integration times Δ_A or Δ_B or T₁ or T_{2 are} set.26. Vorrichtung nach einem der Ansprüche 23-25, worin die Re­cheneinheit auf dem Sensor (4) angeordnet ist.26. The device according to any one of claims 23-25, wherein the Re cheneinheit is arranged on the sensor (4 ).