DE102016202526A1 - Method and device for detecting a control gesture of a user, in particular in a motor vehicle - Google Patents
Method and device for detecting a control gesture of a user, in particular in a motor vehicleDownload PDFInfo
- Publication number
- DE102016202526A1 DE102016202526A1DE102016202526.0ADE102016202526ADE102016202526A1DE 102016202526 A1DE102016202526 A1DE 102016202526A1DE 102016202526 ADE102016202526 ADE 102016202526ADE 102016202526 A1DE102016202526 A1DE 102016202526A1
- Authority
- DE
- Germany
- Prior art keywords
- gesture
- movement
- saturation region
- executing object
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Translated fromGermanDescription
Translated fromGermanTechnisches GebietTechnical area
Die Erfindung betrifft Vorrichtungen zur Erkennung von Bediengesten eines Fahrers eines Kraftfahrzeugs zur Auswahl, Aktivierung oder Deaktivierung von Funktionen. Insbesondere betrifft die vorliegende Erfindung eine Nutzung einer 3D-Bildinformation einer Lichtlaufzeitkamera (TOF-Kamera) für eine Gestenerkennung.The invention relates to devices for detecting operating gestures of a driver of a motor vehicle for selecting, activating or deactivating functions. In particular, the present invention relates to use of 3D image information of a time of flight (TOF) camera for gesture recognition.
Technischer HintergrundTechnical background
Für eine Erkennung von Gesten, d.h. einer Bewegung oder Haltung von Körperteilen eines Nutzers in einem Kraftfahrzeug wird üblicherweise eine 3D-Kamera verwendet, die in einem Bereich einer Decke des Fahrzeuginnenraums angeordnet ist. Die 3D-Kamera kann beispielsweise als Lichtlaufzeitkamera (TOF-Kamera) ausgebildet sein, die eine Laufzeitinformation aus einer Phasenverschiebung einer emittierten und empfangenen Strahlung für jeden Bildpunkt gewinnen und daraus eine Entfernungsinformation ableiten kann. Als TOF-Kameras (TOF: Time of Flight) können insbesondere PMD-Kameras mit Photomischdetektoren vorgesehen werden, die u.a. in der Druckschrift
Durch die Erkennung der Entfernungsinformation für jeden Bildpunkt mithilfe einer TOF-Kamera kann ein sich im Erfassungsbereich der TOF-Kamera befindliches gestenausführendes Objekt, d.h. ein Körperteil oder ein sonstiger Gegenstand, dreidimensional erfasst werden. Eine Bediengeste, die einer Anordnung von mehreren gestenausführenden Objekten im Erfassungsbereich oder einer Bewegung eines gestenausführenden Objekts entlang einer bestimmten Bewegungstrajektorie entspricht, kann durch eine entsprechende Mustererkennung erkannt werden und eine entsprechende Funktion ausgewählt, aktiviert oder deaktiviert werden.By recognizing the distance information for each pixel by means of a TOF camera, a gesture-executing object located within the detection range of the TOF camera, i. a body part or other object, are detected three-dimensionally. An operator gesture corresponding to an array of multiple gesture-executing objects in the detection area or a movement of a gesture-executing object along a particular motion trajectory may be detected by a corresponding pattern recognition and a corresponding function selected, activated or deactivated.
Der Erfassungsbereich der TOF-Kamera wird in Tiefenrichtung durch eine maximale Entfernung und eine minimale Entfernung begrenzt. Die maximale Entfernung entspricht einer Entfernung eines Objekts, bei der die Stärke des reflektierten Lichtstrahls nicht mehr ausreicht, um eine Laufzeitmessung vorzunehmen. Eine minimale Entfernung wird dadurch bestimmt, dass die Stärke des reflektierten Lichts eine Sättigung in Bildpunktsensoren der TOF-Kamera bewirkt, so dass für die betreffenden Bildpunkte eine Entfernungsinformation nicht erhalten werden kann.The detection range of the TOF camera is limited in the depth direction by a maximum distance and a minimum distance. The maximum distance corresponds to a distance of an object at which the intensity of the reflected light beam is no longer sufficient to make a transit time measurement. A minimum distance is determined by the intensity of the reflected light causing saturation in pixel sensors of the TOF camera, so that distance information can not be obtained for the respective pixels.
Es ist Aufgabe der vorliegenden Erfindung, eine Gestenerkennung, die mit Hilfe einer Lichtlaufzeitkamera ausgeführt wird, zu verbessern.It is an object of the present invention to improve gesture recognition performed by means of a time of flight camera.
Offenbarung der ErfindungDisclosure of the invention
Diese Aufgabe wird durch das Verfahren zum Durchführen einer Gestenerkennung mit Hilfe einer Lichtlaufzeitkamera gemäß Anspruch 1 sowie durch die Vorrichtung und das Gestenerkennungssystem gemäß den nebengeordneten Ansprüchen gelöst.This object is achieved by the method for performing a gesture recognition with the aid of a light runtime camera according to claim 1 and by the device and the gesture recognition system according to the independent claims.
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.Further embodiments are specified in the dependent claims.
Gemäß einem ersten Aspekt ist ein Verfahren zum Durchführen einer Gestenerkennung, insbesondere in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:
- – Erfassen eines Vorhandenseins und/oder einer Bewegung mindestens einen gestenausführenden Objektes in einem Sättigungsbereich eines 3D-Kamerasystems, das ausgebildet ist, um in einem Erfassungsbereich eine dreidimensionale Bildinformation des mindestens einen gestenausführenden Objektes bereitzustellen, wobei der Sättigungsbereich des 3D-Kamerasystems einen kameranahen Bereich darstellt, in dem lediglich eine zweidimensionale Bildinformation des gestenausführenden Objektes erhaltbar ist,
- – Erkennen einer Bediengeste abhängig von der zweidimensionalen Bildinformation des mindestens einen gestenausführenden Objektes.
- Detecting presence and / or movement of at least one gesture-executing object in a saturation region of a 3D camera system configured to provide three-dimensional image information of the at least one gesture-executing object in a detection region, wherein the saturation region of the 3D camera system represents a camera-proximate region in which only two-dimensional image information of the gesture-executing object is obtainable,
- Recognition of an operating gesture as a function of the two-dimensional image information of the at least one gesture-executing object.
Bediengesten können durch eine vorbestimmte Bewegung mindestens eines gestenausführenden Objekts und/oder eine vorbestimmte Anordnung von gestenausführenden Objekten durch einen Nutzer ausgeführt werden. Das mindestens eine gestenausführende Objekt kann dabei einem oder mehreren Körperteilen des Nutzers, wie z.B. einer Hand, einem Arm, Fingern und dergleichen, und/oder einem oder mehreren insbesondere vom Nutzer gehaltenen Gegenständen, wie z.B. einem Eingabestift oder dergleichen, entsprechen.Operator gestures may be performed by a user by a predetermined movement of at least one gesture-executing object and / or a predetermined arrangement of gesture-executing objects. The at least one gesture-executing object may thereby correspond to one or more body parts of the user, such as e.g. a hand, an arm, fingers and the like, and / or one or more objects held particularly by the user, e.g. a stylus or the like.
Wie eingangs beschrieben, weisen herkömmliche für die Gesteneingabe verwendete 3D-Kamerasysteme einen begrenzten Erfassungsbereich auf, in dem darin befindliche Objekte mit Hilfe von geeigneten Bildpunktsensoren dreidimensional erkannt werden können. Zwischen dem 3D-Kamerasystem und dem Erfassungsbereich, d.h. in der direkten Nähe des 3D-Kamerasystems, kann sich jedoch ein Sättigungsbereich befinden, in dem man keine Entfernungsinformation für die einzelnen Bildpunkte erhalten kann. Ein Grund hierfür liegt darin, dass die Bildpunktsensoren durch die hohe Lichtstärke der reflektierten Lichtstrahlen in eine Sättigung gelangen. Befinden sich Bildpunktsensoren in einer Sättigung kann man keine Phaseninformation für den betreffenden Bildpunkt erhalten, die für die Lichtlaufzeitmessung und damit für die Entfernungsmessung benötigt wird.As described above, conventional 3D camera systems used for the gesture input have a limited detection range in which objects located therein can be detected three-dimensionally with the aid of suitable pixel sensors. Between the 3D camera system and the detection area, i. in the immediate vicinity of the 3D camera system, however, there may be a saturation region in which one can not obtain distance information for the individual pixels. One reason for this is that the pixel sensors reach saturation due to the high light intensity of the reflected light beams. If pixel sensors are in saturation one can not obtain any phase information for the relevant pixel which is needed for the time of flight measurement and thus for the distance measurement.
3D-Kamerasysteme zur Gestenerkennung werden häufig an einer Decke des Fahrzeuginnenraums angeordnet. Die Weite des Bildaufnahmebereichs des 3D-Kamerasystems wird durch die Kameraoptik bestimmt. Ein Nutzer, z.B. ein Fahrer des Kraftfahrzeugs, kann beispielsweise eine Bediengeste in dem Bildaufnahmebereich des 3D-Kamerasystems ausführen. Das 3D-Kamerasystem wird in der Regel so eingestellt, dass sich der Erfassungsbereich in einem Raumbereich innerhalb des Bildaufnahmebereichs befindet, in dem der Nutzer eine Bediengeste im Normalfall ausführen wird. Angrenzend an den Erfassungsbereich schließt sich in Richtung des 3D-Kamerasystems der Sättigungsbereich an. Die Bildpunktsensoren des 3D-Kamerasystems sind ausgebildet, um im Falle einer Sättigung den entsprechenden Zustand anzuzeigen bzw. in Form eines Sättigungssignals zu signalisieren. Daraus lässt sich zwar keine Entfernungsinformation des betreffenden Bildpunkts mehr ableiten, jedoch steht durch die Anordnung der Bildpunkte, an denen die zugeordneten Bildpunktsensoren eine Sättigung signalisieren, eine zweidimensionale Bildinformation zur Verfügung, da die übrigen Bildpunktsensoren eine Phasen-/Entfernungsinformation und somit kein Sättigungssignal liefern. 3D camera systems for gesture recognition are often arranged on a ceiling of the vehicle interior. The width of the image pick-up area of the 3D camera system is determined by the camera optics. A user, for example, a driver of the motor vehicle, for example, perform an operating gesture in the image pick-up area of the 3D camera system. The 3D camera system is usually set so that the detection area is located in a space area within the image pick-up area where the user will normally perform an operation gesture. Adjacent to the detection area, the saturation area is connected in the direction of the 3D camera system. The pixel sensors of the 3D camera system are designed to display the corresponding state in the case of saturation or to signal it in the form of a saturation signal. Although it is no longer possible to derive any distance information of the pixel in question, two-dimensional image information is available through the arrangement of the pixels at which the associated pixel sensors signal saturation since the remaining pixel sensors provide phase / distance information and thus no saturation signal.
Bediengesten werden als solche erkannt, indem eine Bewegung des mindestens einen gestenausführenden Objekts in dem Erfassungsbereich einem vorgegebenen Referenzbewegungsmuster des Objekts entspricht oder eine Anordnung von mindestens zwei der gestenausführenden Objekte in dem Erfassungsbereich einem vorgegebenen Referenzanordnungsmuster entspricht. Bei einer erkannten Bediengeste wird eine dem vorgegebenen Referenzbewegungsmuster oder eine dem vorgegebenen Referenzanordnungsmuster zugeordnete Funktion ausgewählt, aktiviert oder deaktiviert.Operating gestures are recognized as such in that a movement of the at least one gesture-executing object in the detection area corresponds to a predetermined reference movement pattern of the object or an arrangement of at least two of the gesture-executing objects in the detection area corresponds to a predetermined reference arrangement pattern. In a recognized operating gesture, a function assigned to the given reference movement pattern or a function assigned to the predetermined reference arrangement pattern is selected, activated or deactivated.
Befindet sich das mindestens eine gestenausführende Objekt, z.B. die Hand des Benutzers, in dem Sättigungsbereich oder bewegt sich das mindestens eine gestenausführende Objekt während der Ausführung einer Bediengeste in dem Sättigungsbereich, so brechen herkömmliche Verfahren die Gestenerkennung ab und es wird eine ausgeführte Geste nicht als Geste erkannt. Aufgrund der fehlenden 3D-Bildinformation können nämlich das der Bediengeste entsprechende Referenzbewegungsmuster des Objekts oder das Referenzanordnungsmuster von mindestens zwei der Objekte nicht mehr detektiert werden.If the at least one gesture-executing object, e.g. the user's hand, in the saturation region, or the at least one gesture-executing object is in the saturation region during the execution of an operation gesture, conventional methods break the gesture recognition and a running gesture is not recognized as a gesture. In fact, due to the lack of 3D image information, the reference movement pattern of the object corresponding to the operation gesture or the reference arrangement pattern of at least two of the objects can no longer be detected.
Eine Idee des obigen Verfahrens besteht darin, die zweidimensionale Bildinformation des Objektes im Sättigungsbereich für die Gestenerkennung zu nutzen. Dadurch kann die Erkennungswahrscheinlichkeit einer Bediengeste, die ganz oder teilweise in dem Sättigungsbereich ausgeführt wird, erhöht werden.An idea of the above method is to use the two-dimensional image information of the object in the saturation region for gesture recognition. As a result, the recognition probability of an operating gesture that is carried out wholly or partly in the saturation region can be increased.
Dies betrifft zum einen Anordnungsgesten als Bedienungsgesten, bei denen mindestens zwei der gestenausführenden Objekte eine bestimmte Anordnung zueinander aufweisen sollen, wie z.B. ein ausgestreckter Zeigefinger an einer ansonsten zur Faust geballten Hand, die zu einer charakteristischen Abbildung eines zweidimensionalen Projektionsbildes für die 3D-Kamera führt. Dadurch kann eine solche Anordnungsgeste auch dann als Bediengeste erkannt werden, wenn diese in dem Sättigungsbereich ausgeführt wird.This relates, on the one hand, to arrangement gestures as operating gestures in which at least two of the gesture-executing objects are to have a specific arrangement with respect to one another, such as e.g. an outstretched index finger on an otherwise clenched hand, which leads to a characteristic image of a two-dimensional projection image for the 3D camera. As a result, such an arrangement gesture can also be recognized as an operating gesture when it is executed in the saturation region.
Zum anderen kann eine Bediengeste erkannt werden, bei der eine Bewegung bzw. Bewegungstrajektorie des mindestens einen gestenausführenden Objekts zumindest teilweise in dem Sättigungsbereich verläuft. Dies kann für bestimmte Bewegungsgesten möglich sein, wenn die Bewegung durch den Sättigungsbereich in einer Bildebene, die quer zur Kameraachse verläuft, einer Bewegungstrajektorie bzw. einem Teil einer Bewegungstrajektorie des gestenausführenden Objekts entspricht, die einem Referenzbewegungsmuster für eine Bediengeste zugeordnet werden kann. Auf diese Weise können auch Bewegungsgesten als Bediengesten erkannt werden, die sich bei herkömmlichen Gestenerkennungssystemen außerhalb des Erfassungsbereichs befinden, wenn ein Teil der Gestenbewegung durch den Sättigungsbereich verläuft. Dies ermöglicht es, auch Bediengesten zu erkennen, bei denen der Nutzer mit dem mindestens einen gestenausführenden Objekt versehentlich den Erfassungsbereich verlässt. Auf diese Weise kann die Detektionszuverlässigkeit für Bedienungsgesten verbessert werden, die Bewegungsgesten darstellen.On the other hand, an operating gesture can be recognized in which a movement or movement trajectory of the at least one gesture-executing object runs at least partially in the saturation region. This may be possible for certain motion gestures if the movement through the saturation region in an image plane that is transverse to the camera axis corresponds to a motion trajectory or part of a motion trajectory of the gesture-executing object that can be assigned to a reference motion pattern for an operator gesture. In this way, motion gestures can also be recognized as operator gestures that are out of the detection range in conventional gesture recognition systems when part of the gesture movement passes through the saturation region. This also makes it possible to detect operating gestures in which the user with the at least one gesture-executing object inadvertently leaves the detection area. In this way, the detection reliability for operation gestures representing motion gestures can be improved.
Weiterhin kann das mindestens eine gestenausführende Objekt einem oder mehreren Körperteilen, insbesondere einem Arm, einer Hand und/oder einem Finger und/oder einem oder mehreren insbesondere gehaltenen Gegenständen, insbesondere einem Eingabestift, entsprechen.Furthermore, the at least one gesture-executing object can correspond to one or more body parts, in particular an arm, a hand and / or a finger and / or one or more objects held in particular, in particular a stylus.
Es kann vorgesehen sein, dass als Bediengeste eine Anordnungsgeste, bei der eine Anordnung von mehreren gestenausführenden Objekten vorliegt, im Sättigungsbereich erkannt wird, wenn die erhaltene zweidimensionale Bildinformation einem vorgegebenen Referenzanordnungsmuster entspricht.It can be provided that an arrangement gesture in which there is an arrangement of a plurality of gesture-executing objects is detected in the saturation region as an operating gesture when the two-dimensional image information obtained corresponds to a predetermined reference arrangement pattern.
Gemäß einer Ausführungsform kann als Bediengeste eine Bewegungsgeste, bei der eine Bewegung von mindestens einem gestenausführenden Objekt vorliegt, die mit einem Abschnitt einer Bewegungstrajektorie der Bewegung in dem Sättigungsbereich verläuft, erkannt werden, wenn ein Abschnitt der Bewegungstrajektorie in dem Erfassungsbereich einem entsprechenden Abschnitt eines vorgegebenen Referenzbewegungsmusters entspricht und ein Abschnitt der Bewegungstrajektorie in dem Sättigungsbereich einer 2D-Projektion eines entsprechenden Abschnitts der Bewegungstrajektorie des vorgegebenen Referenzbewegungsmusters entspricht.According to an embodiment, as an operating gesture, a movement gesture in which there is a movement of at least one gesture-executing object that runs with a portion of a movement trajectory of the movement in the saturation area can be recognized when a portion of the Movement trajectory in the detection area corresponding to a corresponding portion of a predetermined reference movement pattern and a portion of the movement trajectory in the saturation region of a 2D projection of a corresponding portion of the movement trajectory of the predetermined reference movement pattern.
Insbesondere kann die Bewegungsgeste als die Bediengeste erkannt werden, nur wenn die Länge des Abschnitts der Bewegungstrajektorie des vorgegebenen Referenzbewegungsmusters in dem Erfassungsbereich bezüglich der gesamten Länge der Bewegungstrajektorie des vorgegebenen Referenzbewegungsmusters einem vorgegebenen Minimalanteil entspricht.In particular, the movement gesture can be recognized as the operating gesture only if the length of the section of the movement trajectory of the predetermined reference movement pattern in the detection area with respect to the entire length of the movement trajectory of the predetermined reference movement pattern corresponds to a predetermined minimum proportion.
Gemäß einem weiteren Aspekt ist eine Vorrichtung zum Durchführen einer Gestenerkennung, insbesondere in einem Kraftfahrzeug, vorgesehen, umfassend:
- – ein 3D-Kamerasystem, das ausgebildet ist, um in einem Erfassungsbereich eine dreidimensionale Bildinformation mindestens eines gestenausführenden Objektes bereitzustellen, und in einem Sättigungsbereich, der einen kameranahen Bereich darstellt, lediglich eine zweidimensionale Bildinformation des gestenausführenden Objektes bereitzustellen, und
- – eine Gestenerkennungseinheit, die ausgebildet ist, um ein Vorhandensein und/oder eine Bewegung mindestens eines gestenausführenden Objektes in dem Sättigungsbereich (BS) zu erfassen und eine Bediengeste abhängig von der zweidimensionalen Bildinformation des mindestens einen gestenausführenden Objektes zu erkennen.
- A 3D camera system configured to provide three-dimensional image information of at least one gesture-executing object in a detection area and to provide only two-dimensional image information of the gesture-executing object in a saturation area representing a camera-near area;
- A gesture recognition unit which is designed to detect the presence and / or movement of at least one gesture-executing object in the saturation region (BS) and to recognize an operator gesture as a function of the two-dimensional image information of the at least one gesture-executing object.
Kurzbeschreibung der ZeichnungenBrief description of the drawings
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:Embodiments are explained below with reference to the accompanying drawings. Show it:
Beschreibung von AusführungsformenDescription of embodiments
In
Das Messprinzip der Lichtlaufzeitkamera basiert darauf, dass ausgehend von einer Phasenverschiebung des von der Leuchtquelle
Ein im Bildaufzeichnungsbereich befindliches Objekt
Bei Lichtlaufzeitkameras ist eine 3D-Erfassung eines im Bildaufnahmebereich befindlichen Objekts nur in einem Bereich zwischen einem minimalen Abstand, angezeigt durch die gestrichelte Linie A, und einem maximalen Abstand, angezeigt durch die gestrichelte Linie B, von der 3D-Kameraeinheit
Insbesondere werden durch die hohe Stärke des reflektieren Lichts die einzelnen Bildpunktsensoren des Lichtlaufzeitsensors übersteuert und liefern ein entsprechendes Sättigungssignal, das damit angibt, dass eine Entfernungsmessung für diesen Bildpunkt nicht möglich ist. Durch die Auswertung der Bildpunkte, die das entsprechende Sättigungssignal bereitstellen, kann eine zweidimensionale Bildinformation des Objekts
Das 3D-Kamerasystem
Durch die Gestenerkennungseinheit
Wird eine Bediengeste so ausgeführt, dass das mindestens eine gestenausführende Objekt sich in den Sättigungsbereich BS hinein bewegt, sich durch den Sättigungsbereich BS hindurchbewegt oder sich aus dem Sättigungsbereich BS herausbewegt, kann eine Bediengeste mit Hilfe einer herkömmlichen Gestenerkennungseinheit nicht erkannt werden. Da ein Teil der dreidimensionalen Bewegungstrajektorie des gestenausführenden Objekts nicht durch die dreidimensionale Abbildung des 3D-Kamerasystems
In
In Schritt S1 wird überprüft, ob von einem vorbestimmten Mindestanteil von Bildpunktsensoren der 3D-Kameraeinheit ein Sättigungssignal bereitgestellt wird. Ist dies der Fall (Alternative: Ja) wird das Verfahren mit Schritt S2 fortgesetzt. Andernfalls (Alternative: Nein) wird das Verfahren mit Schritt S10 fortgesetzt. Schritt S10 beinhaltet eine herkömmliche Gestenerkennung, auf die hierin nicht näher eingegangen wird.In step S1, it is checked whether a saturation signal is provided by a predetermined minimum proportion of pixel sensors of the 3D camera unit. If this is the case (alternative: yes), the method continues with step S2. Otherwise (alternative: No), the method continues with step S10. Step S10 includes conventional gesture recognition, which will not be discussed further herein.
In Schritt S2 wird überprüft, ob eine Bewegung eines gestenausführenden Objekts im Bildaufnahmebereich des 3D-Kamerasystems innerhalb eines vorbestimmten zurückliegenden Zeitraums erkannt worden ist. Wurde keine Bewegung erkannt (Alternative: Nein), wird das Verfahren mit Schritt S3 fortgesetzt. Andernfalls, d.h. es wurde eine Bewegung des gestenausführenden Objekts erkannt (Alternative: ja), so wird das Verfahren mit Schritt S4 fortgesetzt.In step S2, it is checked whether movement of a gesture-executing object has been detected in the image pick-up area of the 3D camera system within a predetermined past time period. If no movement has been detected (alternative: no), the procedure continues with step S3. Otherwise, i. If a movement of the gesture-executing object has been detected (alternative: yes), the method is continued with step S4.
In Schritt S3 kann nun vorgesehen sein, dass im Sättigungsbereich BS ausgeführte Bediengesten, die durch eine bestimmte Anordnung von gestenausführenden Objekten
In Schritt S4 können Bewegungsgesten, die ganz oder teilweise in dem Sättigungsbereich durchgeführt werden, durch Zuordnung zu den vorgegebenen Referenzbewegungsmustern als Bedienungsgesten erkannt werden. Dazu wird die Bewegungstrajektorie des mindestens einen gestenausführenden Objektes
Beispielsweise verläuft eine Bewegungsgeste, die eine kreisförmige Bewegung in einer im Wesentlichen senkrechten Ebene mit der Hand (gestenausführendes Objekt) vollführt, teilweise durch den Sättigungsbereich BS. Dann kann ggfs. die entsprechende zweidimensionale Bewegtbildaufzeichnung, die durch die Bewegung des Musters der Bildpunkte, zu denen ein Sättigungssignal vorliegt, bestimmt ist, als Teil der dreidimensionalen Bewegung der Hand des Nutzers interpretiert werden, die zu der Bewegungsgeste gehört. Somit kann, wenn eine Bewegung eines gestenausführenden Objekts
Insbesondere kann im obigen Fall, wobei eine Bewegungsgeste als Bediengeste erkannt wird, eine Ausführung der der Bediengeste zugeordneten Funktion zugelassen werden, nur wenn die durch das erkannte Referenzbewegungsmuster angegebene Bewegungstrajektorie bezüglich des Bewegungsweges zu einem vorbestimmten Mindestanteil in dem Erfassungsbereich ausgeführt wurde. Insbesondere kann der vorbestimmte Mindestanteil 50 bis 90 % der gesamten Bewegungstrajektorie des erkannten Referenzbewegungsmusters betragen.In particular, in the above case where a movement gesture is recognized as an operation gesture, execution of the operation associated with the operation gesture may be permitted only when the movement trajectory indicated by the recognized reference movement pattern has been executed with respect to the movement path to a predetermined minimum proportion in the detection area. In particular, the predetermined minimum proportion may amount to 50 to 90% of the total movement trajectory of the detected reference movement pattern.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- FahrgastinnenraumPassenger compartment
- 22
- 3D-Kamerasystem3D camera system
- 33
- GestenerkennungseinheitGesture recognition unit
- 44
- gestenausführendes Objektgesture-executing object
- 2121
- Leuchtquellelight source
- 2222
- 3D-Kameraeinheit3D camera unit
- 2323
- Auswerteeinheitevaluation
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- EP 1777747 B1[0002]EP 1777747 B1[0002]
Claims (9)
Translated fromGermanPriority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016202526.0ADE102016202526A1 (en) | 2016-02-18 | 2016-02-18 | Method and device for detecting a control gesture of a user, in particular in a motor vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016202526.0ADE102016202526A1 (en) | 2016-02-18 | 2016-02-18 | Method and device for detecting a control gesture of a user, in particular in a motor vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102016202526A1true DE102016202526A1 (en) | 2017-08-24 |
Family
ID=59522066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102016202526.0APendingDE102016202526A1 (en) | 2016-02-18 | 2016-02-18 | Method and device for detecting a control gesture of a user, in particular in a motor vehicle |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102016202526A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112307865A (en)* | 2020-02-12 | 2021-02-02 | 北京字节跳动网络技术有限公司 | Interactive method and device based on image recognition |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1777747B1 (en) | 2005-10-19 | 2008-03-26 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for the demodulation of modulated electromagnetic wave fields |
| DE202015105611U1 (en)* | 2014-10-22 | 2015-11-09 | Visteon Global Technologies, Inc. | Device for gesture control in a vehicle |
- 2016
- 2016-02-18DEDE102016202526.0Apatent/DE102016202526A1/enactivePending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1777747B1 (en) | 2005-10-19 | 2008-03-26 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for the demodulation of modulated electromagnetic wave fields |
| DE202015105611U1 (en)* | 2014-10-22 | 2015-11-09 | Visteon Global Technologies, Inc. | Device for gesture control in a vehicle |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112307865A (en)* | 2020-02-12 | 2021-02-02 | 北京字节跳动网络技术有限公司 | Interactive method and device based on image recognition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102016214597A1 (en) | Method of supporting a vehicle hitch and support system | |
| DE102009046107A1 (en) | System and method for interaction between a person and a machine | |
| EP2915022B1 (en) | Method for inputting a control command for a component of a motor vehicle | |
| DE102016200642A1 (en) | METHOD AND DEVICE FOR CLASSIFYING TRAFFIC LIMITS AND VEHICLE | |
| DE102013012466A1 (en) | Operating system and method for operating a vehicle-side device | |
| EP2963631B1 (en) | Method for determining a parking space from a number of measuring points | |
| DE102015121353A1 (en) | Method for detecting a possible collision between a motor vehicle and an object taking into account a spatial uncertainty, control device, driver assistance system and motor vehicle | |
| DE102019115330A1 (en) | Real-time safety path generation for highly automated vehicle fallback maneuvers | |
| DE102016009327A1 (en) | Device and method for calibrating a camera | |
| DE102015214425A1 (en) | Method for detecting a course of rails | |
| DE102017219119A1 (en) | Method for detecting the shape of an object in an exterior of a motor vehicle and motor vehicle | |
| DE102010049216A1 (en) | Method for operating camera i.e. stereo camera, arranged at car, involves detecting distance of object via image evaluation, and calibrating camera when distance determined by sensing unit deviates from distance determined by evaluation | |
| DE102019219750A1 (en) | Driver assistance system and method for detecting object barriers in 3D point clouds | |
| DE102019127322A1 (en) | Method for detecting objects in a vehicle environment, device for data processing, computer program product and computer-readable data carrier | |
| DE102019211740A1 (en) | Increased partial area resolution | |
| DE102019211459A1 (en) | Method and device for checking a calibration of environmental sensors | |
| DE102013018752A1 (en) | Method for classifying pedestrians | |
| DE102016202526A1 (en) | Method and device for detecting a control gesture of a user, in particular in a motor vehicle | |
| DE102008059551B4 (en) | Method for determining the change in position of a camera system and device for capturing and processing images | |
| DE102020206935A1 (en) | Vertical scan lidar | |
| DE102020210116A1 (en) | Method for operating an assistance system of a vehicle | |
| DE102019106844B4 (en) | Detection of malfunctions in the switching state detection of traffic light systems | |
| DE102021000447A1 (en) | Method for operating a gated camera, control device for carrying out such a method, camera device with such a control device and motor vehicle with such a camera device | |
| DE102016006381B3 (en) | Method for operating a processing device for sensor data of a sensor and motor vehicle arranged in a motor vehicle | |
| DE102020204362A1 (en) | Method for evaluating a gesture by a vehicle occupant in an interior space of a vehicle, a method for illuminating an object and a lighting system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R163 | Identified publications notified | ||
| R012 | Request for examination validly filed |