DE102005011432B4 - Data glove - Google Patents

Abstract

Translated fromGerman

Datenhandschuh (40, 41) mit einem Referenzkörper (21), der zumindest zwei räumlich durch Stäbe getrennte mittels einer Kamera (10, 11, 12, 13) als Referenzpunkte identifizierbare Handreferenzpunkte (210, 211, 212, 213, 214) umfasst, wobei der Datenhandschuh (40, 41) zumindest ein Aufnahmeelement (22, 23, 24) zur Aufnahme einer Fingerspitze eines Probanden (3) oder eines Teils eines Fingers des Probanden (3) umfasst, wobei das Aufnahmeelement (22, 23, 24) zumindest einen mittels der Kamera (10, 11, 12, 13) oder einer weiteren Kamera als Referenzpunkt identifizierbaren Fingerreferenzpunkt (25, 26, 27) umfasst, und wobei der Datenhandschuh (40, 41) einen mit dem Aufnahmeelement (22, 23, 24) verbundenen Aktor zur Erzeugung einer haptischen Rückkopplung umfasst.

Data glove (40, 41) with a reference body (21) comprising at least two spatially separated by bars by means of a camera (10, 11, 12, 13) as reference points identifiable hand reference points (210, 211, 212, 213, 214), wherein the data glove (40, 41) comprises at least one receiving element (22, 23, 24) for receiving a fingertip of a subject (3) or a part of a finger of the subject (3), wherein the receiving element (22, 23, 24) at least one by means of the camera (10, 11, 12, 13) or another camera as a reference point identifiable finger reference point (25, 26, 27), and wherein the data glove (40, 41) connected to the receiving element (22, 23, 24) Includes actuator for generating a haptic feedback.

Description

Translated fromGerman

Die Erfindung betrifft einen Datenhandschuh.The invention relates to a data glove.

Derartige Datenhandschuhe sind z.B. in Verbindung mit virtuellen Techniken einsetzbar, die insbesondere im Produkt-Entstehungs-Prozess in der Automobilindustrie zum Einsatz kommen können. Neben der reinen Visualisierung in CAx-Systemen und der Visualisierung unter Echtzeit-Bedingungen in Virtual-Reality-Systemen (VR) oder Augmented-Reality-Systemen (AR) umfasst dies auch so genannte interaktive und immersive Anwendungen. Solche Anwendungen können zum Beispiel eingesetzt werden, um Ergonomie-Untersuchungen und virtuelle Montagen durchzuführen.Such data gloves are e.g. Can be used in conjunction with virtual techniques, which can be used in particular in the product development process in the automotive industry. In addition to pure visualization in CAx systems and visualization under real-time conditions in virtual reality systems (VR) or augmented reality (AR) systems, this includes so-called interactive and immersive applications. Such applications may be used, for example, to perform ergonomic examinations and virtual assemblies.

Da der Mensch bei interaktiven und immersiven Anwendungen unmittelbares Element im gesamten Regelkreis ist, unterliegen diese Applikationen strengeren Echtzeit-Bedingungen. Um diesen Regelkreis stabil zu gestalten, sollte die Bildrate (neue Informationen) mindestens etwa 10 Bilder/s betragen, möglichst jedoch 20 bis 25 Bilder/s. Neben den stringenten Echtzeitbedingungen ist es für eine erfolgreiche Durchführung solcher Aufgaben wünschenswert, möglichst intuitiv agieren zu können. Dazu können Schnittstellen in Hardware und Software vorgesehen werden, die diesen Anspruch erfüllen können. Zu den Hardware-Schnittstellen gehören z.B. Displays, Datenhandschuhe zum Greifen und für die Gestik, Kraftfeedback bzw. ganz allgemein haptisches Feedback. Datenhandschuhe sind u. a. aus derWO 02/37466 A1 und derJP 082856627 A bekannt. Derartige Datenhandschuhe sind insbesondere von handschuhartigen Eingabevorrichtungen zu unterscheiden, wie sie z.B. dieUS 2003/0006962 A1 und dieUS 2004/0012574 A1 offenbaren. Datenhandschuhe für vorgenannte Anwendungen können z.B. von Virtual Technologies bezogen werden. Diese Datenhandschuhe werden auch mit zusätzlichen haptischen Feedbacks ausgestattet („Force Feedback“, Fa. Virtual Technologies). Entweder sind diese mechanisch (z.B. mit Seilzügen) oder pneumatisch (mit Luftkissen) ausgestattet. Bei der Seilzug-Lösung entstehen auch Kräfte größerer Art, die die Finger zurückziehen können.Since humans are an immediate element in the entire control loop for interactive and immersive applications, these applications are subject to stricter real-time conditions. To make this loop stable, the frame rate (new information) should be at least about 10 fps, but preferably 20 to 25 fps. In addition to the stringent real-time conditions, it is desirable for successful completion of such tasks to be as intuitive as possible. For this purpose, interfaces in hardware and software can be provided which can fulfill this requirement. The hardware interfaces include, for example, displays, data gloves for grasping and gestures, force feedback and generally haptic feedback. Data gloves are among others from the WO 02/37466 A1 and the JP 082856627 A known. Such data gloves are to be distinguished in particular from glove-like input devices, such as the US 2003/0006962 A1 and the US 2004/0012574 A1 reveal. Data gloves for the aforementioned applications can be obtained, for example, from Virtual Technologies. These data gloves are also equipped with additional haptic feedbacks ("Force Feedback", Virtual Technologies). Either these are equipped mechanically (eg with cable pulls) or pneumatically (with air cushions). The cable pull solution also creates forces of a larger kind, which can pull back the fingers.

DieDE 103 35 595 A1 offenbart ein Verfahren zur Bestimmung der räumlichen Lage von Markern in einem Volumen bezüglich eines Bezugs-Koordinatensystems mit Hilfe von Kameras, indem die Lage und Orientierung jeder Kamera eingemessen wird, mit jeder Kamera ein 2-D-Bild des Volumens aufgenommen und so 2-D-Bilder gewonnen werden. Die2-D-Bilder werden in digitaler Form in eine EDV-Einrichtung eingelesen und dort einer Marker-Erkennungsprozedur unterzogen, wobei jede erkannte Markerposition gemessen und gespeichert wird. Es werden Gruppen von 2-D-Positionen gebildet, deren jede aus jedem 2-D-Bild höchstens eine 2-D-Position enthält, wobei jede 2-D-Position zu genau einer der Gruppen gehört, sodass man einen Satz von Gruppen erhält. In dieser Weise werden zahlreiche weitere Sätze gebildet. Aus dieser Vielzahl von Sätzen wird mit Hilfe der Methode des Bündelausgleichs einer dieser Sätze ausgewählt, und die erkannten 2-D-Positionen, welche zu derselben der so gefundenen Gruppen gehören, werden als zu demselben Marker gehörend interpretiert. Die räumlichen Lagen der Marker bezüglich des Bezugs-Koordinatensystems werden mittels der so gewonnenen Zuordnungen ermittelt.The DE 103 35 595 A1 discloses a method for determining the spatial location of markers in a volume relative to a reference coordinate system by means of cameras by measuring the position and orientation of each camera, taking a 2-D image of the volume with each camera and thus 2-D Images are obtained. The 2 D-pictures are read in digital form into an EDP device and there subjected to a marker recognition procedure, wherein each recognized marker position is measured and stored. Groups of 2-D positions are formed, each of which contains at most one 2-D position from each 2-D image, each 2-D position belonging to exactly one of the groups, thus obtaining a set of groups , In this way many more sentences are formed. From among the plurality of sets, one of these sets is selected using the bundle balance method, and the detected 2-D positions belonging to the same group thus found are interpreted as belonging to the same marker. The spatial positions of the markers with respect to the reference coordinate system are determined by means of the assignments thus obtained.

DieUS 2004/0046736 A1 offenbart eine Handpuppe, die zum Beispiel als Vogel ausgestaltet sein kann, und deren Position dadurch bestimmt werden kann, dass an ihren Händen sogenannte Targets und an ihren Lippen kurvenförmige sogenannte Targets angebracht sind. Die Bewegung dieser sogenannten Targets kann durch ein Paar Kameras aufgenommen und mittels Computer in Signale transformiert werden, die über das Internet übertragbar sind. Auf diese Weise kann an einem anderen Ort mit der so ausgerüsteten Handpuppe interagiert werden.The US 2004/0046736 A1 discloses a hand puppet, which can be configured, for example, as a bird, and whose position can be determined by the fact that on their hands so-called targets and their lips curved so-called targets are attached. The movement of these so-called targets can be recorded by a pair of cameras and transformed by means of computers into signals that can be transmitted via the Internet. In this way, interacting with the hand puppet so equipped can be done in a different location.

DieDE 297 19 995 U1 offenbart ein System zur Umwandlung von visuell aufgenommenen Raumdaten in erfühl- und ertastbare Informationen. Dabei sind zwei Kameras auf dem Kopf eines Probanden vorgesehen, die „geradeaus“ filmen. Teil des Systems ist zudem ein Handschuh, in dessen Fingerkuppen Instrumente angebracht sind, die Druck ausüben können bzw. ein Druckgefühl erzeugen können. Darüber hinaus weist der derart ausgestaltete Handschuh Ultraschallgeber auf, die gepulste Signale aussenden, die mittels Mikrofonen aufgenommen werden, um daraus die Position des Handschuhs im Raum zu bestimmen.The DE 297 19 995 U1 discloses a system for converting visually captured spatial data into perceptual and tactile information. There are two cameras on the head of a subject, the "straight ahead" filming. Part of the system is also a glove, in whose fingertips instruments are attached, which can exert pressure or create a feeling of pressure. Moreover, the glove designed in this way has ultrasound transmitters that emit pulsed signals that are picked up by microphones in order to determine the position of the glove in space.

DieUS 5 354 162 offenbart ein Aktorensystem zur Bereitstellung einer haptischen Rückkopplung, die die Steuerung einer Roboterhand mittels einer menschlichen Hand unterstützen soll. Dabei ist ein Polhemus-Sensor vorgesehen, mittels dessen die Position und Ausrichtung eines Handgelenks ermittelt wird. Darüber hinaus sind auf der Benutzerhand fieberoptische Sensoren angebracht, die die Bewegung und Position einzelner Finger ermitteln. Es ist Aufgabe der Erfindung, virtuelle interaktive oder immersive Anwendungen, insbesondere für den Produkt-Entstehungs-Prozess, in der Automobilindustrie zu verbessern bzw. einen verbesserten Herstellungsprozess für ein Kraftfahrzeug anzugeben.The US 5,354,162 discloses an actuator system for providing haptic feedback intended to assist in the control of a robot hand by means of a human hand. In this case, a Polhemus sensor is provided, by means of which the position and orientation of a wrist is determined. In addition, fever-optic sensors are mounted on the user's hand to determine the movement and position of individual fingers. It is the object of the invention to improve virtual interactive or immersive applications, in particular for the product development process, in the automobile industry or to specify an improved production process for a motor vehicle.

Vorgenannte Aufgabe wird durch einen Datenhandschuh gemäß Anspruch 1 gelöst, wobei unter anderen vorgesehen ist, dass der Datenhandschuh einen Referenzkörperumfasst, der zumindest zwei räumlich getrennte mittels einer, insbesondere als Infrarotkamera ausgestalteten, Kamera als Referenzpunkte identifizierbare Handreferenzpunkte umfasst, wobei der Datenhandschuh zumindest ein Aufnahmeelement zur Aufnahme einer Fingerspitze eines Probanden oder eines Teils eines Fingers des Probanden umfasst, und wobei das Aufnahmeelement zumindest einen mittels der Kamera oder einer weiteren, insbesondere als Infrarotkamera ausgestalteten, Kamera als Referenzpunkt identifizierbaren Fingerreferenzpunkt umfasst. Ein Datenhandschuh im Sinne der Erfindung ist nicht auf einen Handschuh im engen Sinne beschränkt. Vielmehr soll ein Datenhandschuh im Sinne der Erfindung auch Vorrichtungen einbeziehen, die lediglich einen Teil einer menschlichen Hand abdecken. Der Datenhandschuh umfasst zudem einen mit dem Aufnahmeelement verbundenen Aktor zur Erzeugung einer haptischen Rückkopplung. Kraft-Feedback-Vorrichtungen die der haptischen Rückkopplung dienen können sind z.B. aus folgenden Literaturstellen bekannt:

• -Bergamasco, M. : The GLAD-IN-ART Project, Virtual Reality, Anwendungen und Trends in Forschung und Praxis, IPA/ IAO Forum, Springer Verlag, Berlin, S. 251 -258, 1993
• -Bergamasco, M. : Theoretical Study and Experiments on Internal and External Force Replication, IEEE Workshop on Force Display on Virtual Environments and its Application to robotic Teleoperation, IEEE, New York, 1993
• -Burdea, C.G. : Force and Touch Feedback for Virtual Reality, ISBN 0-471-02141-5, John Wiley & Sons, New York, 1996
• -Frank-Lothar Krause, Trac Tang, Ulrich Ahle (Hrsg.), Abschlußbericht Leitprojekt Integrierte Virtuelle Produktentstehung, hier Teilprojekt 4.2, Entwicklung und Test eines Kraftffedback-Systems für die virtuellen Umgebungen, S. 125 ff., bmb+f, PT Forschungszentrum Karlsruhe, Juni 2002.

The aforementioned object is achieved by a data glove according toclaim 1, wherein among other things it is provided that the data glove comprises a reference body, the at least two spatially separated by means of a, in particular The camera comprises at least one receiving element for receiving a fingertip of a subject or a part of a finger of the subject, and wherein the receiving element at least one by means of the camera or another, in particular designed as an infrared camera, Camera as a reference point identifiable finger reference point includes. A data glove according to the invention is not limited to a glove in the strict sense. Rather, a data glove in the context of the invention should also include devices that cover only a portion of a human hand. The data glove also includes an actuator connected to the receiving element for generating a haptic feedback. Force feedback devices which can serve the haptic feedback are known, for example, from the following references:

• - Bergamasco, M.: The GLAD-IN-ART Project, Virtual Reality, Applications and Trends in Research and Practice, IPA / IAO Forum, Springer Verlag, Berlin, pp. 251-258, 1993
• - Bergamasco, M.: Theoretical Study and Experiments on Internal and External Force Replication, IEEE Workshop on Force Display on Virtual Environments and its Application to Robotic Teleoperation, IEEE, New York, 1993
• - Burdea, CG: Force and Touch Feedback for Virtual Reality, ISBN 0-471-02141-5, John Wiley & Sons, New York, 1996
• - Frank-Lothar Krause, Trac Tang, Ulrich Ahle (ed.), Final Report Leading Project Integrated Virtual Product Development, here Subproject 4.2, Development and Test of a Force Feedback System for Virtual Environments, p. 125 ff., Bmb + f, PT Forschungszentrum Karlsruhe , June 2002 ,

In vorteilhafter Ausgestaltung der Erfindung umfasst der Fingerreferenzpunkt ein Leuchtmittel, insbesondere eine LED.In an advantageous embodiment of the invention, the finger reference point comprises a light source, in particular an LED.

In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst der Referenzkörper zumindest vier, insbesondere fünf, räumlich getrennte Handreferenzpunkte.In a further advantageous embodiment of the invention, the reference body comprises at least four, in particular five, spatially separated manual reference points.

In weiterhin vorteilhafter Ausgestaltung der Erfindung ist der Datenhandschuh derart ausgestaltet, dass der Referenzkörper (bei bestimmungsgemäßer Verwendung des Datenhandschuhs) auf einem Handrücken des Probanden angeordnet ist.In a further advantageous embodiment of the invention, the data glove is designed such that the reference body (with the intended use of the data glove) is arranged on a back of the subject's hand.

In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst der Aktor eine Aktorschicht, deren Volumen mittels einer elektrischen Spannung oder eines elektrischen Stromes veränderbar ist. Die Aktorschicht ist dabei vorteilhafterweise innerhalb eines zylinderartigen Elementes zur Aufnahme der Fingerspitze des Probanden oder eines Teil eines Fingers des Probanden, innerhalb des Aufnahmeelementes, wobei das Aufnahmeelement als starrer Körper oder zum Teil als starrer Körper ausgestaltet ist, oder innerhalb eines als starrer Körper ausgestalteten Teils des Aufnahmeelementes angeordnet. Dabei wird ein Teil eines Fingers des Probanden oder einer Fingerspitze bzw. eine Fingerspitze des Probanden (bei bestimmungsgemäßer Verwendung des Datenhandschuhs) von der Aktorschicht ganz oder teilweise umschlossen.In a further advantageous embodiment of the invention, the actuator comprises an actuator layer whose volume is variable by means of an electrical voltage or an electric current. The Aktorschicht is advantageously within a cylinder-like element for receiving the fingertip of the subject or a part of a finger of the subject, within the receiving element, wherein the receiving element is designed as a rigid body or in part as a rigid body, or within a configured as a rigid body part arranged the receiving element. In this case, part of a finger of the subject or of a fingertip or a fingertip of the subject (when the data glove is used as intended) is completely or partially enclosed by the actuator layer.

In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst der Aktor eine Wicklung, deren Länge mittels einer elektrischen Spannung oder eines elektrischen Stromes veränderbar ist. Dabei wird ein Teil eines Fingers des Probanden oder einer Fingerspitze bzw. eine Fingerspitze des Probanden (bei bestimmungsgemäßer Verwendung des Datenhandschuhs) von der Wicklung umschlossen.In a further advantageous embodiment of the invention, the actuator comprises a winding whose length is variable by means of an electrical voltage or an electric current. In this case, a part of a test person's finger or a fingertip or a fingertip of the test person (when the data glove is used as intended) is enclosed by the winding.

Ein vorgenannter Datenhandschuh kann Teil eines Virtual-Reality-System sein, wobei das Virtual-Reality-System zumindest eine, insbesondere als Infrarotkamera ausgestaltete, Kamera und ein Aufnahmeelement zur Aufnahme einer Fingerspitze eines Probanden oder eines Teils eines Fingers des Probanden umfasst, und wobei das Aufnahmeelement zumindest einen mittels der Kamera oder einer weiteren, insbesondere als Infrarotkamera ausgestalteten, Kamera als Referenzpunkt identifizierbaren Fingerreferenzpunkt umfasst. Ein Virtual-Reality-System in diesem Sinne soll nicht nur Virtual-Reality-Systeme im engen Sinne sondern z.B. auch Augmented-Reality-Systeme umfassen.An aforementioned data glove may be part of a virtual reality system, wherein the virtual reality system comprises at least one, in particular designed as an infrared camera, and a recording element for receiving a fingertip of a subject or part of a finger of the subject, and wherein the Recording element comprises at least one by means of the camera or another, in particular designed as an infrared camera, camera as a reference point identifiable finger reference point. A virtual reality system in this sense is intended not only virtual reality systems in the strict sense but, for. also include augmented reality systems.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Virtual-Reality-System zumindest vier, insbesondere als Infrarotkameras ausgestaltete, Kameras zur Identifizierung des Fingerreferenzpunktes.In an advantageous embodiment of the invention, the virtual reality system comprises at least four, in particular designed as infrared cameras, cameras for identifying the finger reference point.

In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das Virtual-Reality-System ein Auswertesystem zur Ermittlung der (räumlichen) Position zumindest eines Fingers des Probanden oder zumindest einer Fingerspitze des Probanden in Abhängigkeit eines Ausgangssignals der Kamera, in Abhängigkeit eines Ausgangssignals zumindest einer der zumindest vier Kameras oder in Abhängigkeit von Ausgangssignalen der zumindest vier Kameras.In a further advantageous embodiment of the invention, the virtual reality system comprises an evaluation system for determining the (spatial) position of at least one finger of the subject or at least one fingertip of the subject as a function of an output signal of the camera, in response to an output signal of at least one of the at least four cameras or in response to output signals of the at least four cameras.

Vorgenannter Datenhandschuh kann in einem Verfahren zum Herstellen eines Kraftfahrzeuges oder eines Bauteils für ein Kraftfahrzeug Verwendung finden, wobei das Kraftfahrzeug oder das Bauteil entworfen wird, wobei ein Virtual-Reality-Modell des Kraftfahrzeuges oder des Bauteils erzeugt wird, wobei das Virtual-Reality-Modell des Kraftfahrzeuges oder des Bauteils durch zumindest einen Probanden unter Verwendung eines vorgenannten Datenhandschuhs oder eines vorgenannten Virtual-Reality-Systems getestet wird, und wobei in Abhängigkeit dieses Tests das Kraftfahrzeug oder das Bauteil implementiert oder erneut entworfen wird.The aforementioned data glove can be used in a method for manufacturing a motor vehicle or a component for a motor vehicle, wherein the motor vehicle or the component is designed, wherein a virtual reality model of the motor vehicle or of the component is produced, wherein the virtual reality model of the motor vehicle or the component is tested by at least one subject using an aforementioned data glove or an aforementioned virtual reality system, and wherein the motor vehicle or the component is implemented or redesigned depending on this test.

Kraftfahrzeug im Sinne der Erfindung ist insbesondere ein individuell im Straßenverkehr benutzbares Landfahrzeug. Kraftfahrzeuge im Sinne der Erfindung sind insbesondere nicht auf Landfahrzeuge mit Verbrennungsmotor beschränkt.Motor vehicle in the sense of the invention is in particular a land vehicle which can be used individually in road traffic. Motor vehicles according to the invention are not limited in particular to land vehicles with internal combustion engine.

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen:

• 1 ein Ausführungsbeispiel eines Virtual-Reality-Systems,
• 2 ein Ausführungsbeispiel eines Datenhandschuhs,
• 3 ein weiteres Ausführungsbeispiel eines Datenhandschuhs,
• 4 ein Ausführungsbeispiel eines Aufnahmeelementes zur Aufnahme einer Fingerspitze eines Probanden oder eines Teil eines Fingers des Probanden mit einem Aktor zur Erzeugung einer haptischen Rückkopplung,
• 5 ein weiteres Ausführungsbeispiel eines Aufnahmeelementes mit einem Aktor zur Erzeugung einer haptischen Rückkopplung und
• 6 ein Ausführungsbeispiel eines Verfahrens zum Herstellen eines Kraftfahrzeuges oder eines Bauteils für ein Kraftfahrzeug.

Further advantages and details emerge from the following description of exemplary embodiments. Showing:

• 1 an embodiment of a virtual reality system,
• 2 an embodiment of a data glove,
• 3 another embodiment of a data glove,
• 4 An embodiment of a receiving element for receiving a fingertip of a subject or a part of a finger of the subject with an actuator for generating a haptic feedback,
• 5 a further embodiment of a receiving element with an actuator for generating a haptic feedback and
• 6 An embodiment of a method for producing a motor vehicle or a component for a motor vehicle.

1 zeigt ein Ausführungsbeispiel eines Virtual-Reality-Systems1. Das Virtual-Reality-System1 umfasst zumindest vier, insbesondere als Infrarotkameras ausgestaltete, Kameras10,11,12,13 zur optischen Aufnahme eines Bildes von einem Probanden3 in einer Versuchsanordnung2 wie z.B. einer mit Monitoren ausgestatteten Sitzkiste. Das Virtual-Reality-System1 umfasst zudem ein Auswertesystem15 zur Ermittlung der (räumlichen) Position des Probanden3 bzw. zumindest eines Fingers des Probanden3 oder zumindest einer Fingerspitze des Probanden3 in Abhängigkeit von Ausgangssignalen der zumindest vier Kameras10,11,12,13. Zudem ist mittels des Auswertesystems15 z. B. ein virtuelles Bild eines Kraftfahrzeuges und des Probanden3 in einer räumlichen Zuordnung zu dem Kraftfahrzeug darstellbar. Geeignete Kameras und Auswertesysteme können z.B. von der A.R.T. advanced realtime tracking GmbH, Weilheim (www.ar-tracking.de) bezogen werden. 1 shows an embodiment of avirtual reality system 1 , Thevirtual reality system 1 includes at least four, in particular designed as infrared cameras,cameras 10 . 11 . 12 . 13 for optically capturing an image of a subject 3 in atest arrangement 2 such as a seat box equipped with monitors. Thevirtual reality system 1 also includes anevaluation system 15 to determine the (spatial) position of the subject 3 or at least one finger of the subject 3 or at least a fingertip of the subject 3 depending on output signals of the at least fourcameras 10 . 11 . 12 . 13 , In addition, by means of the evaluation system 15 z. B. a virtual image of a motor vehicle and the subject 3 displayed in a spatial association with the motor vehicle. Suitable cameras and evaluation systems can be obtained, for example, from ART advanced realtime tracking GmbH, Weilheim (www.ar-tracking.de).

2 zeigt ein Ausführungsbeispiel eines Datenhandschuhs40 für eine Hand4 des Probanden3. Der Datenhandschuh40 umfasst einen Referenzkörper21, der fünf räumlich durch Stäbe215,216,217 und218 getrennte mittels der Kameras10,11,12,13 als Referenzpunkte identifizierbare Handreferenzpunkte210,211,212,213 und214 aufweist. Der Referenzkörper21 ist auf einem Funk-IC20 des Datenhandschuhs40 zum Aufbau einer drahtlosen - in1 mit Bezugszeichen5 bezeichneten - Kommunikationsverbindung zwischen dem Auswertesystem15 und dem Funk-IC20 angeordnet. Der Datenhandschuh40 ist derart ausgestaltet, dass der Referenzkörper21 (bei bestimmungsgemäßer Verwendung des Datenhandschuhs40) auf einem Handrücken des Probanden3 angeordnet ist. Dazu kann der Datenhandschuh40 ein Befestigungsband37 zur Befestigung des Funk-ICs20 auf dem Handrücken des Probanden3 aufweisen. 2 shows an embodiment of adata glove 40 for ahand 4 of the subject 3 , Thedata glove 40 includes areference body 21 , the five spatially bybars 215 . 216 . 217 and 218 separated by means of thecameras 10 . 11 . 12 . 13 Hand reference points identifiable asreference points 210 . 211 . 212 . 213 and 214 having. Thereference body 21 is on aradio IC 20 of thedata glove 40 to build a wireless - in 1 withreference number 5 designated - communication link between theevaluation system 15 and theradio IC 20 arranged. Thedata glove 40 is designed such that the reference body 21 (if the data glove is used as intended 40 ) on the back of the person'shand 3 is arranged. This can be the data glove 40 afastening tape 37 for mounting theradio IC 20 on the back of the subject 3 exhibit.

In dem Ausführungsbeispiel gemäß2 umfasst der Datenhandschuh40 für den Daumen, den Zeigefinder und den Mittelfinger der Hand4 des Probanden3 je ein - unter Bezugnahme auf4 und5 näher erläutertes - Aufnahmeelement22,23,24 je mit einem mittels der Kameras10,11,12,13 als Referenzpunkt identifizierbaren, eine LED umfassenden oder als LED ausgestalteten Fingerreferenzpunkt25,26,27. Die LEDs werden dabei über mit Bezugszeichen30,31 und32 bezeichnete Zuleitungen von dem Funk-IC20 mit elektrischer Energie versorgt. Der Funk-IC20 wiederum kann drahtlos mit elektrischer Energie versorgt werden, kann einen nicht dargestellte Energiespeicher umfassen und/oder kann - wie in3 dargestellt - über eine Zuleitung36 mittels eines externen, von dem Probanden3 tragbaren Energiespeicher35 mit elektrischer Energie versorgt werden.In the embodiment according to 2 includes thedata glove 40 for the thumb, the index finger and the middle finger of thehand 4 of the subject 3 one each - with reference to 4 and 5 closer explained - receivingelement 22 . 23 . 24 each with one by means of thecameras 10 . 11 . 12 . 13 as a reference point identifiable, a LED comprehensive or designed as an LEDfinger reference point 25 . 26 . 27 , The LEDs are over withreference numerals 30 . 31 and 32 designated leads from theradio IC 20 supplied with electrical energy. Theradio IC 20 in turn can be supplied with electrical energy wirelessly, may include an energy storage, not shown, and / or may - as in 3 shown - via asupply line 36 by means of an external, by the subject 3portable energy storage 35 be supplied with electrical energy.

3 zeigt ein weiteres Ausführungsbeispiel eines - im wesentlichem dem Datenhandschuh40 entsprechenden - Datenhandschuhs41, wobei gleiche Bezugszeichen wie in2 gleiche oder gleichartige Elemente bezeichnen. Während die Aufnahmeelemente22,23,24 des Datenhandschuhs40 separat ausgestaltet, d. h. nicht miteinander und nur mittels der Zuleitungen30,31 und32 mit dem Funk-IC20 verbunden, und einzeln auf den Daumen, den Zeigefinder bzw. den Mittelfinger der Hand4 des Probanden3 steckbar sind und während der Datenhandschuh40 das Befestigungsband37 zur Befestigung des Funk-ICs20 auf dem Handrücken des Probanden3 umfasst, sind bei dem Datenhandschuh41 die Aufnahmeelemente22,23,24 und der Funk-IC20 in einem aus Gründen der Übersichtlichkeit nicht dargestellten Handschuh integriert. Dabei ist zumindest der Referenzkörper21 (sowie ggf. der Funk-IC20) an der Außenseite des Handschuhs angeordnet. Der Handschuh kann z.B. als schwarzer Lederhandschuh ausgestaltet sein. 3 shows a further embodiment of a - essentially thedata glove 40 corresponding -data glove 41 , wherein the same reference numerals as in 2 designate identical or similar elements. While therecording elements 22 . 23 . 24 of thedata glove 40 configured separately, ie not with each other and only by means of the supply lines 30 . 31 and 32 with theradio IC 20 connected, and individually on the thumb, the index finger or the middle finger of thehand 4 of the subject 3 are pluggable and while thedata glove 40 thefastening tape 37 for mounting theradio IC 20 on the back of the subject 3 are included in thedata glove 41 the receivingelements 22 . 23 . 24 and theradio IC 20 integrated in a glove, not shown for reasons of clarity. At least the reference body is 21 (and possibly the wireless IC 20 ) are arranged on the outside of the glove. The glove can be configured, for example, as a black leather glove.

4 zeigt am Beispiel eines Querschnittes des Aufnahmeelementes22 ein Ausführungsbeispiel zur vorteilhaften Ausgestaltung der Aufnahmeelemente22,23 bzw.24. Das Aufnahmeelement22 umfasst eine LED250 zur Beleuchtung des Fingerreferenzpunktes25. In vorteilhafter Ausgestaltung ist vorgesehen, dass der Datenhandschuh40 bzw.41 einen mit dem Aufnahmeelement22 verbundenen Aktor zur Erzeugung einer haptischen Rückkopplung umfasst. Zur Implementierung eines derartigen Aktors umfasst das Aufnahmeelement22 in vorteilhafter Ausgestaltung einen zylinderartigen starren Körper50 (Fingerhut) zur Aufnahme der Fingerspitze des Mittelfingers des Probanden3, wobei innerhalb des zylinderartigen starren Körpers50 eine Aktorschicht51 angeordnet ist, deren Volumen mittels einer über die Zuleitung30 übertragbaren elektrischen Spannung oder eines über die Zuleitung30 übertragbaren elektrischen Stromes veränderbar ist. Die Aktorschicht51 ist dabei derart an der Innenseite52 des zylinderartigen starren Körpers50 angeordnet, dass die Fingerspitze des Mittelfingers des Probanden3 (bei bestimmungsgemäßer Verwendung des Datenhandschuhs40 bzw.41) ganz oder teilweise von der Aktorschicht51 umschlossen wird. 4 shows the example of a cross section of the receivingelement 22 An embodiment of the advantageous embodiment of the receivingelements 22 . 23 respectively. 24 , The receivingelement 22 includes anLED 250 for illumination of thefinger reference point 25 , In an advantageous embodiment, it is provided that thedata glove 40 respectively. 41 one with the receivingelement 22 connected actuator for generating a haptic feedback includes. To implement such an actuator, the receiving element comprises 22 in an advantageous embodiment, a cylinder-like rigid body 50 (Thimble) for receiving the fingertip of the middle finger of the subject 3 , wherein within the cylinder-likerigid body 50 anactuator layer 51 is arranged, whose volume by means of a via thesupply line 30 transferable electrical voltage or one over thesupply line 30 transferable electric current is changeable. Theactuator layer 51 is so on the inside 52 of the cylinder-likerigid body 50 arranged that the fingertip of the middle finger of the subject 3 (if the data glove is used as intended 40 respectively. 41 ) completely or partially from theactuator layer 51 is enclosed.

Die Aktorschicht51 ist in vorteilhafter Ausgestaltung eine ein, insbesondere nicht-ionisches, dielektrisches Elastomer aufweisende Schicht bzw. umfasst eine derartige Schicht. Als dielektrische Elastomere können dabei z.B. in dem Artikel„Actuation response of polyacrylate dielectric elastomers“ von Kofod, Guggi, Kornbluh, Roy D., Pelrine, Ron, Sommer-Larsen, Peter, Proc. SPIE Vol. 4329, S. 141-147 offenbarte Materialien verwendet werden. Besonders gut geeignete Elastomere sind z.B. aus dem unter der Internetadresse robots.mit.edu/publications/PDF/188.pdf veröffentlichten Artikel „Hyper-Redundant Robot Manipulators Actuated by Optimized Binary Dielectric Polymers“ von Andreas Winger, Matthew Lichter, Steven Dubowsky, Moustapha Hafez, Department of Mechanical Engineering, Massachusetts Institute of Technology bekannt. Weitere verwendbare Elastomere (EAP) sind z.B. in derDE 101 51 556 A1,US 2002/0054060 A1,US 2002/0130673 A1 und derUS 6 586 859 B2 offenbart. Die Aktorschicht51 kann ggf. auch als Titan-Zink-Legierung oder über als magnetisch ansteuerbare sogenannte „Gedächtnis“-Legierung ausgestaltet sein.Theactuator layer 51 In an advantageous embodiment, it is a layer comprising, in particular, non-ionic, dielectric elastomer, or comprises such a layer. As dielectric elastomers can eg in the article "Actuation Response of polyacrylate dielectric elastomers" by Kofod, Guggi, Kornbluh, Roy D., Pelrine, Ron, Sommer-Larsen, Peter, Proc. SPIE Vol. 4329, pp. 141-147 disclosed materials are used. Particularly suitable elastomers are, for example, from the article "Hyper-Redundant Robot Manipulators Actuated by Optimized Binary Dielectric Polymers" published by Roberts.mit.edu/publications/PDF/188.pdf by Andreas Winger, Matthew Lichter, Steven Dubowsky, Moustapha Hafez, Department of Mechanical Engineering, Massachusetts Institute of Technology. Other suitable elastomers (EAP) are, for example in the DE 101 51 556 A1 . US 2002/0054060 A1 . US 2002/0130673 A1 and the US Pat. No. 6,586,859 B2 disclosed. Theactuator layer 51 If appropriate, it can also be designed as a titanium-zinc alloy or as a magnetically controllable so-called "memory" alloy.

5 zeigt am Beispiel eines weiteren Ausführungsbeispiels eines Querschnittes des Aufnahmeelementes22 eine weitere vorteilhafte Ausgestaltung der Aufnahmeelemente22,23 bzw.24, wobei gleiche Bezugszeichen wie in4 gleiche oder gleichartige Elemente bezeichnen. Zur Implementierung eines vorgenannten Aktors umfasst das in5 dargestellte Ausführungsbeispiel des Aufnahmeelementes22 in vorteilhafter Ausgestaltung einen an der Papillenseite (des Fingers) geschlitzten Fingerhut61, der in einem starren Körper60 angeordnet sein kann. Um den geschlitzten Fingerhut61 herum ist eine Wicklung62, d.h. ein als Spule bzw. Coil gewickelter Draht, derart angeordnet, dass die Fingerspitze des Mittelfingers des Probanden3 (bei bestimmungsgemäßer Verwendung des Datenhandschuhs40 bzw.41) ganz oder teilweise von der Wicklung62 umschlossen wird. Die Wicklung62 ist derart (z.B. als Titan-Zink-Legierung) ausgestaltet, dass ihre Länge mittels einer elektrischen Spannung oder eines elektrischen Stromes veränderbar ist. Die Wicklung62 ist derart um den geschlitzten Fingerhut61 gewickelt, dass bei einem Zusammenziehen der Wicklung62 der Fingerhut61 auf die Papille des entsprechenden Fingers wirkt und die andere Seite (zum Fingernagel hin) eine Kraft aufnimmt. 5 shows the example of another embodiment of a cross section of the receiving element 22 a further advantageous embodiment of the receivingelements 22 . 23 respectively. 24 , wherein the same reference numerals as in 4 designate identical or similar elements. To implement an aforementioned actuator, the in 5 illustrated embodiment of the receivingelement 22 in an advantageous embodiment, a thimble slit on the papilla side (of the finger) 61 who is in arigid body 60 can be arranged. To the slottedthimble 61 there is a winding around 62 ie a wire wound as a coil or coil, arranged such that the fingertip of the middle finger of the subject 3 (if the data glove is used as intended 40 respectively. 41 ) completely or partially from the winding 62 is enclosed. The winding 62 is designed (eg as a titanium-zinc alloy) such that its length is variable by means of an electrical voltage or an electric current. The winding 62 is so around the slottedthimble 61 wrapped that when contraction of the winding 62 thethimble 61 on the papilla of the corresponding finger acts and the other side (to the fingernail) receives a force.

Mittels des Auswertesystems15 kann aus den Ausgangssignalen der Kameras10,11,12,13 durch Auswertung der Handreferenzpunkte210,211,212,213,214 die Position der Hand4 sowie deren Haltung (Drehrichtung) ermittelt werden. Ausgehend von der Position und der Haltung der Hand4 kann das Auswertesystem15 aus den Ausgangssignalen der Kameras10,11,12,13 durch Auswertung der Fingerreferenzpunkte25,26,27 die Position der Fingerspitzen von Daumen, Zeigefinger und Mittelfinger der Hand4 ermitteln. Die Position der Fingerspitzen von Daumen, Zeigefinger und Mittelfinger der Hand4 können mittels des Auswertesystems15 räumlich einem virtuellen Kraftfahrzeug oder einem Bauteil eines virtuellen Kraftfahrzeuges zugeordnet werden.By means of theevaluation system 15 can be from the output signals of thecameras 10 . 11 . 12 . 13 by evaluation of thehand reference points 210 . 211 . 212 . 213 . 214 the position of thehand 4 and their attitude (direction of rotation) are determined. Based on the position and posture of thehand 4 can theevaluation system 15 from the output signals of thecameras 10 . 11 . 12 . 13 by evaluation of the finger reference points 25 . 26 . 27 the position of the fingertips of the thumb, forefinger and middle finger of thehand 4 determine. The position of the fingertips of the thumb, forefinger and middle finger of thehand 4 can by means of theevaluation system 15 spatially assigned to a virtual motor vehicle or a component of a virtual motor vehicle.

Kommt es zu einer Berührung einer der Fingerspitzen von Daumen, Zeigefinger und Mittelfinger der Hand4 mit dem virtuellen Kraftfahrzeug oder dem Bauteil des virtuellen Kraftfahrzeuges, so kann diese Berührung durch eine unter Bezugnahme auf4 bzw.5 beschriebene haptische Rückkopplung für den Probanden simuliert werden. Dazu wird mittels der drahtlosen Kommunikationsverbindung5 ein entsprechender Steuerbefehl von dem Auswertesystem15 an den Funk-IC20 übertragen, der wiederum eine elektrische Größe zur entsprechenden Anregung der Aktorschicht51 bzw. der Wicklung62 des entsprechenden Aufnahmeelementes22,23,24 erzeugt. Zusätzlich können visuelle, akustische und evtl. olfaktorische Feedbacks vorgesehen werden.If there is a touch of one of the fingertips of the thumb, forefinger and middle finger of thehand 4 with the virtual motor vehicle or the component of the virtual motor vehicle, this contact can by a reference to 4 respectively. 5 described haptic feedback can be simulated for the subject. This is done by means of the wireless communication link 5 a corresponding control command from theevaluation system 15 to theradio IC 20 transferred, in turn, an electrical variable for the corresponding excitation of theactuator layer 51 or the winding 62 the corresponding receivingelement 22 . 23 . 24 generated. In addition, visual, acoustic and possibly olfactory feedbacks can be provided.

7 zeigt ein Verfahren zum Herstellen eines Kraftfahrzeuges oder eines Bauteils für ein Kraftfahrzeug. Dabei wird das Kraftfahrzeug oder das Bauteil in einen Schritt70 entworfen. Dem Schritt70 folgt ein Schritt71, in dem ein Virtual-Reality-Modell des Kraftfahrzeuges oder des Bauteils erzeugt wird. Dem Schritt71 folgt ein Schritt72 in dem das Virtual-Reality-Modell des Kraftfahrzeuges oder des Bauteils durch Probanden wie den Probanden3 unter Verwendung des Virtual-Reality-Systems1 bzw. des Datenhandschuhs40 oder41 gemäß dem unter Bezugnahme auf1,2,3,4 und5 beschriebenen Verfahren getestet und bewertet wird. 7 shows a method of manufacturing a motor vehicle or a component for a motor vehicle. In this case, the motor vehicle or the component in onestep 70 designed. Thestep 70 follows astep 71 in which a virtual reality model of the motor vehicle or the component is generated. Thestep 71 follows astep 72 in which the virtual reality model of the motor vehicle or the component by subjects such as thesubjects 3 using thevirtual reality system 1 or thedata glove 40 or 41 according to with reference to 1 . 2 . 3 . 4 and 5 tested and evaluated.

Dem Schritt72 folgt eine Abfrage73, ob das auf diese Weise getestete Kraftfahrzeug oder Bauteil (aufgrund der Testergebnisse bzw. der Bewertung) implementiert werden soll. Soll das auf vorgenannte Weise getestete Kraftfahrzeug oder Bauteil implementiert werden, so folgt der Abfrage73 ein Schritt74, in dem das Kraftfahrzeug oder das Bauteil implementiert wird. Soll das auf vorgenannte Weise getestete Kraftfahrzeug oder Bauteil dagegen so nicht implementiert werden, so folgt der Abfrage73 der Schritt70, in dem das Kraftfahrzeug oder das Bauteil verändert entworfen wird.Thestep 72 follows aquery 73 whether the vehicle or component tested in this way should be implemented (on the basis of the test results or the rating). If the motor vehicle or component tested in the aforementioned manner is to be implemented, the query follows 73 astep 74 in which the motor vehicle or the component is implemented. On the other hand, if the motor vehicle or component tested in the aforementioned manner is not to be implemented in this way, the query follows 73 thestep 70 in which the motor vehicle or component is designed to be altered.

Das unter Bezugnahme auf1,2,3,4 und5 beschriebene Virtual-Reality-System1 kann unter entsprechender Abwandlung auch für andere Körperteile (Hand, Arm, Knie, Fuß, usw.) eingesetzt werden.With reference to 1 . 2 . 3 . 4 and 5 describedvirtual reality system 1 can be used with appropriate modification for other body parts (hand, arm, knee, foot, etc.).

Die Elemente in1 sind unter Berücksichtigung von Einfachheit und Klarheit und nicht notwendigerweise maßstabsgetreu gezeichnet. So sind z.B. die Größenordnungen einiger Elemente übertrieben gegenüber anderen Elementen dargestellt, um das Verständnis der Ausführungsbeispiele der vorliegenden Erfindung zu verbessern.The elements in 1 are drawn in the light of simplicity and clarity and not necessarily to scale. For example, the magnitudes of some elements are exaggerated over other elements to enhance understanding of the embodiments of the present invention.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11

Virtual-Reality-SystemVirtual Reality System

22

Versuchsanordnungexperimental arrangement

33

ProbandFamily

44

Handhand

55

drahtlose Kommunikationsverbindungwireless communication connection

10, 11, 12, 1310, 11, 12, 13

Kameracamera

1515

Auswertesystemevaluation system

2020

Funk-ICRF IC

2121

Referenzkörperreference body

22, 23, 2422, 23, 24

Aufnahmeelementreceiving element

25, 26, 2725, 26, 27

FingerreferenzpunktFinger reference point

30, 31, 32, 3630, 31, 32, 36

Zuleitungsupply

3535

Energiespeicherenergy storage

3737

Befestigungsbandfixing tape

40, 4140, 41

DatenhandschuhData glove

50, 6050, 60

starrer Körperrigid body

5151

Aktorschichtactuator layer

5252

Innenseiteinside

6161

Fingerhutfoxglove

6262

Wicklungwinding

70, 71, 72, 7470, 71, 72, 74

Schrittstep

7373

Abfragequery

210, 211, 212, 213,214210, 211, 212, 213.214

HandreferenzpunktHand reference point

215,216,217,218215,216,217,218

StabRod

250250

LEDLED

Claims (6)

Translated fromGerman

Datenhandschuh (40, 41) mit einem Referenzkörper (21), der zumindest zwei räumlich durch Stäbe getrennte mittels einer Kamera (10, 11, 12, 13) als Referenzpunkte identifizierbare Handreferenzpunkte (210, 211, 212, 213, 214) umfasst, wobei der Datenhandschuh (40, 41) zumindest ein Aufnahmeelement (22, 23, 24) zur Aufnahme einer Fingerspitze eines Probanden (3) oder eines Teils eines Fingers des Probanden (3) umfasst, wobei das Aufnahmeelement (22, 23, 24) zumindest einen mittels der Kamera (10, 11, 12, 13) oder einer weiteren Kamera als Referenzpunkt identifizierbaren Fingerreferenzpunkt (25, 26, 27) umfasst, und wobei der Datenhandschuh (40, 41) einen mit dem Aufnahmeelement (22, 23, 24) verbundenen Aktor zur Erzeugung einer haptischen Rückkopplung umfasst.Data glove (40, 41) with a reference body (21) comprising at least two spatially separated by bars by means of a camera (10, 11, 12, 13) as reference points identifiable hand reference points (210, 211, 212, 213, 214), wherein the data glove (40, 41) comprises at least one receiving element (22, 23, 24) for receiving a fingertip of a subject (3) or a part of a finger of the subject (3), wherein the receiving element (22, 23, 24) at least one by means of the camera (10, 11, 12, 13) or another camera as a reference point identifiable finger reference point (25, 26, 27), and wherein the data glove (40, 41) connected to the receiving element (22, 23, 24) Includes actuator for generating a haptic feedback.Datenhandschuh (40, 41) nachAnspruch 1,dadurch gekennzeichnet, dass der Fingerreferenzpunkt (25, 26, 27) ein Leuchtmittel (250) umfasst.Data glove (40, 41) after Claim 1 ,characterized in that the finger reference point (25, 26, 27) comprises a lighting means (250).Datenhandschuh (40, 41) nachAnspruch 1 oder2,dadurch gekennzeichnet, dass der Referenzkörper (21) zumindest vier, insbesondere fünf, räumlich getrennte Handreferenzpunkte (210, 211, 212, 213, 214) umfasst.Data glove (40, 41) after Claim 1 or 2 ,characterized in that the reference body (21) at least four, in particular five, spatially separated manual reference points (210, 211, 212, 213, 214).Datenhandschuh (40, 41) nachAnspruch 1,2 oder3,dadurch gekennzeichnet, dass der Datenhandschuh (40, 41) derart ausgestaltet ist, dass der Referenzkörper (21) auf einem Handrücken des Probanden (3) angeordnet ist.Data glove (40, 41) after Claim 1 . 2 or 3 ,characterized in that the data glove (40, 41) is designed such that the reference body (21) on a back of the hand of the subject (3) is arranged.Datenhandschuh (40, 41) nach einem der vorhergehenden Ansprüche,dadurch gekennzeichnet, dass die mittels des Aktors erzeugte haptische Rückkopplung der Simulation einer Berührung eines virtuellen Gegenstandes dient.Data glove (40, 41) according to any one of the preceding claims,characterized in that the haptic feedback generated by the actuator of the simulation of a touch of a virtual object is used.Datenhandschuh (40, 41) nach einem der vorhergehenden Ansprüche,dadurch gekennzeichnet, dass der Aktor eine Aktorschicht (51) umfasst, deren Volumen mittels einer elektrischen Spannung oder eines elektrischen Stromes veränderbar ist.Data glove (40, 41) according to any one of the preceding claims,characterized in that the actuator comprises an actuator layer (51) whose volume is variable by means of an electrical voltage or an electric current.

Images