PROCEDE ET DISPOSITIF DE COMMANDE POUR PERSONNE HANDICAPEE METHOD AND DEVICE FOR CONTROLLING PERSON WITH DISABILITIES
La présente invention concerne un procédé et un dispositif de commande pour personne handicapée. Elle s'applique, en particulier, à la commande, à distance, d'un ordinateur.The present invention relates to a method and a control device for a disabled person. It applies, in particular, to the remote control of a computer.
Les inventeurs ont déterminé qu'il existe un besoin des personnes atteintes de paralysie des membres supérieurs, de tétraplégie, de paralysie cérébrale, de dystrophie musculaire, de sclérose en plaques, et LIS (acronyme de « Locked-ln-Syndrome » pour, en français, syndrome de l'enfermement), ... Ce besoin concerne leur interaction avec leur environnement, notamment par l'intermédiaire d'un ordinateur. Leurs capacités motrices étant limitées, voire inexistantes selon de la pathologie concernée, il est nécessaire de palier ce handicap par un moyen technique. On connaît plusieurs moyens techniques permettant à une personne paralysée d'interagir avec son entourage. Ces aides techniques se matérialisent, la plupart du temps, par des appareils électroniques qui intègrent différents systèmes de capteurs. Certains de ces appareils sont des dispositifs qui suivent le mouvement des yeux, d'autres celui de la tête. Car dans ces types de pathologies, seuls les muscles des yeux et parfois ceux de la tête restent fonctionnels. Les technologies employées par de tels systèmes sont : l'infrarouge, les ultra-sons, la vidéo, les capteurs de mouvements (accéléromètres et gyroscopes). Ces systèmes s'interfacent, dans la plupart des cas, avec un ordinateur ou un appareil électronique permettant des fonctionnalités supplémentaires. Ils permettent alors d'interpréter les mouvements de la tête, ou des yeux le cas échéant, afin de déplacer un pointeur à l'écran de l'ordinateur, comme une souris. Ces appareils sont donc des appareils de pointage.The inventors have determined that there is a need for people with upper limb paralysis, quadriplegia, cerebral palsy, muscular dystrophy, multiple sclerosis, and LIS (acronym for "Locked-In-Syndrome" for, in French, syndrome of confinement), ... This need concerns their interaction with their environment, especially via a computer. Their motor skills are limited or non-existent depending on the pathology concerned, it is necessary to overcome this handicap by a technical means. Several technical means are known that enable a paralyzed person to interact with his surroundings. Most of these technical aids are electronic devices that integrate different sensor systems. Some of these devices are devices that follow the movement of the eyes, others that of the head. Because in these types of diseases, only the muscles of the eyes and sometimes those of the head remain functional. The technologies used by such systems are: infrared, ultrasound, video, motion sensors (accelerometers and gyroscopes). These systems interface, in most cases, with a computer or electronic device allowing additional features. They can then interpret the movements of the head, or eyes if necessary, to move a pointer to the screen of the computer, like a mouse. These devices are therefore pointing devices.
Cependant, ces appareils ne sont que des appareils de pointage, et aucun de ces appareils n'intègre un système de validation ou de commande. Pour pallier ce manque, les fabricants proposent des appareils périphériques, comme un contacteur actionné par souffle, ou des programmes qui interprètent certaines durées d'immobilité comme un « clic » de souris. Ces appareils sont complexes, onéreux et sujets à de nombreuses fausses détections, positives ou négatives.However, these devices are only pointing devices, and none of these devices integrate a validation or control system. To overcome this shortage, manufacturers offer peripheral devices, such as a blast-powered contactor, or programs that interpret certain periods of immobility as a "click" of the mouse. These devices are complex, expensive and subject to many false detections, positive or negative.
La présente invention vise à remédier à ces inconvénients.The present invention aims to remedy these disadvantages.
A cet effet, selon un premier aspect, la présente invention vise un dispositif de commande pour personne handicapée, caractérisé en ce qu'il comporte : un moyen d'émission de lumière infrarouge vers un globe oculaire de ladite personne, un moyen de réception de lumière infrarouge réfléchie par le globe oculaire ou la paupière de l'utilisateur, adapté à émettre un signal représentatif de la quantité de lumière réfléchie, un moyen de détection de la fermeture complète de la paupière de l'utilisateur, en fonction du signal émis par le moyen de réception de lumière et un moyen de commande d'un appareil en fonction de ladite détection. Ainsi, on associe, dans un unique dispositif, des moyens de commande d'un appareil, par exemple un fauteuil roulant, un commutateur ou un actionneur. Ce dispositif comporte un moyen de détection de clignements d'un œil de l'utilisateur efficace et peu onéreux. La commande, ou validation, peut ainsi être effectuée facilement, sans effort. L'utilisateur peut ainsi déclencher des actions à distance, par exemple pour allumer un éclairage ou un dispositif électronique.For this purpose, according to a first aspect, the present invention is directed to a control device for a handicapped person, characterized in that it comprises: means for emitting infrared light towards an eyeball of said person, means for receiving infrared light reflected by the eyeball or the eyelid of the user, adapted to emit a signal representative of the amount of reflected light, a means for detecting the complete closure of the eyelid of the user, in function of the signal emitted by the light receiving means and control means of an apparatus according to said detection. Thus, in a single device, means for controlling an apparatus, for example a wheelchair, a switch or an actuator, are associated. This device comprises means for detecting blinks of an eye of the user effective and inexpensive. The order, or validation, can thus be carried out easily, without effort. The user can thus trigger remote actions, for example to turn on a lighting or an electronic device.
Selon des caractéristiques particulières, le dispositif objet de la présente invention, tel que succinctement exposé ci-dessus comporte, en outre, un moyen de pointage adapté à positionner un curseur sur un objet affiché sur un écran en fonction de l'attitude de la tête et/ou de la fermeture des paupières de ladite personne, le moyen de commande étant adapté à valider une fonction représentée par ledit objet sur lequel ledit curseur est positionné.According to particular features, the device which is the subject of the present invention, as briefly described above, furthermore comprises a pointing means adapted to position a cursor on an object displayed on a screen according to the attitude of the head. and / or closing the eyelids of said person, the control means being adapted to validate a function represented by said object on which said cursor is positioned.
Ainsi, on associe, dans un unique dispositif, un système de pointage et un système de commande avancés. Ce dispositif se comporte alors comme un périphérique électronique reconnu par tout ordinateur sans besoin d'installer de pilote spécifique ou de programme spécifique. On fournit ainsi une interface homme-machine de type pointeur pour ordinateur, piloté à distance par les mouvements de la tête, le clic de souris étant commandé par le mouvement d'au moins une paupière. Cette interface peut ainsi remplacer une souris d'ordinateur.Thus, it is associated in a single device, a pointing system and an advanced control system. This device then behaves like an electronic device recognized by any computer without the need to install a specific driver or specific program. A computer pointer-type human-machine interface is thus provided, remotely controlled by the movements of the head, the mouse click being controlled by the movement of at least one eyelid. This interface can thus replace a computer mouse.
Selon des caractéristiques particulières, ledit moyen de pointage comporte un moyen de détection de mouvements de la tête.According to particular features, said pointing means comprises means for detecting movements of the head.
Le pointage est ainsi aisé, précis et progressif.The score is thus easy, precise and progressive.
Selon des caractéristiques particulières, le moyen de pointage est adapté à déplacer le curseur verticalement ou horizontalement, en fonction de mouvements de haut en bas, respectivement latéraux, du visage de l'utilisateur.According to particular features, the pointing means is adapted to move the cursor vertically or horizontally, depending on movements from top to bottom, respectively lateral, of the face of the user.
Selon des caractéristiques particulières, le moyen de pointage comporte au moins un gyroscope.According to particular features, the pointing means comprises at least one gyroscope.
Selon des caractéristiques particulières, le moyen de pointage comporte au moins un accéléromètre.According to particular features, the pointing means comprises at least one accelerometer.
Grâce à chacune de ces dispositions, le moyen de pointage est précis, autonome, de réalisation peu onéreuse et peut être miniaturisé. Selon des caractéristiques particulières, le moyen de pointage met en œuvre le signal représentatif de la quantité de lumière réfléchie.With each of these provisions, the pointing means is accurate, autonomous, inexpensive and can be miniaturized. According to particular characteristics, the pointing means implements the signal representative of the amount of reflected light.
Selon des caractéristiques particulières, le dispositif objet de la présente invention, tel que succinctement exposé ci-dessus comporte un boîtier ergonomique épousant la forme de la tête de ladite personne et incorporant au moins une carte électronique et au moins une batterie rechargeable.According to particular features, the device which is the subject of the present invention, as briefly described above, comprises an ergonomic housing matching the shape of the head of said person and incorporating at least one electronic card and at least one rechargeable battery.
Le dispositif objet de la présente invention est ainsi autonome.The device object of the present invention is thus autonomous.
Selon des caractéristiques particulières, le dispositif objet de la présente invention comporte un moyen d'émission d'un rayon lumineux visible. L'utilisateur peut ainsi désigner une personne ou un objet en pointant sur lui le rayon lumineux.According to particular features, the device which is the subject of the present invention comprises means for emitting a visible light beam. The user can thus designate a person or an object by pointing at him the light ray.
Selon des caractéristiques particulières, le dispositif objet de la présente invention comporte un émulateur de signaux de souris informatique adapté à fournir, à un terminal informatique, des signaux représentatifs des signaux de commande.According to particular features, the device that is the subject of the present invention comprises a computer mouse signal emulator adapted to supply, to a computer terminal, signals representative of the control signals.
Le dispositif est ainsi reconnu comme une souris par tout système informatique et ne nécessite pas, pour fonctionner, d'implanter un logiciel ou un pilote spécifique.The device is thus recognized as a mouse by any computer system and does not require, in order to operate, to implement a specific software or driver.
Selon des caractéristiques particulières, le moyen de commande est adapté à émuler un clic gauche de souris en fonction de mouvements de la paupière gauche de l'utilisateur.According to particular features, the control means is adapted to emulate a left mouse click according to movements of the left eyelid of the user.
Selon des caractéristiques particulières, le moyen de commande est adapté à émuler un clic droit de souris en fonction de mouvements de la paupière droite de l'utilisateur. Selon des caractéristiques particulières, le moyen de commande est adapté à déclencher au moins un contacteur en fonction de mouvements d'au moins une paupière de l'utilisateur.According to particular features, the control means is adapted to emulate a right mouse click according to movements of the right eyelid of the user. According to particular features, the control means is adapted to trigger at least one switch according to movements of at least one eyelid of the user.
Selon des caractéristiques particulières, le moyen de commande est adapté à fonctionner selon au moins deux modes de fonctionnement et un moyen de changement de mode de fonctionnement du moyen de commande adapté à changer le mode de fonctionnement en fonction de la durée de fermeture d'une paupière de l'utilisateur.According to particular features, the control means is adapted to operate in at least two modes of operation and means for changing the operating mode of the control means adapted to change the operating mode as a function of the closing time of a eyelid of the user.
Selon des caractéristiques particulières, le dispositif objet de la présente invention comporte un moyen d'affichage du mode de fonctionnement en regard d'un oeil de l'utilisateur. Selon des caractéristiques particulières, le dispositif objet de la présente invention comporte un moyen de détermination de niveau de charge de batterie et un moyen d'affichage d'un niveau de charge de batterie en regard d'un œil de l'utilisateur.According to particular features, the device that is the subject of the present invention comprises means for displaying the operating mode with regard to an eye of the user. According to particular features, the device that is the subject of the present invention comprises a battery charge level determination means and a battery charge level display means facing an eye of the user.
Selon des caractéristiques particulières, le dispositif objet de la présente invention comporte un moyen de détection de problème de fonctionnement et un moyen d'affichage de problème de fonctionnement en regard d'un œil de l'utilisateur. Selon des caractéristiques particulières, le dispositif objet de la présente invention comporte au moins un écouteur en regard d'une oreille de l'utilisateur et un moyen de réception de signaux audio en provenance d'un terminal informatique.According to particular features, the device that is the subject of the present invention comprises an operating problem detection means and an operating problem display means facing an eye of the user. According to particular features, the device that is the subject of the present invention comprises at least one earpiece facing an ear of the user and means for receiving audio signals coming from a computer terminal.
Selon un deuxième aspect, la présente invention vise un procédé de pointage pour personne handicapée, caractérisé en ce qu'il comporte : une étape d'émission de lumière infrarouge vers un globe oculaire de ladite personne, une étape de réception de lumière infrarouge réfléchie par le globe oculaire ou la paupière de l'utilisateur et d'émission d'un signal représentatif de la quantité de lumière réfléchie, une étape de détection de la fermeture complète de la paupière de l'utilisateur, en fonction du signal émis par le moyen de réception de lumière et une étape de commande d'un appareil en fonction de ladite détection. Les avantages, buts et caractéristiques particulières de ce procédé étant similaires à ceux du dispositif objet de la présente invention, tel que succinctement exposé ci-dessus, ils ne sont pas rappelés ici.According to a second aspect, the present invention aims at a pointing method for a handicapped person, characterized in that it comprises: a step of emitting infrared light towards an eyeball of said person, a step of receiving infrared light reflected by the eyeball or eyelid of the user and transmitting a signal representative of the amount of reflected light, a step of detecting the complete closure of the eyelid of the user, as a function of the signal emitted by the means receiving light and a step of controlling an apparatus according to said detection. Since the advantages, aims and particular characteristics of this method are similar to those of the device which is the subject of the present invention, as briefly described above, they are not mentioned here.
D'autres avantages, buts et caractéristiques de la présente invention ressortiront de la description qui va suivre, faite, dans un but explicatif et nullement limitatif en regard des dessins annexés, dans lesquels : - la figure 1 représente, schématiquement, un premier mode de réalisation particulier du dispositif objet de la présente invention, les figures 2A et 2B représentent, sous forme de logigrammes, des étapes mises en œuvre dans un mode de réalisation particulier du procédé objet de la présente invention, - la figure 3 représente un deuxième mode de réalisation particulier du dispositif objet de la présente invention, la figure 4 représente, sous forme éclatée, un élément du dispositif illustré en figure 3, la figure 5 représente, schématiquement, un appareil adapté à être commandé, à distance, par l'un des modes de réalisation du dispositif objet de la présente invention et la figure 6 représente, sous forme éclatée, un élément d'une variante du dispositif illustré en figure 3.Other advantages, aims and features of the present invention will emerge from the description which follows, made for an explanatory and non-limiting purpose with reference to the appended drawings, in which: FIG. 1 represents, schematically, a first embodiment of Particular embodiment of the device according to the present invention, FIGS. 2A and 2B show, in the form of logic diagrams, the steps implemented in a particular embodiment of the method that is the subject of the present invention; FIG. Particular embodiment of the device according to the present invention, FIG. 4 represents, in exploded form, an element of the device illustrated in FIG. 3, FIG. 5 schematically represents an apparatus adapted to be controlled remotely by one of the embodiments of the device that is the subject of the present invention and FIG. 6 represents, in exploded form, an element of a varia of the device illustrated in FIG.
On observe, en figure 1 , un dispositif 100 comportant un boîtier ergonomique 105 épousant la forme de la tête de l'utilisateur et incorporant un circuit électronique 110, deux émetteurs 115d et 115g de rayons infrarouges orientés, respectivement, vers les yeux de l'utilisateur, deux récepteurs 12Od et 120g de rayons infrarouges réfléchis par les yeux de l'utilisateur, une diode électroluminescente 125, une source de lumière visible 130, un connecteur 135, deux écouteurs 14Od et 140g et une batterie rechargeable 145.FIG. 1 shows a device 100 comprising an ergonomic housing 105 conforming to the shape of the user's head and incorporating an electronic circuit 110, two emitters 115d and 115g of infrared rays oriented, respectively, towards the eyes of the user. user, two receivers 12Od and 120g of infrared rays reflected by the eyes of the user, a light emitting diode 125, a visible light source 130, a connector 135, two earphones 14Od and 140g and a rechargeable battery 145.
Le boîtier ergonomique 105 prend, ici, la forme générale de lunettes optiques, c'est-à- dire qu'il est en appui sur les oreilles de l'utilisateur, de telle manière que les écouteurs 14Od et 140g sont en regard, respectivement, des oreilles de l'utilisateur. Il est, par ailleurs, en appui sur les tempes et les arcades sourcilières de l'utilisateur, de manière à présenter les émetteurs 115d et 115g, les récepteurs 12Od et 120g et la diode électroluminescente en regard des yeux de l'utilisateur mais à côté de son champ visuel central.The ergonomic housing 105 here takes the general shape of optical glasses, that is to say it is resting on the user's ears, so that the headphones 14Od and 140g are facing, respectively , the ears of the user. It is, moreover, resting on the temples and the eyebrows of the user, so as to present the 115d and 115g transmitters, the receivers 12Od and 120g and the light emitting diode next to the eyes of the user but beside of his central visual field.
Dans d'autres modes de réalisation, le boîtier ergonomique prend la forme générale d'un casque audio enserrant, par-dessus, la tête de l'utilisateur. Dans d'autres modes de réalisation, le boîtier ergonomique prend la forme d'un chapeau, d'une paire de lunette ou d'une casquette posée sur la tête de l'utilisateur.In other embodiments, the ergonomic housing takes the general form of a headset enclosing, over the head of the user. In other embodiments, the ergonomic housing takes the form of a hat, a pair of glasses or a cap placed on the head of the user.
Le circuit électronique 110 peut être constitué d'une seule carte électronique ou d'une carte mère et de cartes filles. Préférentiellement basé sur un microcontrôleur, le circuit électronique 110 réalise les fonctions décrites plus loin.The electronic circuit 110 may consist of a single electronic card or a motherboard and daughter cards. Preferably based on a microcontroller, the electronic circuit 110 performs the functions described below.
En ce qui concerne les émetteurs 115d et 115g, les récepteurs 12Od et 120g et les écouteurs 140d et 140g, la lettre « d » de ces références signifie qu'ils concernent la moitié droite de la tête de l'utilisateur et la lettre « g » signifie qu'ils concernent la moitié gauche de la tête de l'utilisateur. Pour des raisons de concision, on ne décrit, dans le paragraphe suivant, que les éléments concernant la partie gauche.For 115d and 115g transmitters, 12Od and 120g receivers and 140d and 140g headphones, the letter "d" in these references means that they relate to the right half of the user's head and the letter "g". Means that they concern the left half of the user's head. For the sake of brevity, only the elements concerning the left-hand side are described in the following paragraph.
L'émetteur 115g de rayons infrarouge émet une lumière de faible intensité, pour ne pas échauffer ou dessécher l'œil de l'utilisateur, dans le proche infrarouge, vers l'œil de l'utilisateur de telle manière que, lorsque l'œil gauche de l'utilisateur est ouvert, des rayons se reflètent, sur la cornée, vers le récepteur 120g. L'émetteur 115g est, par exemple, constitué d'une diode infrarouge. Le récepteur 120g est, par exemple, constitué d'un phototransistor.The 115g emitter of infrared rays emits a light of low intensity, so as not to warm up or dry out the user's eye, in the near infrared, towards the eye of the user in such a way that, when the eye left of the user is open, rays are reflected on the cornea, to the receiver 120g. The transmitter 115g is, for example, consisting of an infrared diode. The receiver 120g is, for example, consisting of a phototransistor.
Lorsque l'œil gauche de l'utilisateur est fermé, les rayons infrarouges émis par l'émetteur 115g sont dispersés par la paupière supérieure et la quantité de lumière infrarouge reçue par le récepteur 120g est beaucoup plus faible que lorsque l'œil est ouvert. Ainsi, le signal issu du récepteur 120g est représentatif de la position de la paupière gauche de l'utilisateur. Comme décrit plus loin, ce signal permet de commander un dispositif électrique, électronique ou informatique et, notamment, une validation équivalente à un clic gauche de souris.When the left eye of the user is closed, the infrared rays emitted by the transmitter 115g are scattered by the upper eyelid and the amount of infrared light received by the receiver 120g is much lower than when the eye is open. Thus, the signal from the receiver 120g is representative of the position of the left eyelid of the user. As described below, this signal makes it possible to control an electrical, electronic or computer device and, in particular, a validation equivalent to a left click of the mouse.
De manière similaire, le signal issu du récepteur 12Od est représentatif de la position de la paupière gauche de l'utilisateur et permet de commander un dispositif électrique, électronique ou informatique et, notamment, une validation équivalente à un clic droit de souris. La diode électroluminescente 125 est une diode électroluminescente multicolore, c'est-à-dire que, selon le signal qu'elle reçoit du circuit électronique 110, notamment sa tension, elle émet l'une de plusieurs couleurs, par exemple, rouge, vert et bleu. La diode électroluminescente 125 est placée dans le champ visuel de l'œil gauche de l'utilisateur, par exemple de manière très excentrée pour ne pas gêner son champ de vision.Similarly, the signal from the receiver 12Od is representative of the position of the left eyelid of the user and allows to control an electrical device, electronic or computer and, in particular, validation equivalent to a right mouse click. The light-emitting diode 125 is a multicolored light-emitting diode, that is to say that, depending on the signal it receives from the electronic circuit 110, in particular its voltage, it emits one of several colors, for example, red, green and blue. The light emitting diode 125 is placed in the field of view of the left eye of the user, for example very eccentrically so as not to hinder his field of vision.
La source de lumière visible 130 est une source de lumière focalisée, par exemple par l'utilisation d'au moins une lentille ou par utilisation d'une source laser. Elle émet un faisceau lumineux étroit dans une direction sensiblement parallèle à l'axe optique des yeux lorsqu'ils sont dans une position naturelle de repos. Si la source 130 est à laser, celui-ci est préférentiellement de classe « 1 ». Cette source 130 est fixée de façon rigide et solidaire au dispositif 105. Elle est en retrait par rapport au champ de vision des yeux, afin de ne pas provoquer de gêne oculaire, ni de blessures. Il permet à son utilisateur de viser, pointer ou désigner un objet ou une personne à distance. Le faisceau lumineux est donc dirigé par les mouvements de la tête. Le connecteur 135, par exemple de type conforme à la norme « USB » (acronyme deThe visible light source 130 is a focused light source, for example by using at least one lens or using a laser source. It emits a narrow light beam in a direction substantially parallel to the optical axis of the eyes when in a natural rest position. If the source 130 is laser, it is preferably of class "1". This source 130 is fixed rigidly and secured to the device 105. It is set back from the field of vision of the eyes, so as not to cause eye discomfort or injury. It allows the user to aim, point or point to an object or person remotely. The light beam is therefore directed by the movements of the head. The connector 135, for example of the type conforming to the "USB" standard (acronym for
Universal Sériai Bus » pour bus série universel) permet la liaison du dispositif 105 avec, par exemple, un ordinateur, un téléphone, un assistant personnel numérique connu sous le nom de PDA (acronyme de « personal digital assistant »), une radio, une télévision, un système multimédia ou un smart phone. Les écouteurs 140d et 140g permettent de transférer un flux audio depuis un appareil externe relié de manière filaire ou non filaire avec le dispositif 105, vers les oreilles de l'utilisateur.Universal Serial Bus "for universal serial bus) allows the connection of the device 105 with, for example, a computer, a telephone, a personal digital assistant known as PDA (acronym for" personal digital assistant "), a radio, a television, a multimedia system or a smart phone. The headphones 140d and 140g make it possible to transfer an audio stream from an external device connected in a wired or non-wired manner with the device 105, to the ears of the user.
La batterie 145 est rechargeable permet au dispositif 105 d'être autonome. Cette batterie peut être rechargée par l'utilisation d'un chargeur mettant en œuvre le connecteur 135 ou par l'intermédiaire du système électronique auquel ce connecteur est relié, par exemple un ordinateur.The battery 145 is rechargeable allows the device 105 to be autonomous. This battery can be recharged by using a charger implementing the connector 135 or through the electronic system to which this connector is connected, for example a computer.
Le dispositif 105 intègre aussi des capteurs (non représentés) de position, ou attitude, de la tête de l'utilisateur, par exemple des gyroscopes et/ou des accéléromètres, par exemple de type MEMS (acronyme de micro electro-mechanical Systems pour systèmes électro-mécaniques miniatures). Par exemple, il s'agit de capteurs inertiels LSI331AL marque ST Microelectronics ou de capteurs de la console de jeu vidéo Wii, marque déposée. En effet, les gyroscopes permettent de détecter les rotations effectuées par les mouvements de la tête autour d'au moins deux axes et les accéléromètres permettent de détecter des mouvements de translations suivant au moins deux directions. Les accéléromètres sont donc, préférentiellement positionnés loin de l'axe de rotation de la tête. Après le détail structurel du mode de réalisation particulier illustré en figure 1 , on donne, ci-dessous, une description des fonctions mises en œuvre par ce mode de réalisation particulier.The device 105 also integrates sensors (not shown) of position, or attitude, of the head of the user, for example gyroscopes and / or accelerometers, for example of the MEMS (acronym for micro electro-mechanical Systems for systems miniature electro-mechanical devices). For example, they are ST Microelectronics LSI331AL inertial sensors or Wii video game console sensors, registered trademark. In fact, the gyroscopes make it possible to detect the rotations made by the movements of the head around at least two axes and the accelerometers make it possible to detect movements of translations along at least two directions. The accelerometers are therefore preferably positioned far from the axis of rotation of the head. After the structural detail of the particular embodiment illustrated in FIG. 1, a description of the functions implemented by this particular embodiment is given below.
Le dispositif 105 est destiné à être porté sur la tête, et à fournir à son utilisateur un système complet de pointage et de validation à distance. Il permet notamment à l'utilisateur de piloter un ordinateur. Les principales caractéristiques de ce dispositif sont :The device 105 is intended to be worn on the head, and to provide its user with a complete system of pointing and remote validation. It allows the user to control a computer. The main features of this device are:
- portabilité,- portability,
- légèreté,- lightness,
- facilité de mise en œuvre et - interface avec l'ordinateur, avec ou sans fil.- ease of implementation and - interface with the computer, wired or wireless.
Les options du dispositif 105 comportent un adaptateur sans fil, un adaptateur secteur, un câble USB permettant, par exemple, de relier l'appareil à un micro-ordinateur, ou d'un câble spécifique permettant de relier l'appareil à un outil d'aide à la communication.The options of the device 105 include a wireless adapter, an AC adapter, a USB cable, for example, to connect the device to a microcomputer, or a specific cable to connect the device to a computer tool. help with communication.
Le circuit électronique 110 réalise les fonctions suivantes : - il détecte les mouvements horizontaux et verticaux de la tête de l'utilisateur,The electronic circuit 110 performs the following functions: it detects the horizontal and vertical movements of the head of the user,
- il détecter chaque clignement d'un œil de l'utilisateur,- it detects each blink of an eye of the user,
- il permet un pointage lumineux,- it allows a bright pointing,
- il met en œuvre différents modes de fonctionnement,- it implements different modes of operation,
- il permet à l'utilisateur de choisir le mode de fonctionnement, - il permet à un administrateur de choisir le mode de fonctionnement, par l'usage du clavier et/ou de la souris d'un terminal informatique ou d'un bouton du dispositif.- It allows the user to choose the operating mode, - It allows an administrator to choose the operating mode, by the use of the keyboard and / or the mouse of a computer terminal or a button of the device.
Le circuit électronique 110 et, par extension, le dispositif 105, possèdent quatre modes de fonctionnement : trois modes de fonctionnement usuel et un mode de réglage et calibrage. - le premier mode de fonctionnement, nommé mode « HID » (acronyme de HumanThe electronic circuit 110 and, by extension, the device 105, have four modes of operation: three usual operating modes and a setting and calibration mode. - the first mode of operation, named "HID" mode (acronym for Human
Interface Device pour dispositif d'interface humaine), correspond à l'utilisation faite par l'utilisateur afin de piloter un ordinateur en émulant un périphérique de pointage tel qu'une souris,Interface Device for human interface device), corresponds to the use made by the user to control a computer by emulating a pointing device such as a mouse,
- le deuxième mode de fonctionnement, nommé mode « laser », met en œuvre le faisceau de lumière focalisée émis par la source 130,the second mode of operation, called "laser" mode, implements the focused beam of light emitted by the source 130,
- le troisième mode de fonctionnement, nommé mode « contacteur », permet de piloter un outil d'aide à la communication ou tout autre outil technique disposant d'une ou deux entrées contacteur.- The third mode of operation, called "contactor" mode, can control a communication tool or other technical tool with one or two contactor inputs.
Le mode HID opère lorsque le dispositif 105 est connecté à un ordinateur et qu'il se comporte comme une souris et est reconnu comme tel par l'ordinateur. Le dispositif 105 interprète les mouvements de la tête afin de déplacer un curseur à l'écran de l'ordinateur. Les mouvements de la tête permettent alors de guider le curseur de la souris à l'écran : - les mouvements verticaux de la tête (plus précisément du visage) déplacent le curseur de la souris à l'écran de haut en bas ;The HID mode operates when the device 105 is connected to a computer and behaves like a mouse and is recognized as such by the computer. The device 105 interprets the movements of the head in order to move a cursor on the screen of the computer. The movements of the head can then guide the cursor of the mouse on the screen: - the vertical movements of the head (more precisely of the face) move the cursor of the mouse on the screen from top to bottom;
- les mouvements horizontaux déplacent le curseur de la souris à l'écran de gauche à droite. En combinant détection de rotations et d'accélérations de la tête, on obtient des déplacements très précis du curseur.- Horizontal movements move the mouse cursor to the screen from left to right. By combining detection of rotations and accelerations of the head, one obtains very precise displacements of the cursor.
Les clignements des yeux sont interprétés comme des actions sur les boutons de la souris :Blinking eyes are interpreted as actions on the mouse buttons:
- le clignement de l'œil gauche est considéré comme un clic sur le bouton gauche de la souris et- the blinking of the left eye is considered as a click on the left mouse button and
- le clignement de l'œil droit est considéré comme un clic sur le bouton droit de la souris.- The blinking of the right eye is considered as a click on the right button of the mouse.
En variante, les fermetures de paupière(s) sont aussi interprétées pour déplacer un curseur sur un écran d'ordinateur, en complément ou en remplacement des mouvements de la tête de l'utilisateur. Par exemple, la fermeture prolongée de l'une des paupières permet de passer de déplacements du curseur horizontaux vers la gauche à verticaux vers le haut, à horizontaux vers la droite et à verticaux vers le bas, de manière cyclique, la fermeture prolongée de l'autre paupière commandant le déplacement progressif dans la direction sélectionnée, une fermeture prolongée des deux paupières arrêtant le mouvement du curseur. On appelle ici fermeture « prolongée », la fermeture d'une paupière de durée supérieure à une durée prédéterminée, par exemple une seconde ou une demi-seconde, durée réglable et supérieure au clignement naturel des yeux.Alternatively, the eyelid closures (s) are also interpreted to move a cursor on a computer screen, in addition to or in replacement of the movements of the head of the user. For example, the prolonged closing of one of the eyelids makes it possible to go from horizontal cursor displacements to the left to vertical upwards, to horizontal to the right and vertical downwards, cyclically, the prolonged closure of the eyelid. another eyelid controlling the progressive movement in the selected direction, a prolonged closure of the two eyelids stopping the movement of the cursor. This term is called "prolonged" closure, the closing of an eyelid lasting longer than a predetermined duration, for example a second or a half-second, duration adjustable and greater than the natural blinking of the eyes.
En mode laser, la source de lumière visible 130 est allumée et permet à l'utilisateur, par des mouvements de la tête, de pointer sur une zone ou un objet dans le champ de vision de l'utilisateur.In laser mode, the visible light source 130 is turned on and allows the user, by movements of the head, to point to an area or object in the user's field of vision.
Le mode contacteur opère lorsque le dispositif 105 est relié à un appareil électronique externe tel qu'un outil d'aide à la communication disposant de connecteurs pour contacteurs. Une telle liaison est possible avec un câble spécifique fourni en option. Dans ce mode contacteur, les mouvements de la tête ne sont pas pris en compte pour effectuer une validation. En revanche, les clignements des yeux sont interprétés comme des actions sur deux contacteurs :The contactor mode operates when the device 105 is connected to an external electronic device such as a communication aid tool having connectors for contactors. Such a connection is possible with a specific cable provided as an option. In this contactor mode, the movements of the head are not taken into account to perform a validation. On the other hand, the blinks of the eyes are interpreted as actions on two contactors:
- un clignement de l'œil gauche provoque une action sur un premier contacteur et- a blinking of the left eye causes an action on a first contactor and
- un clignement de l'œil droit provoque une action sur un deuxième contacteur.- a blink of the right eye causes an action on a second contactor.
Le mode de réglage et calibrage permet à l'utilisateur de calibrer les capteurs de mouvements de sa tête. L'utilisateur peut ainsi déterminer la course maximum de sa tête suivant un axe vertical, puis selon un axe horizontal. Une fois ce mode de fonctionnement sélectionné, l'utilisateur est invité à positionner sa tête au plus bas suivant un déplacement vertical et à valider cette position par un clignement d'œil. Puis il doit positionner sa tête au plus haut suivant un déplacement vertical et à valider cette position par un clignement d'oeil. Ensuite, il doit pivoter sa tête horizontalement vers la gauche afin de définir sa position minimum, puis valider par un clignement d'œil. Enfin, il doit positionner la tête en la pivotant vers la droite au maximum de ses capacités, et valider cette position par un clignement d'œil. Le dispositif 105 fait correspondre les côtés de l'écran de l'ordinateur aux positions extrêmes de la tête ainsi trouvées. Une fois ces étapes terminées, le dispositif 105 passe en mode HID.The adjustment and calibration mode allows the user to calibrate the motion sensors of his head. The user can thus determine the maximum stroke of his head along a vertical axis and then along a horizontal axis. Once this mode of operation is selected, the user is invited to position his head at the lowest position following a displacement vertical position and to validate this position with a blink of an eye. Then he must position his head to the highest following a vertical movement and to validate this position by a blink of an eye. Then, he must rotate his head horizontally to the left in order to define his minimum position, then validate with a blink of an eye. Finally, he must position the head by turning it to the right to the maximum of its capacity, and validate this position by a wink. The device 105 matches the sides of the computer screen to the extreme positions of the head thus found. Once these steps are completed, the device 105 goes into HID mode.
Le mode de fonctionnement actif est indiqué par une couleur spécifique de la diode électroluminescente 125. Pour changer de mode, l'utilisateur laisser fermer son œil droit et, toutes les deux secondes, le mode suivant dans un cycle représentant les quatre modes de fonctionnement s'active. La diode électroluminescente 125 indique ainsi le mode de fonctionnement en cours, par une lumière d'intensité fixe, pendant cinq secondes, puis décroissante pour ne pas perturber la vision, ou éblouir l'utilisateur. L'option de communication sans fil utilise, préférentiellement, la norme BluetoothThe active mode of operation is indicated by a specific color of the light-emitting diode 125. To change the mode, the user allows to close his right eye and, every two seconds, the following mode in a cycle representing the four modes of operation. active. The light-emitting diode 125 thus indicates the current mode of operation, by a light of fixed intensity, for five seconds, then decreasing so as not to disturb the vision, or to dazzle the user. The wireless communication option uses, preferentially, the Bluetooth standard
(marque déposée) afin d'obtenir la compatibilité du dispositif 105 avec la majorité des systèmes informatiques actuels.(registered trademark) to obtain the compatibility of the device 105 with the majority of current computer systems.
Préférentiellement, le dispositif répond aux normes NF EN 61000-4, 61000-5 et 61000-6 en termes de compatibilité électromagnétique. Le niveau d'énergie de la batterie est signalé par un clignotement intermittent de la diode 125 lorsqu'il passe en dessous d'une valeur limite prédéterminée. Un faible niveau de batterie est indiqué par un clignotement orange de la diode 125 toutes les minutes, intermittent avec la couleur indicative du mode de fonctionnement du dispositif si cette affichage de mode de fonctionnement est en cours. Lorsque la batterie est chargée, la LED clignote verte toutes les 10 secondes pendant une minute, puis s'éteint.Preferably, the device meets the standards NF EN 61000-4, 61000-5 and 61000-6 in terms of electromagnetic compatibility. The battery power level is indicated by an intermittent flashing of the LED 125 as it passes below a predetermined limit value. A low battery level is indicated by an orange flash of LED 125 every minute, intermittent with the color indicative of the operating mode of the device if this operating mode display is in progress. When the battery is charged, the LED flashes green every 10 seconds for one minute and then turns off.
Le dispositif 105 comporte un moyen (non représenté mais de type connu) de détermination d'un niveau de charge de batterie, la diode 125 constituant un moyen d'affichage d'un niveau de charge de batterie en regard d'un œil de l'utilisateur.The device 105 comprises a means (not shown but of a known type) for determining a battery charge level, the diode 125 constituting a means of displaying a battery charge level opposite an eye of the battery. 'user.
Les alertes fonctionnent sur le même principe de clignotement de la diode 125 que les niveaux de batterie. Toutes les alertes sont représentées par la couleur rouge. Les alertes peuvent correspondre à :Alerts operate on the same principle of flashing diode 125 as the battery levels. All alerts are represented by the red color. Alerts can be:
- un problème de connexion,- A connection problem,
- une batterie complètement déchargée,- a completely discharged battery,
- un problème d'acquisition de données des capteurs, - divers autres problèmes. Le dispositif 105 comporte un moyen (non représenté mais de type connu) de détection de problème de fonctionnement, la diode 125 constituant un moyen d'affichage de problème de fonctionnement en regard d'un œil de l'utilisateur.- a problem of data acquisition of the sensors, - various other problems. The device 105 comprises means (not shown but of known type) for detecting an operating problem, the diode 125 constituting a means of displaying an operating problem facing an eye of the user.
En variante, le dispositif 105 intègre de nouveaux profils de la technologie Bluetooth, « HIDP » (acronyme de Human Interface Device Profile, pour profil de dispositif d'interface humaine) et « AD2P » (acronyme de Advanced Audio Distribution Profile pour profil de distribution audio avancé) afin d'interfacer le dispositif 105 avec différents périphériques électroniques existants et implémentant la technologie Bluetooth.In a variant, the device 105 integrates new profiles of Bluetooth technology, "HIDP" (acronym for Human Interface Device Profile, for human interface device profile) and "AD2P" (acronym for Advanced Audio Distribution Profile for distribution profile. advanced audio) for interfacing the device 105 with different existing electronic devices and implementing Bluetooth technology.
En variante, le dispositif 105 comporte un bouton principal permettant de mettre le dispositif en marche, en veille, de l'éteindre ou de changer de mode de fonctionnement.Alternatively, the device 105 includes a main button to turn the device on, standby, turn off or change the operating mode.
En variante, le dispositif 105 comporte un moyen de détermination de la luminosité ambiante et un moyen de commande de l'intensité lumineuse émise par la diode 125 et/ou par la source de lumière visible 130.In a variant, the device 105 comprises means for determining the ambient brightness and means for controlling the light intensity emitted by the diode 125 and / or by the visible light source 130.
Les figures 2A et 2B illustrent des étapes de fonctionnement du dispositif 105. Pour des raisons de clarté et de concision, n'ont été représentées ni les étapes concernant la détection du niveau de batterie et son affichage avec la diode 125, ni les étapes concernant la détection d'anomalies de fonctionnement et leur affichage avec la diode 125.FIGS. 2A and 2B illustrate the operating steps of the device 105. For the sake of clarity and brevity, neither the steps concerning the detection of the battery level and its display with the diode 125, nor the steps concerning the detection of malfunctions and their display with the diode 125.
Comme on l'observe, en figure 2A, après son initialisation, au cours d'une étape 205, le dispositif détecte s'il est relié à un ordinateur ou à un appareil électronique externe à contacteur. Cette liaison peut être filaire ou non filaire. Sa détection est de type connu de l'homme du métier, notamment par échange de message de connexion.As can be seen in FIG. 2A, after initialization, during a step 205, the device detects whether it is connected to a computer or an external electronic device with a contactor. This connection may be wired or non-wired. Its detection is of a type known to those skilled in the art, in particular by exchange of connection messages.
Si, au cours de l'étape 205, on détermine que le dispositif 105 est relié à un ordinateur, au cours d'une étape 210, on fait émettre à la diode électroluminescente 125, un signal d'une couleur représentant le mode de fonctionnement HID et on passe en mode HID. Puis, au cours d'une étape 215, on détermine si l'utilisateur cligne du seul œil droit. Si oui, au cours d'une étape 220, on détermine si ce clignement présente une durée supérieure à une durée prédéterminée, par exemple de deux secondes. Si oui, au cours d'une étape 225, on change de mode de fonctionnement, à chaque fois que cette durée prédéterminée est de nouveau écoulée, en suivant un cycle de modes, par exemple, mode HID, puis laser, puis contacteur, puis calibrage, puis HID et ainsi de suite. A chaque changement de mode de fonctionnement, on fait émettre, par la diode électroluminescente 125, un signal d'une couleur associée au nouveau mode de fonctionnement.If, during step 205, it is determined that the device 105 is connected to a computer, during a step 210, a signal of a color representing the operating mode is emitted to the light-emitting diode 125. HID and go into HID mode. Then, during a step 215, it is determined whether the user blinks the right eye alone. If yes, during a step 220, it is determined whether this blink has a duration greater than a predetermined duration, for example two seconds. If so, during a step 225, the operating mode is changed, each time this predetermined time is again elapsed, following a cycle of modes, for example, HID mode, then laser, then contactor, then calibration, then HID and so on. At each change of operating mode, a signal of a color associated with the new mode of operation is emitted by the light-emitting diode 125.
Si le résultat de l'étape 215 est négatif, si le résultat de l'étape 220 est négatif ou si le mode de fonctionnement correspondant à la fin du clignement de l'œil droit est le mode HID, au cours d'une étape 230, on positionne le curseur de souris au milieu de l'écran d'ordinateur. Puis, au cours d'une étape 235, on détermine si la tête de l'utilisateur a bougé.If the result of step 215 is negative, if the result of step 220 is negative or if the operating mode corresponding to the end of the blinking of the right eye is the HID mode, during a step 230 , we position the mouse cursor in the middle of the computer screen. Then, during a step 235, it is determined whether the head of the user has moved.
Si oui, au cours d'une étape 240, on génère un signal de souris pour déplacer le curseur proportionnellement aux mouvement de la tête, selon des coefficients de proportionnalité horizontal et vertical conservés en mémoire et déterminé au cours d'une phase de réglage et calibrage (voir plus loin). Sinon, ou à la suite de l'étape 240, au cours d'une étape 245, on détermine si l'utilisateur a effectué un clignement d'œil d'une durée inférieure à la durée prédéterminée. Si oui, au cours d'une étape 250, on génère un signal de clic de souris du côté de l'œil dont un clignement a été détecté. Sinon, ou à la suite de l'étape 250, on retourne à l'étape 215.If so, during a step 240, a mouse signal is generated to move the cursor proportionally to the movement of the head, according to horizontal and vertical proportionality coefficients stored in memory and determined during a calibration and adjustment phase (see below). Otherwise, or following step 240, during a step 245, it is determined whether the user has made a blink of a duration less than the predetermined duration. If so, during a step 250, a mouse click signal is generated on the side of the eye whose blink has been detected. Otherwise, or following step 250, return to step 215.
Si, au cours de l'étape 205, on détermine que le dispositif 105 est relié à un appareil électronique externe à contacteur, au cours d'une étape 255, on fait émettre à la diode électroluminescente 125, un signal d'une couleur représentant le mode de fonctionnement contacteur et on passe en mode contacteur. Puis on passe à l'étape 215.If, during step 205, it is determined that the device 105 is connected to an external electronic device with a contactor, during a step 255, a signal of a color representative of the light-emitting diode 125 is emitted. the operating mode switch and switch mode switch. Then we go to step 215.
Si, à la suite de l'étape 255, le résultat de l'étape 215 est négatif, si le résultat de l'étape 220 est négatif ou si le mode de fonctionnement correspondant à la fin du clignement de l'œil droit est le mode contacteur, au cours d'une étape 260 (figure 2B), on détermine si l'utilisateur a effectué un clignement d'œil d'une durée inférieure à la durée prédéterminée. Si oui, au cours d'une étape 265, on génère un signal d'action sur le contacteur correspondant au côté de l'œil dont un clignement a été détecté. Sinon, ou à la suite de l'étape 265, on retourne à l'étape 215.If, following step 255, the result of step 215 is negative, if the result of step 220 is negative or if the operating mode corresponding to the end of the blinking of the right eye is the contactor mode, during a step 260 (Figure 2B), it is determined whether the user has performed a blink of a duration less than the predetermined duration. If so, during a step 265, an action signal is generated on the contactor corresponding to the side of the eye whose blink has been detected. Otherwise, or following step 265, return to step 215.
Si, au cours de l'étape 205, on détermine que le dispositif 105 n'est relié ni à un ordinateur, ni à un appareil électronique externe à contacteur, au cours d'une étape 270, on fait émettre à la diode électroluminescente 125, un signal d'une couleur représentant le mode de fonctionnement laser et on passe en mode laser. Puis on passe à l'étape 215.If, during step 205, it is determined that the device 105 is not connected to a computer or to an external electronic device with a contactor, during a step 270, the light-emitting diode 125 is emitted. , a signal of a color representing the laser mode of operation and one switches to laser mode. Then we go to step 215.
Si, à la suite de l'étape 270, le résultat de l'étape 215 est négatif, si le résultat de l'étape 220 est négatif ou si le mode de fonctionnement correspondant à la fin du clignement de l'œil droit est le mode laser, au cours d'une étape 275 (figure 2B), on fait émettre un faisceau lumineux visible à la source de lumière visible 130. Puis on retourne à l'étape 215.If, as a result of step 270, the result of step 215 is negative, if the result of step 220 is negative or if the operating mode corresponding to the end of the blinking of the right eye is the laser mode, during a step 275 (Figure 2B) is emitted a visible light beam to the visible light source 130. Then we return to step 215.
Si, à la fin de l'étape 225, lorsque le clignement de l'œil droit cesse, le mode de fonctionnement activé est le mode de réglage et calibrage, au cours d'une étape 280 (figure 2B), l'utilisateur positionne sa tête au plus bas qu'il souhaite utiliser pour commander la position du curseur, au plus haut qu'il souhaite utiliser pour commander la position du curseur, au plus à gauche qu'il souhaite utiliser pour commander la position du curseur puis au plus à droite qu'il souhaite utiliser pour commander la position du curseur et, pour chacune de ces positions, il effectue une clignement d'un seul œil pour faire mémoriser cette position. Puis, au cours d'une étape 285, le dispositif 105 détermine un coefficient de proportionnalité horizontal et un coefficient de proportionnalité vertical pour faire correspondre les positions de tête extrêmes choisies par l'utilisateur avec les positions extrêmes du curseur sur l'écran de l'ordinateur. Puis on passe en mode de fonctionnementIf, at the end of step 225, when the blinking of the right eye stops, the activated operating mode is the adjustment and calibration mode, during a step 280 (FIG. 2B), the user positions his head at the lowest he wants to use to control the position of the cursor, at the highest he wants to use to control the position of the cursor, the left most he wants to use to control the position of the cursor and at most on the right that he wishes to use to control the position of the cursor and, for each of these positions, he performs a blink of a single eye to memorize this position. Then, during a step 285, the device 105 determines a horizontal proportionality coefficient and a vertical proportionality coefficient to match the extreme head positions chosen by the user with the positions. extremes of the cursor on the computer screen. Then we go into operating mode
HID et à l'étape 230.HID and at step 230.
On note que le dispositif 105 présente une grande facilité d'emploi puisque, pour l'utilisateur, il est utilisable avec tout ordinateur d'usage général, sans installer de logiciel de calibrage sur ordinateur, ni de pilotes logiciels.Note that the device 105 is very easy to use since, for the user, it is used with any general purpose computer, without installing computer calibration software or software drivers.
De plus, grâce au connecteur USB, on peut utiliser un profil HID, et on retrouve cette communication intégrée à tous les appareils grand public et industriels existants, les systèmes d'exploitation intègrent déjà les pilotes USB. La mise en œuvre est donc très simple. De même, afin de maximiser la comptabilité avec tout matériel existant (ordinateur,In addition, thanks to the USB connector, you can use a HID profile, and this integrated communication is found in all existing consumer and industrial devices, the operating systems already integrate USB drivers. The implementation is very simple. Likewise, to maximize accounting with any existing hardware (computer,
PDA, téléphone, etc.), une connexion sans fil de protocole connu et commun, intégrant une fonctionnalité HID, met en œuvre la communication radio Bluetooth. En particulier, cette norme permet d'utiliser un profil HID, et on retrouve cette communication intégrée à tous les nouveaux appareils grand public et industriels, les systèmes d'exploitations intègrent déjà les pilotes Bluetooth (Windows XP, marques déposées, notamment). La mise en œuvre est donc très simple. Par ailleurs, pour les ordinateurs ne disposant pas de cette technologie radio, il est possible de se procurer un dongle (adaptateur) USB / Bluetooth dans le commerce.PDA, phone, etc.), a known and common protocol wireless connection, incorporating HID functionality, implements Bluetooth radio communication. In particular, this standard makes it possible to use a HID profile, and this integrated communication is found in all new consumer and industrial devices, operating systems already integrate Bluetooth drivers (Windows XP, registered trademarks, in particular). The implementation is very simple. In addition, for computers that do not have this radio technology, it is possible to purchase a USB / Bluetooth dongle (adapter) commercially.
On observe, en figure 3, un dispositif 300 comportant un arceau ergonomique 305 épousant la forme de la tête de l'utilisateur et supportant deux boîtiers, droit 310 et gaucheFIG. 3 shows a device 300 comprising an ergonomic roll bar 305 conforming to the shape of the user's head and supporting two housings, right 310 and left
315, et deux bras, droit 325 et gauche 330.315, and two arms, right 325 and left 330.
Dans une première variante, illustrée conjointement par les figures 3 et 4, les brasIn a first variant, illustrated jointly by FIGS. 3 and 4, the arms
325 et 330 sont parcourus, chacun, par deux fibres optiques (non représentées) qui débouchent en regard de l'un des globes oculaires de l'utilisateur. Le dispositif 300 comporte aussi une batterie rechargeable (non représentée) et un connecteur (non représenté) dont les fonctions sont similaires à celles décrites en regard de la figure 1.325 and 330 are each traversed by two optical fibers (not shown) which open opposite one of the eyeballs of the user. The device 300 also comprises a rechargeable battery (not shown) and a connector (not shown) whose functions are similar to those described with reference to FIG.
Comme illustré en figure 4, chaque boîtier (ici le boîtier gauche 315 est représenté) comportent, montés sur un circuit électronique 360, un émetteur de lumière infrarouge 355, un récepteur de lumière infrarouge 345 et un émetteur de lumière visible, par exemple un composant laser, 350. L'émetteur 355 et le récepteur 345 sont reliées à des extrémités de fibres optiques qui courent le long du bras 330.As illustrated in FIG. 4, each housing (here the left housing 315 is shown) comprises, mounted on an electronic circuit 360, an infrared light emitter 355, an infrared light receiver 345 and a visible light emitter, for example a component laser, 350. Transmitter 355 and receiver 345 are connected to optical fiber ends that run along arm 330.
En variante (non représentée), le dispositif 300 comporte aussi une diode électroluminescente 125 et deux écouteurs 14Od et 140g dont les fonctions sont décrites en regard de la figure 1. Le dispositif 300 intègre aussi, en variante, des capteurs (non représentés) de position de la tête de l'utilisateur, par exemple des gyroscopes et/ou des accéléromètres, par exemple de type MEMS, décrits en regard de la figure 1. Le dispositif 300 prend, ici, la forme générale d'un casque audio, c'est-à-dire qu'il entoure le sommet du crâne de l'utilisateur, de telle manière que les éventuels écouteurs 14Od et 140g soient en regard, respectivement, des oreilles de l'utilisateur. Il est, par ailleurs, en appui sur les tempes et les arcades sourcilières de l'utilisateur, de manière à présenter les extrémités des bras 325 et 330 en regard des yeux de l'utilisateur mais en dehors de son champ visuel central. Les extrémités des fibres optiques véhiculant les rayons infrarouges et de l'éventuelle fibre optique véhiculant la lumière de l'éventuelle diode électroluminescente se trouvent ainsi en regard des yeux de l'utilisateur mais en dehors de son champ visuel central. Le circuit électronique 360 est, préférentiellement basé sur un microcontrôleur et réalise les fonctions décrites plus loin et/ou en regard de la figure 2.In a variant (not shown), the device 300 also comprises a light-emitting diode 125 and two earphones 140d and 140g, the functions of which are described with reference to FIG. 1. The device 300 also incorporates, as a variant, sensors (not shown) of position of the user's head, for example gyroscopes and / or accelerometers, for example of the MEMS type, described with reference to FIG. The device 300 takes, here, the general shape of an audio headset, that is to say, it surrounds the top of the skull of the user, so that the possible headphones 14Od and 140g are facing, respectively, of the user's ears. It is, moreover, resting on the temples and eyebrows of the user, so as to present the ends of the arms 325 and 330 facing the user's eyes but outside its central field of view. The ends of the optical fibers carrying the infrared rays and the possible optical fiber carrying the light of the possible light emitting diode are thus facing the eyes of the user but outside of his central visual field. The electronic circuit 360 is preferably based on a microcontroller and performs the functions described below and / or with reference to FIG. 2.
Par l'intermédiaire d'une fibre optique, l'émetteur 355 de rayons infrarouge émet une lumière de faible intensité, pour ne pas échauffer ou dessécher l'œil de l'utilisateur, dans le proche infrarouge, de telle manière que, lorsque l'œil gauche de l'utilisateur est ouvert, des rayons se reflètent, sur la cornée, vers la fibre optique reliée au récepteur 345. L'émetteur 355 est, par exemple, constitué d'une diode infrarouge. Le récepteur 345 est, par exemple, constitué d'un phototransistor.Via an optical fiber, the emitter 355 of infrared rays emits light of low intensity, so as not to warm up or dry out the user's eye, in the near infrared, so that when the left eye of the user is open, rays reflect, on the cornea, to the optical fiber connected to the receiver 345. The transmitter 355 is, for example, consists of an infrared diode. The receiver 345 is, for example, consisting of a phototransistor.
Lorsque l'œil de l'utilisateur est fermé, les rayons infrarouges émis par l'émetteur 355 sont dispersés par la paupière supérieure et la quantité de lumière infrarouge reçue par le récepteur 345 est beaucoup plus faible que lorsque l'œil est ouvert et que des rayons se reflètent sur la cornée.When the user's eye is closed, the infrared rays emitted by the transmitter 355 are scattered by the upper eyelid and the amount of infrared light received by the receiver 345 is much lower than when the eye is open and that rays are reflected on the cornea.
Ainsi, le signal issu du récepteur 345 est représentatif de la position de la paupière de l'utilisateur. Comme décrit plus loin, ce signal permet de commander un dispositif électrique, électronique ou informatique et, notamment, une validation équivalente à un clic de souris. La source de lumière visible 350 est une source de lumière focalisée, par exemple par l'utilisation d'au moins une lentille ou par utilisation d'une source laser. Elle émet un faisceau lumineux étroit dans une direction sensiblement parallèle à l'axe optique des yeux lorsqu'ils sont dans une position naturelle de repos. Si la source 350 est à laser, celui-ci est préférentiellement de classe « 1 ». Le faisceau lumineux de la source 350 est donc dirigé par les mouvements de la tête.Thus, the signal from the receiver 345 is representative of the position of the eyelid of the user. As described below, this signal makes it possible to control an electrical, electronic or computer device and, in particular, a validation equivalent to a mouse click. The visible light source 350 is a focused light source, for example by using at least one lens or using a laser source. It emits a narrow light beam in a direction substantially parallel to the optical axis of the eyes when in a natural rest position. If the source 350 is laser, it is preferably of class "1". The light beam of the source 350 is thus directed by the movements of the head.
L'émetteur 350 est positionné en regard d'un miroir 320 (figure 3) réfléchissant la lumière visible émise vers l'avant de la tête de l'utilisateur, afin que cet utilisateur puisse viser et éclairer un objet, une personne, un appareil à commander ou un contacteur. Le circuit électronique 360 réalise les fonctions suivantes : - il détecte chaque clignement d'un œil de l'utilisateur,The transmitter 350 is positioned facing a mirror 320 (FIG. 3) reflecting the visible light emitted towards the front of the user's head, so that this user can aim and light an object, a person, a device to order or a contactor. The electronic circuit 360 performs the following functions: - it detects each blink of an eye of the user,
- il permet un pointage lumineux,- it allows a bright pointing,
- il met en œuvre différents modes de fonctionnement, - il permet à l'utilisateur de choisir le mode de fonctionnement,- it implements different modes of operation, - it allows the user to choose the operating mode,
- il permet à un administrateur de choisir le mode de fonctionnement, par l'usage du clavier et/ou de la souris d'un terminal informatique ou d'un bouton du dispositif.- It allows an administrator to choose the operating mode, by the use of the keyboard and / or mouse of a computer terminal or a button of the device.
Le dispositif 300 possède quatre modes de fonctionnement : trois modes de fonctionnement usuel et un mode de réglage et calibrage, comme exposé en regard de la figure 1.The device 300 has four operating modes: three usual operating modes and a setting and calibration mode, as explained with reference to FIG. 1.
Les clignements des yeux sont interprétés comme des actions sur les boutons de la souris :Blinking eyes are interpreted as actions on the mouse buttons:
- le clignement de l'œil gauche est considéré comme un clic sur le bouton gauche de la souris et- the blinking of the left eye is considered as a click on the left mouse button and
- le clignement de l'œil droit est considéré comme un clic sur le bouton droit de la souris.- The blinking of the right eye is considered as a click on the right button of the mouse.
En variante, seul le clignement simultané des deux yeux, d'une durée supérieure à une durée limite prédéterminée, par exemple une seconde, est considéré comme un signal de validation et, donc, de commande.As a variant, only the simultaneous blinking of the two eyes, of a duration greater than a predetermined limit duration, for example a second, is considered as a validation signal and, therefore, a control signal.
En mode laser, la source de lumière visible 350 est allumée et permet à l'utilisateur, par des mouvements de la tête, de pointer sur une zone ou un objet dans le champ de vision de l'utilisateur.In laser mode, the visible light source 350 is turned on and allows the user, by movements of the head, to point to an area or object in the user's field of vision.
En variante, le dispositif 300 comporte un moyen de détermination de la luminosité ambiante et un moyen de commande de l'intensité lumineuse émise par la diode 125 et/ou par la source de lumière visible 350.In a variant, the device 300 comprises means for determining the ambient brightness and means for controlling the light intensity emitted by the diode 125 and / or by the visible light source 350.
Dans une deuxième variante, illustrée conjointement par les figures 3 et 6, les bras portent, chacun, en leur extrémité, un boîtier tel que le boîtier 325 illustré en figure 6.In a second variant, illustrated jointly by FIGS. 3 and 6, the arms each carry, at their end, a housing such as the housing 325 illustrated in FIG.
Comme illustré en figure 6, chaque boîtier (ici le boîtier gauche 325 est représenté) comportent, montés sur un circuit électronique 360, un émetteur de lumière infrarouge 355, un récepteur de lumière infrarouge 345 et un émetteur de lumière visible, par exemple une diode électroluminescente, 365.As illustrated in FIG. 6, each housing (here the left housing 325 is shown) comprises, mounted on an electronic circuit 360, an infrared light emitter 355, an infrared light receiver 345 and a visible light emitter, for example a diode electroluminescent, 365.
On note que, malgré leur ressemblance, les boîtiers illustrés en figures 4 et 6 sont de tailles très différentes, comme illustré en figure 3. En variante (non représentée), le dispositif 300 comporte aussi deux écouteurs 140d et 140g dont les fonctions sont décrites en regard de la figure 1. Le dispositif 300 intègre aussi, en variante, des capteurs (non représentés) de position de la tête de l'utilisateur, par exemple des gyroscopes et/ou des accéléromètres, par exemple de type MEMS, décrits en regard de la figure 1. Le dispositif 300 prend, ici, la forme générale d'un casque audio, c'est-à-dire qu'il entoure le sommet du crâne de l'utilisateur, de telle manière que les éventuels écouteurs 14Od et 140g soient en regard, respectivement, des oreilles de l'utilisateur. Il est, par ailleurs, en appui sur les tempes et les arcades sourcilières de l'utilisateur, de manière à présenter les boîtiers positionnés aux extrémités des bras 325 et 330 en regard des yeux de l'utilisateur mais en dehors de son champ visuel central.Note that, despite their similarity, the housings illustrated in Figures 4 and 6 are of very different sizes, as shown in Figure 3. Alternatively (not shown), the device 300 also comprises two earphones 140d and 140g whose functions are described FIG. 1. The device 300 also integrates, as a variant, sensors (not shown) of the position of the user's head, for example gyroscopes and / or accelerometers, for example of the MEMS type, described in FIG. FIG. 1. The device 300 takes, here, the general shape of an audio headset, that is to say that it surrounds the top of the user's skull, so that the possible headphones 14Od and 140g are facing, respectively, the ears of the user. It is, moreover, resting on the temples and eyebrows of the user, so as to present the housings positioned at the ends of the arms 325 and 330 facing the eyes of the user but outside its central field of view.
Le circuit électronique 360 est relié à une carte électronique contenue dans la coque 310 illustrée en figure 3, qui réalise les fonctions décrites par ailleurs.The electronic circuit 360 is connected to an electronic card contained in the shell 310 illustrated in Figure 3, which performs the functions described elsewhere.
Par l'intermédiaire d'une ouverture de la demi-coque 340 (qui, conjointement avec la demi-coque 335, enferme le circuit 360), l'émetteur 355 de rayons infrarouge émet une lumière de faible intensité, pour ne pas échauffer ou dessécher l'œil de l'utilisateur, dans le proche infrarouge, de telle manière que, lorsque l'œil gauche de l'utilisateur est ouvert, des rayons se reflètent, sur la cornée, vers le récepteur 345, à travers une autre ouverture de la demi-coque 340. L'émetteur 355 est, par exemple, constitué d'une diode infrarouge. Le récepteur 345 est, par exemple, constitué d'un phototransistor.Through an opening of the half-shell 340 (which, together with the half-shell 335, encloses the circuit 360), the emitter 355 of infrared rays emits light of low intensity, so as not to heat or drying out the user's eye in the near infrared so that when the user's left eye is open, rays are reflected on the cornea to the receiver 345 through another aperture of the half-shell 340. The transmitter 355 is, for example, consisting of an infrared diode. The receiver 345 is, for example, consisting of a phototransistor.
Lorsque l'œil de l'utilisateur est fermé, les rayons infrarouges émis par l'émetteur 355 sont dispersés par la paupière supérieure et la quantité de lumière infrarouge reçue par le récepteur 345 est beaucoup plus faible que lorsque l'œil est ouvert et que des rayons se reflètent sur la cornée.When the user's eye is closed, the infrared rays emitted by the transmitter 355 are scattered by the upper eyelid and the amount of infrared light received by the receiver 345 is much lower than when the eye is open and that rays are reflected on the cornea.
Ainsi, le signal issu du récepteur 345 est représentatif de la position de la paupière de l'utilisateur. Comme décrit plus loin, ce signal permet de commander un dispositif électrique, électronique ou informatique et, notamment, une validation équivalente à un clic de souris. La source de lumière visible 365 est une source de lumière à couleur variable, comme exposé en regard de la figure 1.Thus, the signal from the receiver 345 is representative of the position of the eyelid of the user. As described below, this signal makes it possible to control an electrical, electronic or computer device and, in particular, a validation equivalent to a mouse click. The visible light source 365 is a variable-color light source, as shown with reference to FIG.
Un émetteur de lumière focalisée (non représenté), par exemple une source laser de classe 1 , est positionné en regard d'un miroir 320 (figure 3) réfléchissant la lumière visible émise vers l'avant de la tête de l'utilisateur, afin que cet utilisateur puisse viser et éclairer un objet, une personne, un appareil à commander ou un contacteur.A focused light emitter (not shown), for example a class 1 laser source, is positioned opposite a mirror 320 (FIG. 3) reflecting the visible light emitted towards the front of the user's head in order to this user can aim and light an object, a person, a device to be controlled or a contactor.
Le circuit électronique 360 réalise les fonctions suivantes :The electronic circuit 360 performs the following functions:
- il détecte chaque clignement d'un œil de l'utilisateur,- it detects each blink of an eye of the user,
- il permet un pointage lumineux,- it allows a bright pointing,
- il met en œuvre différents modes de fonctionnement, - il permet à l'utilisateur de choisir le mode de fonctionnement,- It implements different modes of operation, - It allows the user to choose the operating mode,
- il permet à un administrateur de choisir le mode de fonctionnement, par l'usage du clavier et/ou de la souris d'un terminal informatique ou d'un bouton du dispositif.- It allows an administrator to choose the operating mode, by the use of the keyboard and / or mouse of a computer terminal or a button of the device.
Le dispositif 300 possèdent quatre modes de fonctionnement : trois modes de fonctionnement usuel et un mode de réglage et calibrage, comme exposé en regard de la figure 1.The device 300 has four operating modes: three usual operating modes and a setting and calibration mode, as shown with reference to FIG. 1.
Les clignements des yeux sont interprétés comme des actions sur les boutons de la souris, comme exposé ci-dessus. En variante, le dispositif 325 comporte un moyen de détermination de la luminosité ambiante et un moyen de commande de l'intensité lumineuse émise par la diode 365 et/ou par la source de lumière visible focalisée.Blinking eyes are interpreted as actions on the mouse buttons, as explained above. As a variant, the device 325 comprises means for determining the ambient brightness and means for controlling the light intensity emitted by the diode 365 and / or by the focused visible light source.
Dans des modes de réalisation particuliers, le circuit 360 comporte un moyen de modulation (non représenté) de la lumière visible focalisée émise par la source lumineuseIn particular embodiments, the circuit 360 comprises means for modulating (not shown) the focused visible light emitted by the light source.
350. Ce moyen de modulation est adaptée à moduler, dans le temps, la lumière visible émise avec un signal représentatif de la commande reconnue en fonction des durées de fermeture d'au moins une paupière de l'utilisateur.350. This modulation means is adapted to modulate, in time, the visible light emitted with a signal representative of the recognized command as a function of the closing times of at least one eyelid of the user.
Par exemple, la lumière visible est modulée pour qu'elle représente un code spécifique au dispositif 300. Par exemple, dans le cas d'une source laser ou d'une diode électroluminescente, le code est représenté par une succession d'impulsions lumineuses de très courte durée dont les durées et/ou les durées de séparation sont variables.For example, the visible light is modulated so that it represents a code specific to the device 300. For example, in the case of a laser source or a light-emitting diode, the code is represented by a succession of light pulses of very short duration whose durations and / or separation times are variable.
Chaque séquence d'émission du code peut commencer par un en-tête et se poursuivre par le code spécifique au dispositif 300. Par exemple, si l'en-tête est constitué de « 10101010 », il est représenté par quatre impulsions de mêmes durées, dites « durée élémentaire » et quatre durées entre impulsions égales à la durée élémentaire, par exemple 0,1 ms (suffisamment faible pour ne pas être perceptible à l'œil). Par exemple, si le code spécifique, ou identifiant, du dispositif est « 2112 », il est représenté par une impulsion lumineuse de durée double de la durée élémentaire, suivi d'une séparation entre impulsions de durée double de la durée élémentaire, puis d'une impulsion de durée élémentaire suivie d'une séparation entre impulsions de durée élémentaire, puis d'une impulsion de durée élémentaire suivie d'une séparation entre impulsions de durée élémentaire, puis d'une impulsion de durée double de la durée élémentaire suivie d'une séparation entre impulsions de durée double de la durée élémentaire.Each code transmission sequence can start with a header and continue with the device-specific code 300. For example, if the header consists of "10101010", it is represented by four pulses of the same duration , say "elementary duration" and four times between pulses equal to the elementary duration, for example 0.1 ms (sufficiently low not to be perceptible to the eye). For example, if the specific code, or identifier, of the device is "2112", it is represented by a luminous pulse of double duration of the elementary duration, followed by a separation between pulses of double duration of the elementary duration, then of a pulse of elementary duration followed by a separation between pulses of elementary duration, then a pulse of elementary duration followed by a separation between pulses of elementary duration, then a pulse duration of twice the elementary duration followed by a separation between pulses of double duration of the elementary duration.
Comme illustré en figure 5, chaque appareil à commander 500 est muni d'un récepteur de lumière visible 505 adapté à recevoir la lumière émise par la source 350, d'un moyen de démodulation de la lumière 510, d'un moyen d'identification du code modulé par ladite lumière visible 515 comportant une mémoire de codes 520 et d'un moyen d'exécution d'un signal de commande, ou consigne 525. Le signal de commande peut être véhiculé, par modulation, par la lumière visible émise par l'émetteur 350, comme exposé au paragraphe précédent, ou être transmis par des signaux électromagnétiques, par exemple radio.As illustrated in FIG. 5, each apparatus to be controlled 500 is provided with a visible light receiver 505 adapted to receive the light emitted by the source 350, a means for demodulating the light 510, an identification means code modulated by said visible light 515 comprising a code memory 520 and a means for executing a control signal, or setpoint 525. The control signal can be conveyed, by modulation, by the visible light emitted by the transmitter 350, as explained in the previous paragraph, or be transmitted by electromagnetic signals, for example radio.
A la suite de l'en-tête, la modulation de la commande peut prendre plusieurs valeurs pour représenter plusieurs commandes, ou consignes, différentes, par exemple « allumé », « + », « - » et « éteint ». Les clignements des paupières servent alors à choisir la consigne. Ainsi, chaque appareil peut : reconnaître qu'il reçoit un signal provenant d'un dispositif, le différencier de la lumière parasite, reconnaître quel dispositif, et donc quel utilisateur émet une commande, - déterminer si cet utilisateur est autorisé à le commander et exécuter une consigne choisie par l'utilisateur autorisé. L'appareil peut être associé à un interrupteur mural, un appareil domestique, notamment audio ou vidéo, un ordinateur, un téléphone, etc ...Following the header, the modulation of the command can take several values to represent several commands, or setpoints, different, for example "on", "+", "-" and "off". Blinking of the eyelids is then used to choose the setpoint. Thus, each device can: recognize that it receives a signal from a device, to distinguish it from the stray light, to recognize which device, and therefore which user issues a command, - to determine whether this user is authorized to command it and to execute a setpoint chosen by the authorized user. The device can be associated with a wall switch, a home device, including audio or video, a computer, a phone, etc ...
Le dispositif objet de la présente invention permet de commander des appareils dans l'espace. Par exemple, il permet de commander un fauteuil roulant motorisé. A cet effet, dans un premier mode d'utilisation dans lequel la position de la tête de l'utilisateur est détectable, l'utilisateur notifie un type de consigne en orientant sa tête (par exemple penché en avant pour avancer, à droite pour tourner à droite, en arrière pour reculer et à gauche pour tourner à gauche), visualise la consigne soit sur le fauteuil roulant, soit par l'intermédiaire de la diode électroluminescente visible, puis valide la consigne en effectuant un clignement d'oeil d'une durée prédéterminée et relâche la consigne en effectuant un nouveau clignement de l'œil (ou de l'autre œil) de durée prédéterminée.The device that is the subject of the present invention makes it possible to control devices in space. For example, it allows to control a motorized wheelchair. For this purpose, in a first mode of use in which the position of the head of the user is detectable, the user notifies a type of instruction by directing his head (for example leaning forward to advance, right to turn right, backwards to go back and left to turn to the left), display the setpoint either on the wheelchair, or by means of the visible light-emitting diode, then validate the instruction with a blink of an eye. predetermined duration and release the setpoint by performing a new blink of the eye (or the other eye) of predetermined duration.
Selon un deuxième mode d'utilisation, l'utilisateur vise une consigne avec la source de lumière visible focalisée, sur un tableau de bord comportant différentes zones de réception où les significations des consignes sont illustrées, par exemple par des flèches dans le cas du fauteuil roulant motorisé. Dans ce cas, les clignements d'œil (ou des deux yeux) servent à valider ou relâcher la consigne identifiée par le faisceau lumineux visible.According to a second mode of use, the user aims a setpoint with the visible visible light source, on a dashboard having different reception areas where the meanings of the instructions are illustrated, for example by arrows in the case of the chair motorized wheel. In this case, the blinks (or both eyes) are used to validate or release the setpoint identified by the visible light beam.