Cette invention se rapporte au domaine de l’ergonomie et de la configuration des interfaces des terminaux portables, tels que par exemple les terminaux de communication mobiles de type smartphone («téléphone intelligent» en anglais), les tablettes, etc.This invention relates to the field of ergonomics and configuration of interfaces of portable terminals, such as for example mobile communication terminals of the smartphone type ("smart phone " in English), tablets, etc.
Plus précisément, l'invention porte sur la détermination de la préférence manuelle (manualité) d’un utilisateur d’un terminal portable du type précité.More specifically, the invention relates to determining the manual preference (manuality) of a user of a portable terminal of the aforementioned type.
Chaque personne a une préférence manuelle (aussi appelée manualité) : pour des actions motrices fines, chaque personne préfèrera utiliser une main plutôt que l’autre. Les personnes sont en majorité droitières (~90% de la population), mais il existe également des personnes gauchères et ambidextre.Each person has a hand preference (also called handedness): for fine motor actions, each person will prefer to use one hand rather than the other. People are mostly right-handed (~90% of the population), but there are also left-handed and ambidextrous people.
L’utilisation d’interfaces tactiles sur un terminal portable (par exemple un smartphone ou une tablette) nécessite un ensemble d’actions motrices fines : appuyer sur un bouton, déplacer un curseur, faire défiler l’écran, zoomer à deux doigts, etc. Dès lors, les utilisateurs vont avoir une forte préférence à utiliser leur main dominante pour interagir avec ce type de terminal (ce n’est toutefois pas absolu, et dans certaines situations, l’utilisateur peut se servir de sa main non-dominante).Using touch interfaces on a portable terminal (e.g. a smartphone or tablet) requires a set of fine motor actions: pressing a button, moving a cursor, scrolling the screen, zooming with two fingers, etc. Therefore, users will have a strong preference for using their dominant hand to interact with this type of terminal (this is not absolute, however, and in certain situations, the user can use their non-dominant hand).
Du fait de la surreprésentation des droitiers dans la population, les interfaces des terminaux portables sont généralement conçues pour être adaptées à des utilisateurs droitiers. Ce choix de conception peut être assumé, afin de garantir la meilleure ergonomie d’une interface unique à la majorité des utilisateurs, mais peut aussi être inconscient et issu de la manualité des concepteurs/développeurs/testeurs (qui sont majoritairement droitiers). Un utilisateur gaucher aura donc probablement une moins bonne expérience utilisateur avec ces interfaces, car les moyens d’interaction ne seront pas adaptés à sa manualité. Par exemple, la majorité des boutons sera placée sur la droite de l’écran ou dans d’autre cas, dans le cas d’interfaces incluant des boutons conçus pour être utilisés avec le pouce, des boutons seront placés en haut à droite et donc difficilement accessibles avec le pouce de la main gauche lorsque le terminal est tenu dans cette même main.Due to the over-representation of right-handed people in the population, the interfaces of portable terminals are generally designed to be adapted to right-handed users. This design choice may be assumed, in order to guarantee the best ergonomics of a single interface for the majority of users, but may also be unconscious and stem from the manual skills of the designers/developers/testers (who are mainly right-handed). A left-handed user will therefore probably have a poorer user experience with these interfaces, because the means of interaction will not be adapted to their manual skills. For example, the majority of buttons will be placed on the right of the screen or in other cases, in the case of interfaces including buttons designed to be used with the thumb, buttons will be placed at the top right and therefore difficult to access with the thumb of the left hand when the terminal is held in the same hand.
L’adaptation automatique des interfaces de terminaux portables en fonction de la manualité de l’utilisateur répond à une partie de cette problématique. Un tel procédé est par exemple décrit dans le brevet US8922515. Toutefois ce type de procédé suppose que le terminal utilisateur soit capable de reconnaitre la manualité de l’utilisateur.Automatic adaptation of portable terminal interfaces according to the user's handedness addresses part of this problem. Such a method is for example described in patent US8922515. However, this type of method assumes that the user terminal is capable of recognizing the user's handedness.
Une technique connue permettant de reconnaitre la manualité de l’utilisateur, consiste à demander à l’utilisateur de sélectionner manuellement sa manualité dans les paramètres du terminal. Cette solution présente toutefois l’inconvénient de nécessiter des actions de la part de l’utilisateur. Or, ce dernier n’a pas forcément connaissance de l’existence d’un tel paramétrage.A known technique for recognizing the user's handedness is to ask the user to manually select their handedness in the terminal settings. However, this solution has the disadvantage of requiring actions on the part of the user. However, the user is not necessarily aware of the existence of such a setting.
Idéalement, il faut donc pouvoir détecter automatiquement la manualité de l’utilisateur. La plupart des approches existantes pour détecter automatiquement la manualité consiste à analyser les traces d’usage de l’écran tactile, lesquelles sont différentes selon la main qui tient le terminal. Une de ces approches est notamment abordée dans la publication “Recognizing the operating hand and the hand-changing process for user interface adjustment on smartphones. H. Guo, H. Huang, L. Huang, Y. Sun. In Sensors, 2016”.Ideally, it is therefore necessary to be able to automatically detect the user's manuality. Most existing approaches to automatically detect manuality consist of analyzing the traces of use of the touch screen, which are different depending on the hand holding the terminal. One of these approaches is notably discussed in the publication “Recognizing the operating hand and the hand-changing process for user interface adjustment on smartphones. H. Guo, H. Huang, L. Huang, Y. Sun. In Sensors, 2016”.
Toutefois, les méthodes basées sur l’analyse des interactions tactiles peuvent conduire à des erreurs car elles dépendent de la façon dont la personne tient le terminal portable (à une main, à deux mains, à une main et l’autre qui interagit, etc.), qui n’est pas à priori connu du terminal.However, methods based on the analysis of touch interactions can lead to errors because they depend on how the person holds the portable terminal (one-handed, two-handed, one hand and the other interacting, etc.), which is not a priori known to the terminal.
La présente invention a pour objectif de proposer une méthode de détection automatique de la manualité d’un utilisateur de terminal portable tactile, plus robuste et ne souffrant pas des mêmes limitations que les approches de l’état de l’art. Cette invention peut également être combinée à d’autres approches existantes (comme l’analyse des interactions tactiles susmentionnées) pour améliorer la précision de détermination de la manualité de l’utilisateur.The present invention aims to propose a method for automatically detecting the handedness of a user of a portable touch terminal, which is more robust and does not suffer from the same limitations as the approaches of the state of the art. This invention can also be combined with other existing approaches (such as the analysis of the aforementioned touch interactions) to improve the accuracy of determining the user's handedness.
Un des buts de l'invention est de remédier à au moins un des inconvénients soulignés par l'état de la technique précité en proposant un procédé de détermination de la manualité d’un utilisateur d’un terminal portable, conforme à l’invention qui va être décrite ci-dessous.One of the aims of the invention is to remedy at least one of the drawbacks highlighted by the aforementioned state of the art by proposing a method for determining the manuality of a user of a portable terminal, in accordance with the invention which will be described below.
A cet effet, un objet de la présente invention concerne un procédé de détermination de la manualité d’un utilisateur d’un terminal portable équipé d’une caméra, caractérisé en ce qu’il met en œuvre ce qui suit de manière autonome au niveau d’un dispositif de détermination de la manualité :
- recevoir dudit terminal, une demande de détermination de la manualité de l’utilisateur dudit terminal,
- recevoir au moins une image de l’utilisateur en provenance de la caméra,
- déterminer à partir de ladite au moins une image une position relative du terminal par rapport au plan sagittal de l’utilisateur,
- déterminer la manualité de l’utilisateur à partir de la position relative déterminée,
- envoyer au terminal une information relative à la manualité de l’utilisateur.For this purpose, an object of the present invention relates to a method for determining the manuality of a user of a portable terminal equipped with a camera, characterized in that it implements the following autonomously at the level of a manuality determination device:
- receive from said terminal a request to determine the manuality of the user of said terminal,
- receive at least one image of the user from the camera,
- determine from said at least one image a relative position of the terminal with respect to the sagittal plane of the user,
- determine the user's manuality from the determined relative position,
- send information to the terminal relating to the user's manuality.
L’invention offre l’avantage de permettre de détecter la manualité de l’utilisateur sans que l’utilisateur ait besoin de renseigner lui-même sa manualité sur le terminal. Dans le cas d’un terminal partagé entre plusieurs personnes, ce procédé permet également de détecter la manualité de l’utilisateur actif à un moment donné sur le terminal.The invention offers the advantage of making it possible to detect the user's manuality without the user having to enter his or her manuality on the terminal. In the case of a terminal shared between several people, this method also makes it possible to detect the manuality of the user active at a given time on the terminal.
Selon un mode de réalisation particulier, la détermination de ladite position relative du terminal par rapport au plan sagittal de l’utilisateur est précédée d’une réception de données issues d’un module intégré au terminal permettant de mesurer l’orientation et l’accélération du terminal, les dites données étant utilisées dans la détermination de la position relative du terminal par rapport au plan sagittal de l’utilisateur.According to a particular embodiment, the determination of said relative position of the terminal with respect to the sagittal plane of the user is preceded by a reception of data from a module integrated into the terminal making it possible to measure the orientation and acceleration of the terminal, said data being used in the determination of the relative position of the terminal with respect to the sagittal plane of the user.
En recourant à des données complémentaires telles que des données relatives à l’accélération et/ou à l’orientation du terminal, renseignées par exemple par un accéléromètre, un gyroscope, un capteur a effet hall ou tout autre module connu de l’homme du métier pour générer des données relatives à l’orientation et/ou l’accélération d’un terminal. Ce mode de réalisation permet avantageusement de fiabiliser et de renforcer la confiance du procédé en sa capacité à déterminer la manualité réelle de l’utilisateur.By using additional data such as data relating to the acceleration and/or orientation of the terminal, provided for example by an accelerometer, a gyroscope, a Hall effect sensor or any other module known to those skilled in the art to generate data relating to the orientation and/or acceleration of a terminal. This embodiment advantageously makes it possible to make the method more reliable and to strengthen the confidence of its ability to determine the user's actual manuality.
Selon un mode de réalisation particulier, la réception de ladite au moins une image en provenance de la caméra du terminal a lieu uniquement quand les données en provenance de l’accéléromètre indiquent que la valeur du mouvement/accélération du terminal est inférieure à un seuil donné.According to a particular embodiment, the reception of said at least one image from the camera of the terminal takes place only when the data from the accelerometer indicate that the value of the movement/acceleration of the terminal is less than a given threshold.
Ce mode de réalisation permet avantageusement de limiter les traitements algorithmiques et le recours à la puissance de calcul du terminal en ne se concentrant que sur des images représentatives d’un usage nominal/normal du terminal, ce qui permet notamment de limiter la consommation énergétique du procédé lorsqu’il est implémenté sur un terminal portable fonctionnant sur batterie.This embodiment advantageously makes it possible to limit algorithmic processing and the use of the terminal's computing power by focusing only on images representative of nominal/normal use of the terminal, which in particular makes it possible to limit the energy consumption of the method when it is implemented on a portable terminal operating on battery.
Selon un mode de réalisation particulier, la détermination de la manualité est mise en œuvre en outre à partir d’une détection d’au moins un doigt de l’utilisateur sur ladite au moins une image.According to a particular embodiment, the determination of manuality is further implemented from a detection of at least one finger of the user on said at least one image.
Ce mode de réalisation permet avantageusement de prendre en compte d’autres informations relatives à l’usage effectif du terminal par l’utilisateur et notamment de déterminer si le terminal est tenu dans la main directrice de l’utilisateur, lequel utilise son pouce pour interagir avec le terminal, ou bien dans la main faible de l’utilisateur, lequel utilise alors les doigts de sa main forte (la main correspondant à sa manualité) pour interagir avec le terminal.This embodiment advantageously makes it possible to take into account other information relating to the actual use of the terminal by the user and in particular to determine whether the terminal is held in the dominant hand of the user, who uses his thumb to interact with the terminal, or in the weak hand of the user, who then uses the fingers of his strong hand (the hand corresponding to his manuality) to interact with the terminal.
Les différents modes ou caractéristiques de réalisation précités peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, au procédé de détermination de la manualité tel que défini ci-dessus.The various embodiments or features mentioned above may be added independently or in combination with each other to the method of determining manuality as defined above.
L’invention concerne également un terminal adapté pour déterminer la manualité d’un utilisateur dudit terminal, équipé d’une caméra, caractérisé en ce qu’il est configuré pour mettre en œuvre ce qui suit de manière autonome :
- initier une demande de détermination de la manualité de l’utilisateur dudit terminal,
- recevoir au moins une image de l’utilisateur en provenance de la caméra,
- déterminer à partir de ladite au moins une image une position relative du terminal par rapport au plan sagittal de l’utilisateur,
- déterminer la manualité de l’utilisateur à partir de la position relative déterminée.The invention also relates to a terminal suitable for determining the manuality of a user of said terminal, equipped with a camera, characterized in that it is configured to implement the following autonomously:
- initiate a request to determine the manuality of the user of said terminal,
- receive at least one image of the user from the camera,
- determine from said at least one image a relative position of the terminal with respect to the sagittal plane of the user,
- determine the user's manuality from the determined relative position.
Un tel dispositif est notamment adapté pour mettre en œuvre le procédé de détermination de la manualité d’un utilisateur selon l’un quelconque des modes de réalisation décrits précédemment.Such a device is particularly suitable for implementing the method for determining the manuality of a user according to any of the embodiments described above.
L'invention concerne encore un programme d’ordinateur comportant des instructions de code de programme pour la mise en œuvre du procédé de détermination de la manualité selon l’un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ce programme est exécuté par un processeur.The invention also relates to a computer program comprising program code instructions for implementing the method for determining manuality according to any of the particular embodiments described above, when this program is executed by a processor.
De telles instructions peuvent être stockées durablement dans un support mémoire non transitoire d’un dispositif mettant en œuvre le procédé de détermination de la manualité selon l’invention.Such instructions can be stored permanently in a non-transitory memory medium of a device implementing the method for determining manuality according to the invention.
Ce programme peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.This program may use any programming language, and may be in the form of source code, object code, or code intermediate between source code and object code, such as in a partially compiled form, or in any other desirable form.
L’invention vise également un support d’enregistrement ou support d’informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur pour la mise en œuvre du procédé de détermination de la manualité tel que mentionné ci-dessus.The invention also relates to a recording medium or information medium readable by a computer, and comprising instructions of a computer program for implementing the method for determining manuality as mentioned above.
Le support d'enregistrement peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM («Read Only Memory» en anglais), par exemple un CD ROM («Compact Disc Read-Only Memory» en anglais), un ADN (acide désoxyribonucléique) synthétique ou une ROM de circuit microélectronique, ou encore un moyen d’enregistrement magnétique, par exemple un support mobile, un disque dur ou un SSD («Solid State-Drive» en anglais).The recording medium may be any entity or device capable of storing the program. For example, the medium may include a storage medium, such as a ROM (Read Only Memory ), for example a CD ROM (Compact Disc Read-Only Memory ), a synthetic DNA (deoxyribonucleic acid) or a microelectronic circuit ROM, or a magnetic recording medium, for example a mobile medium, a hard disk or an SSD (Solid State Drive ).
D'autre part, le support d'enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens, de sorte que le programme d’ordinateur qu’il contient est exécutable à distance. Le programme selon l'invention peut être en particulier téléchargé sur un réseau, par un exemple un réseau de type Internet.On the other hand, the recording medium may be a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means, so that the computer program contained therein is remotely executable. The program according to the invention may in particular be downloaded over a network, for example an Internet-type network.
Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé de détermination de la manualité précité.Alternatively, the recording medium may be an integrated circuit in which the program is incorporated, the circuit being adapted to perform or to be used in performing the above-described manuality determination method.
Selon un exemple de réalisation, la présente technique est mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, dans ce document, le terme « dispositif » peut aussi bien correspondre à un composant logiciel, qu'à un composant matériel ou à un ensemble de composants matériels et logiciels.According to an exemplary embodiment, the present technique is implemented by means of software and/or hardware components. In this regard, in this document, the term "device" can correspond to a software component, a hardware component or a set of hardware and software components.
D'autres caractéristiques et avantages apparaîtront à la lecture de modes de réalisation particuliers de l'invention, donnés à titre d’exemples illustratifs et non limitatifs, et des dessins annexés, parmi lesquels :Other features and advantages will become apparent upon reading particular embodiments of the invention, given as illustrative and non-limiting examples, and the appended drawings, among which:
La
La
La
La
La
Description d’un exemple d’architecture dans laquelle le procédé de détermination de la manualité est mis en œuvreDescription of an example architecture in which the method of determining manuality is implemented
En référence à la
- un terminal portable T par exemple un smartphone ou une tablette, auquel sont associés :
-- une unité de calcul UC,
-- un écran E, par exemple de forme rectangulaire,
-- une caméra C placée du même côté que l’écran E de sorte que l’utilisateur soit dans le champ de vision CVC de ladite caméra,
-- un dispositif DDM de détermination de la manualité de l’utilisateur du terminal.- a portable terminal T for example a smartphone or a tablet, to which are associated:
-- a computing unit UC,
-- a screen E, for example rectangular in shape,
-- a camera C placed on the same side as the screen E so that the user is in the field of vision CVC of said camera,
-- a DDM device for determining the manuality of the terminal user.
Le terminal T est tenu par un utilisateur U. Selon les modes de réalisation, le terminal peut être tenu dans la main droite ou la main gauche de l’utilisateur ou encore de ses deux mains.The terminal T is held by a user U. Depending on the embodiments, the terminal can be held in the user's right hand or left hand or in both hands.
Le visage de l’utilisateur est « coupé » verticalement par son plan sagittal PS, le plan anatomique qui divise le corps de l’utilisateur U en parties droite et gauche. Le visage de l’utilisateur est également « coupé » selon un second plan, le plan frontal PF qui sépare anatomiquement l’avant et l’arrière du visage de l’utilisateur U et enfin un troisième plan, le plan transversal PT qui par convention dans ce texte sépare le visage de l’utilisateur en une partie haute et une partie basse.The user's face is "cut" vertically by its sagittal plane PS, the anatomical plane that divides the user's body U into right and left parts. The user's face is also "cut" according to a second plane, the frontal plane PF which anatomically separates the front and back of the user's face U and finally a third plane, the transverse plane PT which by convention in this text separates the user's face into an upper part and a lower part.
Selon les configurations d’usage au sein de cette architecture, le terminal T est placé selon une position relative (nommée PV par la suite) par rapport au plan sagittal PS de l’utilisateur. Dans le cas de la figure
Le terminal est placé à une distance d(UT) de l’utilisateur correspondant à la distance entre le point d’intersection des plans transversal, sagittal et frontal du visage de l’utilisateur U et le barycentre du terminal T.The terminal is placed at a distance d(UT) from the user corresponding to the distance between the point of intersection of the transverse, sagittal and frontal planes of the user's face U and the barycenter of the terminal T.
Le terminal est incliné selon des axes x, y et z, où x correspond à l’axe parallèle au plus petit côté de l’écran du terminal, y correspond à l’axe parallèle au plus grand côté de l’écran du terminal et z correspond à l’axe orthogonal vis-à-vis du plan formé par les axes x et y.The terminal is tilted along the x, y, and z axes, where x corresponds to the axis parallel to the smallest side of the terminal screen, y corresponds to the axis parallel to the largest side of the terminal screen, and z corresponds to the axis orthogonal to the plane formed by the x and y axes.
Selon les configurations d’usage possibles au sein de cette architecture, le terminal T présente une inclinaison correspondant à une rotation selon les angles x, y ou z.Depending on the possible usage configurations within this architecture, the terminal T has an inclination corresponding to a rotation according to the angles x, y or z.
Par exemple si le terminal est tenu verticalement (lorsque le côté le plus long du terminal est vertical du point de vue de l’utilisateur U), il est susceptible d’effectuer une rotation selon l’axe z de 90° par rapport à une situation où le terminal est tenu horizontalement (lorsque le côté le plus long du terminal est horizontal du point de vue de l’utilisateur U).For example, if the terminal is held vertically (when the longest side of the terminal is vertical from the user's point of view U), it is likely to rotate along the z axis by 90° compared to a situation where the terminal is held horizontally (when the longest side of the terminal is horizontal from the user's point of view U).
Selon les modes de réalisation, la caméra C du terminal T peut être placée à des endroits différents de la façade du terminal T, par exemple centrée contre le côté haut du terminal lorsque celui-ci est tenu verticalement ou placée dans un angle du terminal. La position du terminal au sein du plan défini par les axes x et y sera définie par les coordonnées xcam et ycam (non représentées sur la figure).
According to the embodiments, the camera C of the terminal T may be placed at different locations on the front of the terminal T, for example centered against the top side of the terminal when the latter is held vertically or placed in a corner of the terminal. The position of the terminal within the plane defined by the x and y axes will be defined by the coordinates xcam and ycam (not shown in the figure).
Description d’un mode de réalisation du procédé de détermination de la manualité selon l’inventionDescription of an embodiment of the method for determining manuality according to the invention
La figure
Le procédé commence lorsque le dispositif de détection de la manualité DDM reçoit en E201 une demande de détermination de la manualité en provenance du terminal T.The process begins when the manuality detection device DDM receives at E201 a request for manuality determination from the terminal T.
Selon les modes de réalisation, cette demande est déclenchée de façon autonome. Les raisons de cette demande peuvent varier selon les modes de réalisation, par exemple lorsque le terminal sort de veille, au lancement d’une application, de façon régulière selon une fréquence préétablie par ailleurs dans des paramètres du terminal T, etc.According to the embodiments, this request is triggered autonomously. The reasons for this request may vary according to the embodiments, for example when the terminal comes out of standby, when launching an application, regularly according to a frequency pre-established elsewhere in parameters of the terminal T, etc.
Selon les modes de réalisation, lors de la réception de cette demande, le dispositif de détermination de la manualité reçoit des informations relatives au terminal T, telles que la position de la caméra C sur le terminal T, via les coordonnées xcam et ycam décrit en
Selon d’autre modes de réalisation, si le procédé de détermination de la manualité de l’utilisateur est mis en œuvre directement par le terminal T, l’étape E201 consiste à initialiser la détection de la manualité de l’utilisateur.According to other embodiments, if the method for determining the user's manuality is implemented directly by the terminal T, step E201 consists of initializing the detection of the user's manuality.
Le dispositif de détection de la manualité reçoit ensuite à l’étape E202 au moins une image Im de l’utilisateur U en provenance de la caméra C du terminal T.The handedness detection device then receives at step E202 at least one image Im of the user U from the camera C of the terminal T.
Selon les modes de réalisation de l’invention, le dispositif de détermination de la manualité reçoit plusieurs images Im.According to the embodiments of the invention, the handedness determination device receives several images Im.
A l’étape E203, le dispositif de manualité détermine une position relative PR du terminal T par rapport au plan sagittal PS de l’utilisateur, à partir de ladite ou des images reçues en E202.In step E203, the manual device determines a relative position PR of the terminal T with respect to the sagittal plane PS of the user, from said image(s) received in E202.
Dans le cadre de ce mode de réalisation, l’identification du plan sagittal de l’utilisateur peut être obtenue à partir de l’identification du visage de l’utilisateur au sein de l’au moins une image Im reçue en E202 grâce à différentes techniques de détection du visage (par exemple la méthode de Viola et Jones, Eigenface, etc.) connues de l’homme du métier.In the context of this embodiment, the identification of the sagittal plane of the user can be obtained from the identification of the user's face within the at least one image Im received in E202 using different face detection techniques (for example the Viola and Jones method, Eigenface, etc.) known to those skilled in the art.
L’identification du visage de l’utilisateur et son orientation générale vis à vis du format de prise de vue, c’est-à-dire si le visage apparait dans sa verticalité au sein d’une image prise en mode portait ou paysage permet de déduire la façon dont le terminal est tenu par l’utilisateur U, par exemple si le terminal est tenu verticalement ou horizontalement.Identifying the user's face and its general orientation with respect to the shooting format, i.e. whether the face appears vertically in an image taken in portrait or landscape mode, makes it possible to deduce the way in which the terminal is held by the user U, for example whether the terminal is held vertically or horizontally.
Selon un mode de réalisation, si le dispositif de détermination de la manualité identifie plusieurs visages sur l’image Im, il prend en compte uniquement le visage figurant au premier plan, par exemple le visage non occulté par un second visage ou le visage occupant le plus de place au sein de l’image.According to one embodiment, if the handedness determination device identifies several faces in the image Im, it takes into account only the face appearing in the foreground, for example the face not obscured by a second face or the face occupying the most space within the image.
L’identification du visage permet ensuite d’établir la position du plan sagittal de l’utilisateur, c’est-à-dire le plan qui sépare anatomiquement le visage de l’utilisateur verticalement en un côté gauche et un côté droit.Face identification then makes it possible to establish the position of the user's sagittal plane, that is, the plane which anatomically separates the user's face vertically into a left side and a right side.
Selon les modes de réalisation, l’analyse du visage permet de déterminer la distance d(UT) entre le visage de l’utilisateur et le terminal. Cette distance peut notamment être calculée en se référant à la valeur moyenne d’écartement des yeux de l’utilisateur U ou à toute autre méthode connue de l’homme du métier.According to the embodiments, the facial analysis makes it possible to determine the distance d(UT) between the user's face and the terminal. This distance can in particular be calculated by referring to the average value of the user's eye spacing U or to any other method known to those skilled in the art.
L’analyse de l’image permet de déduire l’orientation du terminal T selon les axes x, y et z tels que représentés en figure
La détermination du plan sagittal de l’utilisateur, de la distance entre le terminal T et le visage de l’utilisateur et de l’orientation du terminal T permettent de déterminer une position relative PR du terminal T par rapport au plan sagittal PS de l’utilisateur.Determining the user's sagittal plane, the distance between the terminal T and the user's face and the orientation of the terminal T make it possible to determine a relative position PR of the terminal T in relation to the user's sagittal plane PS.
Selon d’autres modes de réalisation, la détermination de la position relative PR du terminal T par rapport au plan sagittal PS de l’utilisateur inclut le calcul de la position du terminal T au sein du référentiel formé par les plans sagittal PS, frontal PF et transverse PF de l’utilisateur.According to other embodiments, the determination of the relative position PR of the terminal T with respect to the sagittal plane PS of the user includes the calculation of the position of the terminal T within the reference frame formed by the sagittal planes PS, frontal PF and transverse PF of the user.
Dans le cas où le dispositif de détection de la manualité reçoit plusieurs images Im en E202 le dispositif analyse les différentes images et détermine une position relative PR du terminal T par rapport au plan sagittal PS de l’utilisateur sur la base de l’ensemble des images en effectuant un recoupement des données via différentes méthodes de partitionnement de données (ex : k-moyennes, diagramme de Voronoï, etc.) connues de l’homme du métier.In the case where the handedness detection device receives several images Im in E202, the device analyzes the different images and determines a relative position PR of the terminal T with respect to the sagittal plane PS of the user on the basis of all the images by cross-referencing the data via different data partitioning methods (e.g.: k-means, Voronoi diagram, etc.) known to those skilled in the art.
Selon certains modes de réalisation, si l’analyse 203 ne permet pas de déterminer une position relative PR du terminal T par rapport au plan sagittal PS de l’utilisateur, par exemple par manque de données ou du fait de données insuffisamment pertinentes, le procédé de détermination de la manualité prend fin, dans le cas contraire il continue.According to certain embodiments, if the analysis 203 does not make it possible to determine a relative position PR of the terminal T with respect to the sagittal plane PS of the user, for example due to lack of data or due to insufficiently relevant data, the method of determining manuality ends, otherwise it continues.
A l’étape E204, le dispositif de détermination de la manualité détermine la manualité Man de l’utilisateur U à partir de la position relative PR déterminée en E203.In step E204, the handedness determination device determines the handedness Man of the user U from the relative position PR determined in E203.
Cette détermination se base sur le principe selon lequel la manualité de l’utilisateur correspond à la position du terminal vis-à-vis du plan sagittal de l’utilisateur. Par exemple, si le terminal est positionné relativement à gauche du plan sagittal de l’utilisateur, on peut en déduire que l’utilisateur est gaucher, tandis que si le terminal est positionné relativement à droite du plan sagittal de l’utilisateur, celui-ci est droitier.This determination is based on the principle that the user's handedness corresponds to the position of the terminal relative to the user's sagittal plane. For example, if the terminal is positioned relatively to the left of the user's sagittal plane, it can be deduced that the user is left-handed, while if the terminal is positioned relatively to the right of the user's sagittal plane, the user is right-handed.
Selon d’autres modes de réalisation, la détermination de la manualité de l’utilisateur est basée sur la moyenne de différentes positions relatives PR du terminal vis-à-vis du plan sagittal de l’utilisateur. Pour ce faire, le dispositif de détermination de la manualité établit un recoupement d’informations, via par exemple un calcul de moyenne de ces différents positions relatives PR ou en recourant à des algorithmes d’apprentissage connus de l’homme du métier qui infère une position relative PR à partir des différentes positions relatives PR, etc.According to other embodiments, the determination of the user's manuality is based on the average of different relative positions PR of the terminal with respect to the user's sagittal plane. To do this, the device for determining manuality establishes a cross-referencing of information, for example via an average calculation of these different relative positions PR or by using learning algorithms known to those skilled in the art which infer a relative position PR from the different relative positions PR, etc.
Selon d’autres modes de réalisation, la détermination de la manualité de l’utilisateur intègre des données additionnelles comme la détection d’au moins un doigt (pouce ou index) ou la détection de la main ou du bras de l’utilisateur traversant le champ de vision de la caméra C du terminal T, ce qui permet de détecter une utilisation par la main gauche ou la main droite ou encore une utilisation du terminal par la main directrice de l’utilisateur avec son pouce ou par la main non directrice de l’utilisateur mais avec l’index de la main directrice de l’utilisateur.According to other embodiments, the determination of the user's manuality integrates additional data such as the detection of at least one finger (thumb or index finger) or the detection of the user's hand or arm crossing the field of vision of the camera C of the terminal T, which makes it possible to detect use by the left hand or the right hand or even use of the terminal by the user's leading hand with his thumb or by the user's non-leading hand but with the index finger of the user's leading hand.
A l’étape E205, le dispositif de détermination de la manualité envoie au terminal T la manualité Man déterminée en E204.In step E205, the manuality determination device sends to the terminal T the manuality Man determined in E204.
Selon d’autres modes de réalisation, si aucune manualité n’a pu être déterminée, le dispositif renvoie une erreur ou propose de relancer le procédé de détermination de la manualité au niveau de l’étape E202.According to other embodiments, if no manuality could be determined, the device returns an error or proposes to restart the manuality determination method at step E202.
Selon d’autres modes de réalisation, la manualité est envoyée au terminal avec un indice de confiance dans la manualité où par exemple un indice égal à 1 correspond à une certitude dans la manualité et 0 une incertitude totale dans le résultat retourné.
According to other embodiments, the manuality is sent to the terminal with a confidence index in the manuality where for example an index equal to 1 corresponds to a certainty in the manuality and 0 to a total uncertainty in the returned result.
Description d’un autre mode de réalisation du procédé de détermination de la manualité d’un utilisateur selon l’inventionDescription of another embodiment of the method for determining the manuality of a user according to the invention
La figure
Le procédé commence lorsque le dispositif de détermination de la manualité DDM reçoit en E301 une demande de détermination de la manualité. Celle-ci est similaire à l’étape E201 décrite en
A l’étape E302, de façon similaire à l’étape E202 de la figure
Selon les modes de réalisation de l’invention, le dispositif de détection de la manualité reçoit plusieurs images Im et des données correspondant à l’orientation et au déplacement du terminal T à l’instant où ont été capturées chacune desdites images.According to the embodiments of the invention, the handedness detection device receives several images Im and data corresponding to the orientation and movement of the terminal T at the time when each of said images was captured.
A l’étape E303, le dispositif de manualité détermine une position relative PR du terminal T par rapport au plan sagittal PS de l’utilisateur à partir de ladite ou des images Im et des données d’orientation et/ou de mouvement du terminal T reçues en E302.In step E303, the manual device determines a relative position PR of the terminal T with respect to the sagittal plane PS of the user from said image(s) Im and the orientation and/or movement data of the terminal T received in E302.
Cette étape est similaire à celle décrite en E203 de la figure
Selon un mode de réalisation, les données d’orientation du terminal vont permettre de déterminer, sans analyse de l’image ou en complément d’une analyse de l’image, l’orientation générale de l’image, par exemple si une image est prise en mode portrait ou en mode paysage).According to one embodiment, the terminal orientation data will make it possible to determine, without analysis of the image or in addition to an analysis of the image, the general orientation of the image, for example whether an image is taken in portrait mode or in landscape mode.
Selon un mode de réalisation, les données d’orientation du terminal vont permettre de déterminer, sans analyse de l’image ou en complément d’une analyse de l’image, l’orientation du terminal selon les axes x, y et z.According to one embodiment, the terminal orientation data will make it possible to determine, without image analysis or in addition to image analysis, the orientation of the terminal along the x, y and z axes.
Les étapes E304 et E305 de la figure
Steps E304 and E305 in the figure
Description d’un autre mode de réalisation du procédé de détermination de la manualité d’un utilisateur selon l’inventionDescription of another embodiment of the method for determining the manuality of a user according to the invention
La figure
L’étape E402 est similaire à l’étape décrite en E302 de la figure
Selon les modes de réalisation, le seuil peut être fixe, paramétré au niveau du terminal ou peut évoluer en fonction d’une logique d’apprentissage connue de l’homme du métier.Depending on the embodiments, the threshold may be fixed, set at the terminal level or may change based on a learning logic known to those skilled in the art.
Les étapes E403, E404 et E405 sont respectivement similaires aux étapes E203, E204 et E205 décrites en référence à la figure
Steps E403, E404 and E405 are respectively similar to steps E203, E204 and E205 described with reference to the figure
Description d’un terminal adapté pour déterminer la manualité d’un utilisateur du terminal dans un mode de réalisation de l’invention.Description of a terminal adapted to determine the manuality of a user of the terminal in one embodiment of the invention.
La figure
Selon un mode particulier de réalisation de l'invention, les actions exécutées par le dispositif TDM, dans le cadre de la mise en œuvre du procédé détermination de la manualité d’un utilisateur d’un terminal de la présente invention, sont mises en œuvre par des instructions d’un programme d'ordinateur PG. Pour cela, le terminal TDM a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEM, une unité de traitement UTR, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du procédé de détermination de la manualité de l’utilisateur du terminal TDM, en particulier les actions précitées :
- initier une demande de détermination de la manualité de l’utilisateur dudit terminal,
- recevoir au moins une image Im de l’utilisateur en provenance de la caméra C,
- déterminer à partir de ladite au moins une image Im une position relative PR du terminal TDM par rapport au plan sagittal PS de l’utilisateur,
- déterminer la manualité Man de l’utilisateur à partir de la position relative déterminée.According to a particular embodiment of the invention, the actions executed by the TDM device, within the framework of the implementation of the method for determining the manuality of a user of a terminal of the present invention, are implemented by instructions of a computer program PG. For this, the TDM terminal has the conventional architecture of a computer and comprises in particular a memory MEM, a processing unit UTR, equipped for example with a processor PROC, and controlled by the computer program PG stored in memory MEM. The computer program PG comprises instructions for implementing the steps of the method for determining the manuality of the user of the TDM terminal, in particular the aforementioned actions:
- initiate a request to determine the manuality of the user of said terminal,
- receive at least one Im image of the user from camera C,
- determine from said at least one image Im a relative position PR of the TDM terminal with respect to the sagittal plane PS of the user,
- determine the user's manuality Man from the determined relative position.
Selon d’autres modes de réalisation, basés sur une architecture dite de cloud computing (informatique en nuage, en français) le processeur PROC, la mémoire MEM peuvent être associés à un autre terminal, différent de TDM.According to other embodiments, based on a so-calledcloud computing architecture, the processor PROC, the memory MEM can be associated with another terminal, different from TDM.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2306461AFR3150332A1 (en) | 2023-06-22 | 2023-06-22 | Determining the manuality of a terminal user |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2306461 | 2023-06-22 | ||
| FR2306461AFR3150332A1 (en) | 2023-06-22 | 2023-06-22 | Determining the manuality of a terminal user |
| Publication Number | Publication Date |
|---|---|
| FR3150332A1true FR3150332A1 (en) | 2024-12-27 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2306461APendingFR3150332A1 (en) | 2023-06-22 | 2023-06-22 | Determining the manuality of a terminal user |
| Country | Link |
|---|---|
| FR (1) | FR3150332A1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140085220A1 (en)* | 2012-09-21 | 2014-03-27 | Richard Carl Gossweiler, III | Determining a dominant hand of a user of a computing device |
| US8922515B2 (en) | 2013-03-19 | 2014-12-30 | Samsung Electronics Co., Ltd. | System and method for real-time adaptation of a GUI application for left-hand users |
| US9471154B1 (en)* | 2013-02-11 | 2016-10-18 | Amazon Technologies, Inc. | Determining which hand is holding a device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140085220A1 (en)* | 2012-09-21 | 2014-03-27 | Richard Carl Gossweiler, III | Determining a dominant hand of a user of a computing device |
| US9471154B1 (en)* | 2013-02-11 | 2016-10-18 | Amazon Technologies, Inc. | Determining which hand is holding a device |
| US8922515B2 (en) | 2013-03-19 | 2014-12-30 | Samsung Electronics Co., Ltd. | System and method for real-time adaptation of a GUI application for left-hand users |
| Publication | Publication Date | Title |
|---|---|---|
| EP2483758B1 (en) | System and method for recognizing gestures | |
| CN109446947B (en) | Enhanced face recognition in video | |
| US10872259B2 (en) | Image production from video | |
| US9274597B1 (en) | Tracking head position for rendering content | |
| CN105917292B (en) | Eye gaze detection using multiple light sources and sensors | |
| JP2014519665A6 (en) | Improved facial recognition in video | |
| WO2017011795A1 (en) | Image production from video | |
| EP3281093A1 (en) | Electronic bracelet for displaying interactive digital content intended to be projected onto a zone of an arm | |
| WO2015195623A1 (en) | Dynamic template selection for object detection and tracking | |
| EP2767882B1 (en) | Method for time segmentation of an instrumented gesture, related device, terminal and program | |
| FR3021205A1 (en) | METHOD FOR DETERMINING AT LEAST ONE BEHAVIORAL PARAMETER | |
| EP2881841B1 (en) | Method for continuously recognising gestures by a user of a hand-held mobile terminal provided with a motion sensor unit, and associated device | |
| FR3150332A1 (en) | Determining the manuality of a terminal user | |
| EP3281097A1 (en) | Interactive electronic projection device | |
| EP2474937A1 (en) | Electronic authentication method of a handwritten signature, module and corresponding computer program | |
| CN109040604A (en) | Image processing method, device, storage medium and mobile terminal | |
| FR3069681A1 (en) | METHOD AND DEVICE FOR IMAGE CAPTURE OF IRIS | |
| EP2234003B1 (en) | Method for identifying a single axis of rotation of a rotation movement | |
| FR3130483A1 (en) | Camera, computer vision system incorporating such a camera and data stream generated by such a camera | |
| EP2704059A1 (en) | Device to release a computer instruction by detecting a head rotation movement |
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment | Year of fee payment:2 | |
| PLSC | Publication of the preliminary search report | Effective date:20241227 | |
| PLFP | Fee payment | Year of fee payment:3 |