Movatterモバイル変換


[0]ホーム

URL:


FR3118671A1 - Methods and systems for masking recorded personal visual data for testing a driver assistance function - Google Patents

Methods and systems for masking recorded personal visual data for testing a driver assistance function
Download PDF

Info

Publication number
FR3118671A1
FR3118671A1FR2100075AFR2100075AFR3118671A1FR 3118671 A1FR3118671 A1FR 3118671A1FR 2100075 AFR2100075 AFR 2100075AFR 2100075 AFR2100075 AFR 2100075AFR 3118671 A1FR3118671 A1FR 3118671A1
Authority
FR
France
Prior art keywords
image
motor vehicle
masking
convolutional neural
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR2100075A
Other languages
French (fr)
Inventor
Hamza El Hanbali
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SAfiledCriticalPSA Automobiles SA
Priority to FR2100075ApriorityCriticalpatent/FR3118671A1/en
Publication of FR3118671A1publicationCriticalpatent/FR3118671A1/en
Withdrawnlegal-statusCriticalCurrent

Links

Classifications

Landscapes

Abstract

Translated fromFrench

Système pour valider le fonctionnement d'un dispositif (2) destiné à générer, sur la base d'une image (31) de l'environnement d'un véhicule (1) automobile, d'une consigne (21) de conduite de ce véhicule (1) automobile, ce système comprenant - un capteur (3) d'image destiné à capter une image (31) de l'environnement du véhicule (1) automobile; - un module (41) d'apprentissage profond intégrant un réseau de neurones convolutifs configuré pour détecter et localiser, dans l'image (31) capté, un objet (5) prédéfini considéré à caractère personnel; - un module (42) de masquage pour masquer, dans ladite image (31), l'objet (5) localisé ; - un support (6) de stockage pour enregistrer l'image (31) ayant l'objet (5) masqué. Figure pour l’abrégé : Fig.1System for validating the operation of a device (2) intended to generate, on the basis of an image (31) of the environment of a motor vehicle (1), an instruction (21) for driving this motor vehicle (1), this system comprising - an image sensor (3) intended to capture an image (31) of the environment of the motor vehicle (1); - a deep learning module (41) integrating a convolutional neural network configured to detect and locate, in the captured image (31), a predefined object (5) considered to be of a personal nature; - a masking module (42) for masking, in said image (31), the localized object (5); - a storage medium (6) for recording the image (31) having the object (5) masked. Figure for the abstract: Fig.1

Description

Translated fromFrench
Méthodes et systèmes pour masquer des données visuelles à caractère personnel enregistrées pour tester une fonction d'aide à la conduiteMethods and systems for masking recorded personal visual data for testing a driver assistance function

La présente invention a trait aux méthodes et systèmes pour valider le fonctionnement d’un dispositifs basé sur des capteurs d'image embarqués pour générer une consigne de conduite d'un véhicule automobile, et plus particulièrement au traitement des images acquises par ces capteurs eu égard aux données à caractère personnelle qui peuvent y figurer.The present invention relates to methods and systems for validating the operation of a device based on on-board image sensors to generate an instruction for driving a motor vehicle, and more particularly to the processing of images acquired by these sensors with regard to to the personal data that may appear therein.

Les systèmes d'aide à la conduite (ou, en anglais, ADAS pour Advanced Driver Assistance System) sont, pour la plupart, basés sur des capteurs d'image destinés à fournir des informations sur l'environnement du véhicule. Cet environnement couvre l'ensemble des acteurs extérieurs qui peuvent influer sur la conduite du véhicule automobile tels que les autres usagers, les piétons, les panneaux de signalisation routière, les obstacles, ou le tracé de la route.Driving assistance systems (or, in English, ADAS for Advanced Driver Assistance System) are, for the most part, based on image sensors intended to provide information on the environment of the vehicle. This environment covers all the external actors who can influence the driving of the motor vehicle such as other users, pedestrians, road signs, obstacles, or the layout of the road.

Des images de l'environnement d'évolution du véhicule automobile peuvent, en effet, bénéficier à divers systèmes destinés à générer des consignes de conduite de ce véhicule automobile. Néanmoins, compte tenu de la complexité des environnements auxquels ces systèmes peuvent faire face, une étape de validation préalable de la fiabilité de ces systèmes ne peut être négligée.Images of the environment in which the motor vehicle is moving can, in fact, benefit various systems intended to generate driving instructions for this motor vehicle. Nevertheless, given the complexity of the environments that these systems can face, a preliminary validation step of the reliability of these systems cannot be neglected.

Pour cela, des campagnes de plusieurs jours de roulages dans des environnements variés sont nécessaires pour valider les objectifs de fiabilité de tels systèmes. Tout au long de ces campagnes, les images acquises ainsi que les consignes de conduite qui en découlent sont enregistrées pour être analysées.For this, campaigns of several days of driving in various environments are necessary to validate the reliability objectives of such systems. Throughout these campaigns, the images acquired as well as the resulting driving instructions are recorded for analysis.

Cependant, l'enregistrement de ces images, bien qu'indispensable pour apprécier la pertinence des consignes générées, met sérieusement en cause le droit au respect de la vie privée. Des données à caractère personnel peuvent évidement être comprises dans les images acquises de l'environnement du véhicule automobile en circulation, notamment dans un milieu urbain. A cet égard, le document CN110958410 propose de procéder, avant l'enregistrement des images acquises par un capteur d'image embarqué, à une détection au moyen d'un algorithme de reconnaissance faciale des visages qui s'y trouvent et à leur « floutage ».However, the recording of these images, although essential to assess the relevance of the instructions generated, seriously calls into question the right to respect for private life. Personal data can obviously be included in the images acquired of the environment of the motor vehicle in circulation, in particular in an urban environment. In this respect, the document CN110958410 proposes to carry out, before the recording of the images acquired by an onboard image sensor, a detection by means of a facial recognition algorithm of the faces which are there and their "blurring ".

Un inconvénient des solutions connues est leur portée limitée dans la mesure où elles ne couvrent que les visages, alors que des données à caractère personnel peuvent aussi être toute autre information permettant d'identifier directement ou indirectement une personne physique. Un deuxième inconvénient majeur est leur performance, d'autant plus que l'environnement d'un véhicule automobile est souvent en constante variation en raison du déplacement absolu ou relatif du véhicule automobile par rapport aux objets à son alentour.A drawback of the known solutions is their limited scope insofar as they only cover faces, whereas personal data can also be any other information making it possible to directly or indirectly identify a natural person. A second major drawback is their performance, especially since the environment of a motor vehicle is often in constant variation due to the absolute or relative displacement of the motor vehicle with respect to the objects in its surroundings.

Un objet de la présente invention est de remédier aux inconvénients précités.An object of the present invention is to remedy the aforementioned drawbacks.

Un autre objet de la présente invention est de répondre efficacement aux exigences en matière de respect de la vie privé lors de la validation d'une fonction d'aide à la conduite.Another object of the present invention is to respond effectively to privacy requirements when validating a driver assistance function.

A cet effet, il est proposé, en premier lieu, un système pour valider le fonctionnement d'un dispositif destiné à générer, sur la base d'une image de l'environnement d'un véhicule automobile, d'une consigne de conduite de ce véhicule automobile, ce système comprenant
- un capteur d'image destiné à capter une image de l'environnement du véhicule automobile;
- un module d'apprentissage profond intégrant un réseau de neurones convolutifs configuré pour détecter et localiser, dans l'image capté, un objet prédéfini considéré à caractère personnel;
- un module de masquage pour masquer, dans ladite image, l'objet localisé ;
- un support de stockage pour enregistrer l'image ayant l'objet masqué.
To this end, there is proposed, firstly, a system for validating the operation of a device intended to generate, on the basis of an image of the environment of a motor vehicle, a driving instruction for this motor vehicle, this system comprising
- an image sensor intended to capture an image of the environment of the motor vehicle;
- a deep learning module integrating a convolutional neural network configured to detect and locate, in the captured image, a predefined object considered to be of a personal nature;
- a masking module for masking, in said image, the localized object;
- a storage medium for saving the image having the masked object.

Diverses caractéristiques supplémentaires peuvent être prévues, seules ou en combinaison :
- le réseau de neurones convolutifs est un réseau de neurones convolutifs basé sur des régions ;
- l'objet prédéfini est une plaque d'immatriculation et/ou un visage humain ;
- l'objet est localisé dans une zone de forme sensiblement rectangulaire ou circulaire de ladite image ;
- l'objet localisé est masqué par un effet de flou.
Various additional features may be provided, alone or in combination:
- the convolutional neural network is a region-based convolutional neural network;
- the predefined object is a license plate and/or a human face;
- the object is located in an area of substantially rectangular or circular shape of said image;
- the located object is masked by a blur effect.

Il est proposé, en deuxième lieu, une méthode pour valider le fonctionnement d'un dispositif destiné à générer, sur la base d'une image de l'environnement d'un véhicule automobile, d'une consigne de conduite de ce véhicule automobile, cette méthode comprenant les étapes suivantes:
- capture d'une image de l'environnement du véhicule automobile au moyen d'un capteur d'image ;
- détection et localisation, dans ladite image, d'un objet prédéfini considéré à caractère personnel au moyen d'un module d'apprentissage profond intégrant un réseau de neurones convolutifs ;
- masquage, dans ladite image, de l'objet prédéfini localisé au moyen d'un module de masquage;
- enregistrement de ladite image ayant ledit objet prédéfini masqué sur un support de stockage.
Secondly, a method is proposed for validating the operation of a device intended to generate, on the basis of an image of the environment of a motor vehicle, a driving instruction for this motor vehicle, this method includes the following steps:
- Capture of an image of the environment of the motor vehicle by means of an image sensor;
- detection and localization, in said image, of a predefined object considered to be of a personal nature by means of a deep learning module integrating a convolutional neural network;
- masking, in said image, of the predefined object located by means of a masking module;
- recording of said image having said masked predefined object on a storage medium.

Diverses caractéristiques supplémentaires peuvent être prévues, seules ou en combinaison :
- le réseau de neurones convolutifs est un réseau de neurones convolutifs basé sur des régions ;
- l'objet prédéfini est une plaque d'immatriculation et/ou un visage humain ;
- l'objet est localisé dans une zone de forme sensiblement rectangulaire ou circulaire de ladite image ;
- l'objet localisé est masqué par un effet de flou.
Various additional features may be provided, alone or in combination:
- the convolutional neural network is a region-based convolutional neural network;
- the predefined object is a license plate and/or a human face;
- the object is located in an area of substantially rectangular or circular shape of said image;
- the located object is masked by a blur effect.

D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement et de manière concrète à la lecture de la description ci-après de modes de réalisation, laquelle est faite en référence aux dessins annexés dans lesquels :Other characteristics and advantages of the invention will appear more clearly and concretely on reading the following description of embodiments, which is made with reference to the appended drawings in which:

la figureillustre schématiquement un véhicule automobile comprenant des éléments d'un système pour valider le fonctionnement d'un dispositif configuré pour générer une consigne de conduite sur la base d'une image de l'environnement de ce véhicule automobile selon divers modes de réalisation;the figure schematically illustrates a motor vehicle comprising elements of a system for validating the operation of a device configured to generate a driving instruction on the basis of an image of the environment of this motor vehicle according to various embodiments;

la figureillustre schématiquement des étapes d'une méthode pour valider le fonctionnement d'un dispositif configuré pour générer une consigne de conduite sur la base d'une image de l'environnement d'un véhicule automobile selon divers modes de réalisation.the figure schematically illustrates the steps of a method for validating the operation of a device configured to generate a driving instruction on the basis of an image of the environment of a motor vehicle according to various embodiments.

En se référant à la, il est affiché un véhicule 1 automobile pourvu d'un dispositif 2 destiné à générer une ou plusieurs consignes 21 de conduite de ce véhicule 1 automobile. Ces consignes 21 de conduite visent à adapter la conduite du véhicule 1 automobile à son environnement d'évolution. Une consigne 21 de conduite peut porter sur la vitesse et/ou la trajectoire du véhicule 1 automobile telle qu'une consigne de vitesse, une consigne de freinage, une consigne au volant, ou une consigne de braquage. Ces consignes 21 de conduite peuvent être destinées aux conducteurs (aide ou assistance passive à la conduite) et/ou directement envoyées à des actionneurs du véhicule 1 automobile (assistance active à la conduite). Le véhicule 1 automobile peut, en effet, être à conduite semi-automatique ou automatique. Le dispositif 2 est, dans un mode de réalisation, un système d'aide à la conduite (ADAS).By referring to the , a motor vehicle 1 is displayed provided with a device 2 intended to generate one or more instructions 21 for driving this motor vehicle 1. These driving instructions 21 are intended to adapt the driving of the motor vehicle 1 to its operating environment. A driving instruction 21 can relate to the speed and/or the trajectory of the motor vehicle 1 such as a speed instruction, a braking instruction, a driving instruction, or a steering instruction. These driving instructions 21 can be intended for drivers (passive driving assistance or assistance) and/or directly sent to actuators of the motor vehicle 1 (active driving assistance). The motor vehicle 1 can, in fact, be semi-automatic or automatic. The device 2 is, in one embodiment, a driver assistance system (ADAS).

Pour générer une consigne21de conduite, le dispositif2se base, entre autres, sur des images31de l'environnement du véhicule1automobile capturées par au moins un capteur3d'image embarqué. De telles images31permettent au dispositif2de détecter la présence dans l'environnement du véhicule1automobile, par exemple, d'un piéton, d'un obstacle ou d'un autre usager et générer une consigne21de conduite permettant d'adapter en conséquence la conduite du véhicule1automobile. Plus généralement, le dispositif2utilise un capteur3d'image pour surveiller au moins partiellement l'environnement d'évolution du véhicule1automobile.To generate a driving instruction21 , the device2 is based, inter alia, on images31 of the environment of the motor vehicle1 captured by at least one on-board image sensor3 . Such images31 allow the device2 to detect the presence in the environment of the motor vehicle1 , for example, of a pedestrian, an obstacle or another user and generate a driving instruction21 making it possible to adapt consequently driving the motor vehicle1 . More generally, the device2 uses an image sensor3 to at least partially monitor the environment in which the motor vehicle1 is moving.

Le capteur3d'image est, dans un mode de réalisation, une caméra embarquée dans le véhicule1automobile, notamment une caméra dans le domaine visible. Dans un mode de réalisation, le capteur3d'image est une caméra frontale, une caméra 360 degrés, une caméra latéral, et/ou une caméra de recul. Le capteur3d'image peut être disposé à l'avant, à l'intérieur (par exemple, sous le rétroviseur intérieur et orienté vers la route et la signalisation), au dessus, à l'arrière, ou tout autour du véhicule1automobile. Le capteur3d'image comprend, dans un mode de réalisation, des focales multiples avec des portées variables pour couvrir le maximum de l'environnement proche du véhicule1automobile.The image sensor3 is, in one embodiment, a camera on board the motor vehicle1 , in particular a camera in the visible range. In one embodiment, the image sensor3 is a front camera, a 360 degree camera, a side camera, and/or a rear view camera. The image sensor3 can be arranged at the front, inside (for example, under the interior mirror and oriented towards the road and the signs), above, at the rear, or all around the vehicle1 automobile. The image sensor3 comprises, in one embodiment, multiple focal lengths with variable ranges to cover as much of the environment close to the motor vehicle1 as possible.

Des images31de l'environnement du véhicule1automobile sont fournies par le capteur3d'image sous forme d'un flux d'images vidéo, par série d'images, et/ou par image à une fréquence prédéfinie ou sur demande du dispositif2. Ces images31sont mises à disposition du dispositif2pour générer, si nécessaire, une consigne21de conduite appropriée à l'environnement et la situation de conduite du véhicule1automobile.Images31 of the environment of the motor vehicle1 are supplied by the image sensor3 in the form of a stream of video images, by series of images, and/or by image at a predefined frequency or on request of the device2 . These images31 are made available to the device2 to generate, if necessary, a driving instruction21 appropriate to the environment and the driving situation of the motor vehicle1 .

Pour valider le fonctionnement du dispositif2, les images31qui lui sont communiquées sont enregistrées sur un support6de stockage. Les consignes21de conduite générées par le dispositif2sont, dans un mode de réalisation, elles aussi enregistrées sur le support6de stockage. Chaque consigne21de conduite est, de préférence, enregistrée en association avec la ou les images31sur la base desquelles cette consigne21de conduite est produite.To validate the operation of the device2 , the images31 communicated to it are recorded on a storage medium6 . The driving instructions21 generated by the device2 are, in one embodiment, also recorded on the storage medium6 . Each driving instruction21 is preferably recorded in association with the image(s)31 on the basis of which this driving instruction21 is produced.

Le support6de stockage est tout support d'information électronique (un disque dur, une clé USB, une carte SD, ou une carte microSD par exemple) configuré pour mémoriser au moins temporairement des données relatives à la validation du fonctionnement du dispositif2. Le support6de stockage peut être embarqué dans le véhicule1automobile ou distant, tel qu'un serveur auquel le véhicule1automobile est connecté de façon permanente ou intermittente.The storage medium6 is any electronic information medium (a hard disk, a USB key, an SD card, or a microSD card for example) configured to at least temporarily store data relating to the validation of the operation of the device2 . The storage medium6 can be embedded in the motor vehicle1 or remote, such as a server to which the motor vehicle1 is permanently or intermittently connected.

Pour répondre à des exigences en matière de respect de la vie privé, un traitement d'image est appliqué à l'image31avant son enregistrement sur le support6de stockage. Ce traitement d'image vise à masquer dans l'image31tout objet5considéré à caractère personnel. On entend ici par objet à caractère personnel toute donnée visuelle se rapportant à une personne physique identifiée ou identifiable. Une personne physique peut être identifiée directement, par exemple, par son visage ou indirectement, par exemple, par le numéro d'immatriculation de son véhicule. Par ailleurs, l’identification d’une personne physique peut être réalisée à partir d'un croisement d’une pluralité de données telles que son visage et des données de localisation.To meet privacy requirements, image processing is applied to the image31 before it is recorded on the storage medium6 . This image processing aims to mask in the image31 any object5 considered to be of a personal nature. Personal object here means any visual data relating to an identified or identifiable natural person. A natural person can be identified directly, for example, by his face or indirectly, for example, by the registration number of his vehicle. Furthermore, the identification of a natural person can be carried out from a crossing of a plurality of data such as his face and location data.

Pour cela, les images31fournies par le capteur3d'image sont d'abord soumises à un filtre4d'objets prédéfinis avant leur enregistrement sur le support6de stockage. Ce filtre4d'objets est configuré pour détecter et masquer dans l'image31des objets5considérés à caractère personnel. Des objets considérés à caractère personnel comprennent, par exemple, un visage humain et/ou une plaque d'immatriculation.For this, the images31 supplied by the image sensor3 are first subjected to a filter4 of predefined objects before they are recorded on the storage medium6 . This object filter4 is configured to detect and mask in the image31 objects5 considered to be of a personal nature. Objects considered personal include, for example, a human face and/or a license plate.

Le filtre4d'objets à caractère personnel comprend un module41d'apprentissage profond (plus connu sous le nom anglais « Deep-Learning ») ou, plus généralement, un module41d'apprentissage automatique (dit en anglais « machine learning »), apte à détecter et localiser dans l'image31un ou plusieurs objets5considérés à caractère personnel.The personal object filter4 includes a deep learning module41 (better known as “Deep-Learning”) or, more generally, a machine learning module41 ), capable of detecting and locating in the image31 one or more objects5 considered to be of a personal nature.

Le module41d'apprentissage profond intègre un réseau de neurones à convolution ou un réseau de neurones convolutifs (plus connu sous le nom anglais "Convolutional Neural Networks"). Ce réseau de neurones convolutifs est entrainé au préalable pour reconnaitre des objets5considérés à caractère personnel. Un jeu d'images comprenant divers visages humains et/ou divers plaques d'immatriculation est utilisé comme données d'entrainement du réseau de neurones convolutifs. Le module41d'apprentissage profond est donc apte à détecter dans une même image31plusieurs objets appartenant à une même classe ou à des classes différentes.The deep learning module41 integrates a convolutional neural network or a convolutional neural network (better known under the English name "Convolutional Neural Networks"). This convolutional neural network is trained beforehand to recognize objects5 considered to be of a personal nature. A set of images including various human faces and/or license plates is used as training data for the convolutional neural network. The deep learning module41 is therefore capable of detecting in the same image31 several objects belonging to the same class or to different classes.

Avantageusement, les réseaux de neurones convolutifs sont particulièrement adaptés pour le traitement d’images. Les réseaux de neurones convolutifs sont, pour la détection d'objets ou d'instances dans une image numérique ou plus généralement pour l'analyse d'images (notamment, des images bruitées ou incomplètes), plus performants que les algorithmes existants basés sur la logique floue ou sur des arbres de décision.Advantageously, convolutional neural networks are particularly suitable for image processing. Convolutional neural networks are, for the detection of objects or instances in a digital image or more generally for the analysis of images (in particular, noisy or incomplete images), more efficient than the existing algorithms based on the fuzzy logic or on decision trees.

En outre, les réseaux de neurones convolutifs permettent, avantageusement, de détecter des objets prédéfinis indépendamment de leur position dans l’image31acquise. Le module41d'apprentissage profond est, en effet, configuré pour détecter et localiser dans l'image31un objet5prédéfini considéré à caractère personnel. En détectant la présence d'un objet5prédéfini considéré à caractère personnel dans l'image31, le module41d'apprentissage profond produit en sortie les coordonnées d'un tel objet5et les communique à un module42de masquage. Ces coordonnées sont celles d'un contour délimitant un objet5considéré à caractère personnel détecté dans l'image31. Ce contour est, dans un mode de réalisation, de forme rectangulaire (notamment, pour une plaque immatriculation) ou circulaire (notamment, pour un visage). Plus généralement, un objet5considéré à caractère personnel est localisé dans une zone de forme sensiblement rectangulaire ou circulaire de l’image31.In addition, convolutional neural networks advantageously make it possible to detect predefined objects independently of their position in the acquired image31 . The deep learning module41 is, in fact, configured to detect and locate in the image31 a predefined object5 considered to be of a personal nature. By detecting the presence of a predefined object5 considered to be of a personal nature in the image31 , the deep learning module41 produces the coordinates of such an object5 as output and communicates them to a masking module42 . These coordinates are those of a contour delimiting an object5 considered to be of a personal nature detected in the image31 . This contour is, in one embodiment, of rectangular shape (in particular, for a license plate) or circular (in particular, for a face). More generally, an object5 considered to be of a personal nature is located in a zone of substantially rectangular or circular shape of the image31 .

Dans un mode de réalisation, le réseau de neurones convolutifs est un réseau de neurones convolutifs basé sur des régions (dit, selon une terminologie anglo-saxonne, R-CNN pour "Region-based Convolutional Neural Networks"), ou un réseau de neurones convolutifs basé des régions rapide (dit, selon une terminologie anglo-saxonne, Fast R-CNN pour "Fast Region-based Convolutional Neural Networks"), ou tout autre modèle équivalent.In one embodiment, the convolutional neural network is a region-based convolutional neural network (known as R-CNN for "Region-based Convolutional Neural Networks"), or a neural network convolutional models based on fast regions (known as Fast R-CNN for "Fast Region-based Convolutional Neural Networks"), or any other equivalent model.

Le module42de masquage est configuré pour masquer tout objet5localisé dans l'image31par le module41d'apprentissage profond. Pour cela, l'image31et les coordonnées des contours délimitant (c'est à dire, des zones couvrant) les objets5considérés à caractère personnel sont reçues en entrée par le module42de masquage. Le masquage d'un objet5considéré à caractère personnel peut être obtenu selon diverses techniques appliquées à la zone couvrant cet objet5telles qu'un effet de flou, un effet de brouillage, un effet de pixellisation, un effet de distorsion, la superposition d'un masque, ou sa suppression. Il en résulte avantageusement un masquage des données à caractère personnel sans toutefois détériorer la qualité du reste de l’image31.The masking module42 is configured to mask any object5 located in the image31 by the deep learning module41 . For this, the image31 and the coordinates of the contours delimiting (ie areas covering) the objects5 considered to be of a personal nature are received as input by the masking module42 . The masking of an object5 considered to be of a personal nature can be obtained according to various techniques applied to the area covering this object5 such as a blur effect, a scrambling effect, a pixelation effect, a distortion effect, the superposition of a mask, or its removal. This advantageously results in a masking of personal data without however deteriorating the quality of the rest of the image31 .

L'image31ayant les objets5considérés à caractère personnel masqués est enregistrée sur le support6de stockage. Ainsi, à partir d’une image31reçue en son entrée, le filtre4d'objets considérés à caractère personnel masque les zones de cette image31susceptibles de contenir un objet5à caractère personnel et la transmet pour enregistrement sur le support6de stockage. Il en résulte, avantageusement, que les images31enregistrées sur le support6de stockage sont vides de tout contenu à caractère personnel, notamment de visages et/ou de numéro d'immatriculation de véhicule.The image31 having the objects5 considered to be of a personal nature masked is recorded on the storage medium6 . Thus, from an image31 received at its input, the filter4 of objects considered to be of a personal nature masks the areas of this image31 likely to contain an object5 of a personal nature and transmits it for recording on the medium6 of storage. As a result, advantageously, the images31 recorded on the storage medium6 are empty of any content of a personal nature, in particular faces and/or vehicle registration numbers.

Autrement dit, avant son enregistrement au moins temporaire sur le support6de stockage, l'image31passe par le filtre4d'objets considérés à caractère personnel. Le module41d'apprentissage profond basé sur un réseau de neurones convolutifs pré-entrainé y détecte et localise tout objet5prédéfini considéré à caractère personnel (tels que des visages humains et/ou des plaques d'immatriculation). Le module42de masquage se charge de masquer dans l'image31les objets qui y sont localisés et qui lui sont indiqués par le module41d'apprentissage profond.In other words, before its at least temporary recording on the storage medium6 , the image31 passes through the filter4 of objects considered to be of a personal nature. The deep learning module41 based on a pre-trained convolutional neural network detects therein and locates any predefined object5 considered to be of a personal nature (such as human faces and/or license plates). The masking module42 is responsible for masking in the image31 the objects which are located there and which are indicated to it by the deep learning module41 .

Dans un mode de réalisation, le filtre4d'objets à caractère personnel est intégré dans un calculateur configuré pour traiter les données perçues par des capteurs3d'image pour tester ou valider une nouvelle fonction d'aide à la conduite.In one embodiment, the filter4 of objects of a personal nature is integrated into a computer configured to process the data perceived by the image sensors3 to test or validate a new driving aid function.

En se reportant à la, il est affiché des étapes d'une méthode pour valider le fonctionnement du dispositif 2 destiné à générer, sur la base d'une image 31 de l'environnement du véhicule 1 automobile, d'une consigne 21 de conduite de ce véhicule 1 automobile. Cette méthode comprend une étape 11 de capture d'une image 31 de l'environnement du véhicule 1 automobile au moyen du capteur 3 d'image. Ensuite, une étape 12 de détection et de localisation d'objets 5 prédéfinis considérés à caractère personnel est appliquée à cette image 31 au moyen du module 41 d'apprentissage profond intégrant un réseau de neurones convolutifs. Lors d'une étape 13 de masquage, les objets 5 localisés dans l'image 31 par le module 41 d'apprentissage profond sont masqués via, par exemple, un effet de flou, une pixellisation, ou un gommage. Pour flouter une zone de l'image 31, les valeurs des pixels de cette zone sont, dans un mode de réalisation, remplacées par la moyenne de ces valeurs. L'image 31 ainsi modifiée est enregistrée (étape 14) au moins temporairement sur le support 6 de stockage.By referring to the , the steps of a method are displayed for validating the operation of the device 2 intended to generate, on the basis of an image 31 of the environment of the motor vehicle 1, an instruction 21 for driving this motor vehicle 1 . This method comprises a step 11 of capturing an image 31 of the environment of the motor vehicle 1 by means of the image sensor 3. Next, a step 12 of detecting and locating predefined objects 5 considered to be of a personal nature is applied to this image 31 by means of the deep learning module 41 integrating a convolutional neural network. During a masking step 13, the objects 5 located in the image 31 by the deep learning module 41 are masked via, for example, a blurring effect, a pixelization, or an erasing. To blur a zone of the image 31, the values of the pixels of this zone are, in one embodiment, replaced by the average of these values. The image 31 thus modified is recorded (step 14) at least temporarily on the storage medium 6 .

Dans un mode de réalisation, les étapes de détection, de localisation et de masquage d'objets5prédéfinis considérés à caractère personnel sont mises en œuvre sensiblement en temps réel ou quasi-réel sur un flux d'images vidéo produit par le capteur3d'image.In one embodiment, the steps of detecting, locating and masking predefined objects5 considered to be of a personal nature are implemented substantially in real or near real time on a stream of video images produced by the sensor3 d 'picture.

Avantageusement, le traitement décrit ci-dessus appliqué à une image31de l'environnement du véhicule1automobile acquise par le capteur3d'image intervient, avant l'enregistrement de cette image31sur le support6de stockage. Ce traitement permet d’adapter automatiquement les images31fournies par le capteur3d'image embarqué dans le véhicule1automobile de façon à préserver la vie privée des usagers. Le support6de stockage est, par conséquent, vide de données à caractère personnel. Il en résulte avantageusement un enregistrement conforme au droit à la vie privée. Les images31enregistrées peuvent donc être gardées plus longtemps que nécessaire, sans contrevenir aux dispositions du droit à la vie privée.Advantageously, the processing described above applied to an image31 of the environment of the motor vehicle1 acquired by the image sensor3 occurs before the recording of this image31 on the storage medium6 . This processing makes it possible to automatically adapt the images31 supplied by the image sensor3 on board the motor vehicle1 so as to preserve the privacy of the users. The storage medium6 is therefore empty of personal data. This advantageously results in a recording that complies with the right to privacy. The recorded images31 can therefore be kept longer than necessary, without contravening the provisions of the right to privacy.

Claims (10)

Translated fromFrench
Système pour valider le fonctionnement d'un dispositif (2) destiné à générer, sur la base d'une image (31) de l'environnement d'un véhicule (1) automobile, d'une consigne (21) de conduite de ce véhicule (1) automobile, ce système comprenant
- un capteur (3) d'image destiné à capter une image (31) de l'environnement du véhicule (1) automobile;
- un module (41) d'apprentissage profond intégrant un réseau de neurones convolutifs configuré pour détecter et localiser, dans l'image (31) capté, un objet (5) prédéfini considéré à caractère personnel;
- un module (42) de masquage pour masquer, dans ladite image (31), l'objet (5) localisé ;
- un support (6) de stockage pour enregistrer l'image (31) ayant l'objet (5) masqué.
System for validating the operation of a device (2 ) intended to generate, on the basis of an image (31 ) of the environment of a motor vehicle (1 ), an instruction (21 ) for driving this automotive vehicle (1 ), this system comprising
- an image sensor (3 ) intended to capture an image (31 ) of the environment of the motor vehicle (1 );
- a deep learning module (41 ) integrating a convolutional neural network configured to detect and locate, in the captured image (31 ), a predefined object (5 ) considered to be of a personal nature;
- a masking module (42 ) for masking, in said image (31 ), the localized object (5 );
- A storage medium (6 ) for recording the image (31 ) having the object (5 ) masked.
Système selon la revendication précédente,caractérisé en ce quele réseau de neurones convolutifs est un réseau de neurones convolutifs basé sur des régions.System according to the preceding claim,characterized in that the convolutional neural network is a region-based convolutional neural network.Système selon la revendication 1 ou 2,caractérisé en ce quel'objet (5) prédéfini est une plaque d'immatriculation et/ou un visage humain.System according to Claim 1 or 2,characterized in that the predefined object (5 ) is a license plate and/or a human face.Système selon l'une quelconque des revendications précédentes,caractérisé en ce quel'objet (5) est localisé dans une zone de forme sensiblement rectangulaire ou circulaire de ladite image (31).System according to any one of the preceding claims,characterized in that the object (5 ) is located in a zone of substantially rectangular or circular shape of the said image (31 ).Système selon l'une quelconque des revendications précédentes,caractérisé en ce quel'objet (5) localisé est masqué par un effet de flou.System according to any one of the preceding claims,characterized in that the localized object (5 ) is masked by a blurring effect.Méthode pour valider le fonctionnement d'un dispositif (2) destiné à générer, sur la base d'une image (31) de l'environnement d'un véhicule (1) automobile, d'une consigne (21) de conduite de ce véhicule (1) automobile, cette méthode comprenant les étapes suivantes:
- capture (11) d'une image (31) de l'environnement du véhicule (1) automobile au moyen d'un capteur (3) d'image ;
- détection et localisation (12), dans ladite image (31), d'un objet (5) prédéfini considéré à caractère personnel au moyen d'un module (41) d'apprentissage profond intégrant un réseau de neurones convolutifs ;
- masquage (13), dans ladite image (31), de l'objet prédéfini localisé au moyen d'un module (42) de masquage;
- enregistrement (14) de ladite image (31) ayant ledit objet (5) prédéfini masqué sur un support (6) de stockage.
Method for validating the operation of a device (2 ) intended to generate, on the basis of an image (31 ) of the environment of a motor vehicle (1 ), an instruction (21 ) for driving this motor vehicle (1 ), this method comprising the following steps:
- Capture (11 ) of an image (31 ) of the environment of the motor vehicle (1 ) by means of an image sensor (3 );
- detection and localization (12 ), in said image (31 ), of a predefined object (5 ) considered to be of a personal nature by means of a deep learning module (41 ) integrating a convolutional neural network;
- masking (13 ), in said image (31 ), of the predefined object located by means of a masking module (42 );
- Recording (14 ) of said image (31 ) having said predefined masked object (5 ) on a storage medium (6 ).
Méthode selon la revendication précédente,caractériséeen ce quele réseau de neurones convolutifs est un réseau de neurones convolutifs basé sur des régions.Method according to the preceding claim,characterizedinthat the convolutional neural network is a convolutional neural network based on regions.Méthode selon la revendication 6 ou 7,caractériséeen ce quel'objet (5) prédéfini est une plaque d'immatriculation et/ou un visage humain.Method according to Claim 6 or 7,characterizedinthat the predefined object (5 ) is a license plate and/or a human face.Méthode selon l'une quelconque des revendications 6 à 8,caractériséeen ce quel'objet (5) est localisé dans une zone de forme sensiblement rectangulaire ou circulaire de ladite image (31).Method according to any one of Claims 6 to 8,characterizedinthat the object (5 ) is located in a zone of substantially rectangular or circular shape of the said image (31 ).Méthode selon l'une quelconque des revendications 6 à 9,caractériséeen ce quel'objet (5) localisé est masqué par un effet de flou.Method according to any one of Claims 6 to 9,characterizedinthat the localized object (5 ) is masked by a blurring effect.
FR2100075A2021-01-062021-01-06 Methods and systems for masking recorded personal visual data for testing a driver assistance functionWithdrawnFR3118671A1 (en)

Priority Applications (1)

Application NumberPriority DateFiling DateTitle
FR2100075AFR3118671A1 (en)2021-01-062021-01-06 Methods and systems for masking recorded personal visual data for testing a driver assistance function

Applications Claiming Priority (2)

Application NumberPriority DateFiling DateTitle
FR21000752021-01-06
FR2100075AFR3118671A1 (en)2021-01-062021-01-06 Methods and systems for masking recorded personal visual data for testing a driver assistance function

Publications (1)

Publication NumberPublication Date
FR3118671A1true FR3118671A1 (en)2022-07-08

Family

ID=75339875

Family Applications (1)

Application NumberTitlePriority DateFiling Date
FR2100075AWithdrawnFR3118671A1 (en)2021-01-062021-01-06 Methods and systems for masking recorded personal visual data for testing a driver assistance function

Country Status (1)

CountryLink
FR (1)FR3118671A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
US20200086879A1 (en)*2018-09-142020-03-19Honda Motor Co., Ltd.Scene classification prediction
CN110958410A (en)2018-09-272020-04-03北京嘀嘀无限科技发展有限公司Video processing method and device and automobile data recorder
WO2020205655A1 (en)*2019-03-292020-10-08Intel CorporationAutonomous vehicle system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
US20200086879A1 (en)*2018-09-142020-03-19Honda Motor Co., Ltd.Scene classification prediction
CN110958410A (en)2018-09-272020-04-03北京嘀嘀无限科技发展有限公司Video processing method and device and automobile data recorder
WO2020205655A1 (en)*2019-03-292020-10-08Intel CorporationAutonomous vehicle system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ABBASI MILAD HAJI ET AL: "Deep Visual Privacy Preserving for Internet of Robotic Things", 2019 5TH CONFERENCE ON KNOWLEDGE BASED ENGINEERING AND INNOVATION (KBEI), IEEE, 28 February 2019 (2019-02-28), pages 292 - 296, XP033560622, DOI: 10.1109/KBEI.2019.8735033*

Similar Documents

PublicationPublication DateTitle
CN107967806A (en)Vehicle fake-license detection method, device, readable storage medium storing program for executing and electronic equipment
CN109800633B (en)Non-motor vehicle traffic violation judgment method and device and electronic equipment
EP3332352B1 (en)Device and method for detecting a parking space that is available for a motor vehicle
FR3007553A1 (en) METHOD FOR DETECTING A TRUE FACE
EP3195077A1 (en)Localisation and mapping method and system
US11972015B2 (en)Personally identifiable information removal based on private area logic
CA3000153A1 (en)Analysis process for a structure document capable of being deformed
KR20210065177A (en) Image acquisition device occlusion detection method, device, device and storage medium
CN110826544A (en) Traffic sign detection and recognition system and method
FR3115144A1 (en) Image processing method
EP3888000B1 (en)Device and method for individual authentication
FR3027432A1 (en) DISTANCE ESTIMATION OF A PIETON BY AN IMAGING SYSTEM ON A MOTOR VEHICLE
CN113887314B (en) Vehicle driving direction recognition method, device, computer equipment and storage medium
FR3118671A1 (en) Methods and systems for masking recorded personal visual data for testing a driver assistance function
FR3083352A1 (en) METHOD AND DEVICE FOR FAST DETECTION OF REPETITIVE STRUCTURES IN THE IMAGE OF A ROAD SCENE
CN113378653A (en)Method and device for detecting in-vehicle behavior of driver
FR2863755A1 (en) METHOD AND SYSTEM FOR IDENTIFYING A MOVING VEHICLE
JP2019139370A (en)Person detector
EP1542191B1 (en)A moving vehicle identification method and system
EP1526492B1 (en)Method and apparatus for identifying a moving vehicle
FR3058247B1 (en) DETECTION OF OBSTACLES AROUND A MOTOR VEHICLE
WO2006070099A2 (en)Method for identifying a person from the person's features, with fraud detection
FR2974650A1 (en)Video sequence anonymizing method, involves screening area that is associated with detected personal information in video sequence, by replacing associated area with predetermined synthetic equivalent data
WO2018185398A1 (en)Method and device for processing images acquired by a camera of a motor vehicle
FR3093054A1 (en) ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES

Legal Events

DateCodeTitleDescription
PLFPFee payment

Year of fee payment:2

PLSCPublication of the preliminary search report

Effective date:20220708

STNotification of lapse

Effective date:20230905


[8]ページ先頭

©2009-2025 Movatter.jp