Auto-encodeur variationnel

Type	Auto-encodeur
Inventeurs	Diederik P. Kingma(d), Max Welling(en)
Date d'invention	2013

modifier -modifier le code -modifier Wikidata

L'introduction de cet article est soit absente, soit non conforme auxconventions de Wikipédia(juin 2024).

Ces motifs sont peut-être précisés sur lapage de discussion. — Découvrezcomment faire pour en améliorer la rédaction.

Enapprentissage automatique, unauto-encodeur variationnel (ouVAE de l'anglaisvariational auto encoder)^[1] est une architecture deréseau de neurones artificiels introduite en 2013 par D. Kingma et M. Welling, appartenant aux familles desmodèles graphiques probabilistes et des méthodes bayésiennes variationnelles.

Le VAE est une évolution desautoencodeurs classiques^[2],[3], mais s'en distingue par sa formulation probabiliste et son objectif d'inférence statistique (leur utilisation et leur formulation mathématiques diffèrent). Le VAE permet de transformer (reformuler) un problème d'inférence en un problème d'optimisation statistique (c'est-à-dire trouver les valeurs de paramètres qui minimisent unefonction objectif). Ainsi, pour déduire la valeur d'unevariable aléatoire à partir d'une autre variable aléatoire ; on peut estimer une variable cachée à partir d'une observation^[4]. Le modèle associe chaque donnée d'entrée à une distribution latente multivariée, non directement observable, mais déduite à partir d'un modèle mathématique et des données disponibles.

Ce type de modèle a été conçu pour l'apprentissage non supervisé^[5], mais son efficacité a été prouvée pour l'apprentissage semi-supervisé^[6],[7] et pour l'apprentissage supervisé^[8].

Dans un VAE, les données d'entrée sont échantillonnées à partir d'une distribution paramétrée (la distributiona priori, en termes d'inférence bayésienne), et l'encodeur et le décodeur sont entraînés conjointement de sorte que la sortie minimise une erreur de reconstruction dans le sens de ladivergence de Kullback-Leibler entre la distribution paramétrique postérieure et la vraie distributiona posteriori^[9],[10].

On note${\displaystyle \mathbf{x}}$ le vecteur contenant l'ensemble des variables observées que l'on souhaite modéliser. Ce vecteur est une variable aléatoire, caractérisé par unedistribution de probabilité inconnue${\displaystyle P(\mathbf{x})}$, que l'on souhaite approximer par une distribution paramétrée${\displaystyle p_{\theta }}$ ayant pour paramètres${\displaystyle \theta }$.

On introduit alors un vecteur aléatoire${\displaystyle \mathbf{z}}$ distribué conjointement avec${\displaystyle \mathbf{x}}$ (c'est-à-dire dont la loi de probabilité n'est pas indépendante de celle de${\displaystyle \mathbf{x}}$). Ce vecteur${\displaystyle \mathbf{z}}$ représente un encodage latent de${\displaystyle \mathbf{x}}$, que l'on ne peut observer directement.

On exprime alors la distribution${\displaystyle p_{\theta }}$ via laloi de probabilité marginale sur${\displaystyle \mathbf{z}}$, ce qui donne alors :

${\displaystyle p_{\theta }(\mathbf{x})={\int }_{\mathbf{z}}{p}_{\theta }(\mathbf{x}\mathbf{,}\mathbf{z})d\mathbf{z},}$

où${\displaystyle p_{\theta }(\mathbf{x}\mathbf{,}\mathbf{z})}$ représente ladistribution conjointe sous${\displaystyle p_{\theta }}$ des données observables${\displaystyle \mathbf{x}}$ et de leur représentation latente${\displaystyle \mathbf{z}}$. Selon laformule des probabilités composées, l'équation peut être réécrite comme

${\displaystyle p_{\theta }(\mathbf{x})={\int }_{\mathbf{z}}{p}_{\theta }(\mathbf{x}\mid \mathbf{z})p_{\theta }(\mathbf{z})d\mathbf{z}}$

Dans l'auto-encodeur variationnel classique, on fait l'hypothèse que${\displaystyle \mathbf{z}}$ est un vecteur à valeur réelles de dimension finie, et${\displaystyle p_{\theta }(\mathbf{x}\mathbf{|}\mathbf{z})}$ suit uneloi normale. Par conséquent,${\displaystyle p_{\theta }(\mathbf{x})}$ est un mélange dedistributions gaussiennes.

On peut voir les relations entre les données d'entrée et leur représentation latente comme un problème d'inférence bayésienne avec

• ${\displaystyle p_{\theta }(\mathbf{z})}$ représente la distribution probabilité a priori dans l'espace latent
• ${\displaystyle p_{\theta }(\mathbf{x}\mid \mathbf{z})}$ représente la vraisemblance
• ${\displaystyle p_{\theta }(\mathbf{z}\mid \mathbf{x})}$ représente la distribution de probabilitéa posteriori.

Malheureusement, le calcul de${\displaystyle p_{\theta }(\mathbf{x})}$ est au mieux coûteux et, dans la plupart des cas, impossible. Pour résoudre ce problème, il est nécessaire d'introduire une autre fonction${\displaystyle q_{\mathrm{\Phi }}}$ pour approximer la distributiona posteriori :

${\displaystyle q_{\mathrm{\Phi }}(\mathbf{z}\mid \mathbf{x})\approx p_{\theta }(\mathbf{z}\mid \mathbf{x})}$

où${\displaystyle \mathrm{\Phi }}$ est l'ensemble des paramètres de${\displaystyle q}$.

Ainsi le problème est formulé pour pouvoir être appliqué dans unearchitecture de réseau de neuronesauto-encodeur, dans lequel la distribution de vraisemblance conditionnelle${\displaystyle p_{\theta }(\mathbf{x}\mid \mathbf{z})}$ est représentée par undécodeur probabiliste, tandis que la distributiona posteriori approchée${\displaystyle q_{\mathrm{\Phi }}(\mathbf{z}\mid \mathbf{x})}$ est représentée par uncodeur probabiliste. La mise en œuvre d'un VAE consistera donc à calculer les valeurs optimales des paramètres${\displaystyle \theta }$ et${\displaystyle \mathrm{\Phi }}$ par unapprentissage automatique.

Comme dans tout problème d'apprentissage profond, il est nécessaire de définir une fonction de perte différentiable afin de mettre à jour les poids du réseau parrétropropagation lors de l'apprentissage.

Pour les auto-encodeurs variationnels, l'idée est de minimiser conjointement les paramètres du modèle génératif${\displaystyle \theta }$ pour réduire l'erreur de reconstruction entre l'entrée et la sortie, et${\displaystyle \mathrm{\Phi }}$ pour avoir${\displaystyle q_{\mathrm{\Phi }}(\mathbf{z}\mid \mathbf{x})}$, la distribution postérieure approchée, le plus près possible de${\displaystyle p_{\theta }(\mathbf{z}\mid \mathbf{x})}$, la vraie distribution de probabilitéa posteriori.

Comme fonction de coût pour la reconstruction, l'erreur quadratique moyenne et l'entropie croisée sont souvent utilisées.

Pour la fonction de coût de distance entre les deux distributions, la divergence inverse de Kullback – Leibler${\displaystyle D_{KL}(q_{\mathrm{\Phi }}(\mathbf{z}\mid \mathbf{x})\parallel p_{\theta }(\mathbf{z}\mid \mathbf{x}))}$ est un bon choix pour pousser${\displaystyle q_{\mathrm{\Phi }}(\mathbf{z}\mid \mathbf{x})}$ en dessous de${\displaystyle p_{\theta }(\mathbf{z}\mid \mathbf{x})}$^[1],[11].

Pour rendre la formulation ELBO adaptée à des fins d'apprentissage, il est nécessaire de modifier légèrement la formulation du problème et la structure du VAE^[12].

L'échantillonnage stochastique est l'opération non différentiable par laquelle il est possible d'échantillonner à partir de l'espace latent et d'alimenter le décodeur probabiliste.

L'hypothèse principale sur l'espace latent est qu'il peut être considéré comme un ensemble de distributions gaussiennes multivariées, et peut donc être décrit comme

${\displaystyle \mathbf{z}\sim q_{\mathrm{\Phi }}(\mathbf{z}\mid \mathbf{x})=\mathcal{N}(\mathit{\mu },{\mathit{\sigma }}^2)}$.

Étant donné${\displaystyle \mathit{\epsilon }\sim \mathcal{N}(0,\mathit{I})}$ et${\displaystyle \odot }$ défini comme le produit élément par élément, l'astuce de reparamétrisation modifie l'équation ci-dessus comme

${\displaystyle \mathbf{z}=\mathit{\mu }+\mathit{\sigma }\odot \mathit{\epsilon }.}$

Grâce à cette transformation (qui peut être étendue à des distributions non gaussiennes), le VAE devient entraînable et le codeur probabiliste doit apprendre à mapper une représentation compressée de l'entrée dans les deux vecteurs latents${\displaystyle \mathit{\mu }}$ et${\displaystyle \mathit{\sigma }}$, tandis que la stochasticité reste exclue du processus de mise à jour et est injectée dans l'espace latent en tant qu'entrée externe via le vecteur aléatoire${\displaystyle \mathit{\epsilon }}$.

• Portail de l'informatique théorique
• Portail de l’intelligence artificielle
• Portail des données

• Statistique bayésienne
• Réseau de neurones artificiels

• Page utilisant P279
• Page utilisant des données de Wikidata à traduire de l'anglais
• Page utilisant P61
• Page utilisant P575
• Article à illustrer Méthode scientifique
• Article utilisant l'infobox Méthode scientifique
• Article utilisant une Infobox
• Article à mieux introduire
• Portail:Informatique théorique/Articles liés
• Portail:Informatique/Articles liés
• Portail:Mathématiques/Articles liés
• Portail:Sciences/Articles liés
• Portail:Intelligence artificielle/Articles liés
• Portail:Technologies/Articles liés
• Portail:Données/Articles liés
• Pages avec des traductions non relues