EinAutoencoder ist einkünstliches neuronales Netz, das dazu genutzt wird, effiziente Codierungen zu lernen.Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren.Dadurch kann er zur Dimensionsreduktion genutzt werden.

Der Autoencoder benutzt drei oder mehr Schichten:

• Eine Eingabeschicht. Bei der Gesichtserkennung könnten die Neuronen beispielsweise die Pixel einer Fotografie abbilden.
• Einige signifikant kleinere Schichten, die das Encoding bilden.
• Eine Ausgabeschicht, in der jedes Neuron die gleiche Bedeutung hat wie das entsprechende in der Eingabeschicht.

Wenn lineare Neuronen benutzt werden, ist er derHauptkomponentenanalyse sehr ähnlich.

Ein Autoencoder ist ein geordnetes Tupel${\displaystyle (\mathcal{X},\mathcal{Z},(E_{\varphi }{)}_{\varphi \in \mathrm{\Phi }},(D_{\theta }{)}_{\theta \in \mathrm{\Theta }})}$, wobei${\displaystyle \mathcal{X}}$ einmessbarer Raum,${\displaystyle \mathcal{Z}}$ eine beliebige Menge und${\displaystyle E_{\varphi }:\mathcal{X}\to \mathcal{Z},D_{\theta }:\mathcal{Z}\to \mathcal{X}}$ durch die Indexmengen${\displaystyle \mathrm{\Phi },\mathrm{\Theta }}$ parametrisierte Funktionen sind. Die${\displaystyle E_{\varphi }}$ werdenEncoder und die${\displaystyle D_{\theta }}$Decoder genannt.

In Anwendungen wird oft${\displaystyle \mathcal{X}={\mathbb{R}}^m,\mathcal{Z}={\mathbb{R}}^n}$ für${\displaystyle m\ge n}$ gewählt. Für die Encoder und Decoder werden oft Familien vonmehrlagigen Perzeptronen gewählt.

Intuitiv gesehen projiziert der Encoder die anfänglichen Daten in einen Raum mit üblicherweise tieferer Dimension, und der Decoder hat als Aufgabe, die ursprünglichen Daten wieder zu rekonstruieren. Das Ziel ist es nun, Encoder und Decoder so zu wählen, dass der Unterschied zwischen den ursprünglichen Daten und den rekonstruierten Daten möglichst gering ist. Dies formalisiert sich wie folgt.

Die Aufgabe des Autoencoders ist es, für eine gegebene Funktion${\displaystyle d:\mathcal{X}\times \mathcal{X}\to [0,\mathrm{\infty }]}$ (${\displaystyle d}$ kann beispielsweise eineMetrik sein) und eine gegebene Wahrscheinlichkeitsverteilung${\displaystyle \mu }$ auf${\displaystyle \mathcal{X}}$ denerwarteten Rekonstruktionsfehler

${\displaystyle L(\varphi ,\theta )=\mathbb{E}[d(X,D_{\theta }(E_{\varphi }(X)))]}$

zu minimieren. Hierbei bezeichnet${\displaystyle X}$ eine${\displaystyle \mu }$-verteilte,${\displaystyle \mathcal{X}}$-wertige Zufallsvariable.

In Anwendungen ist oftmals${\displaystyle \mu =\frac{1}{N}\sum _{k=1}^N{\delta }_{x_k}}$, wobei${\displaystyle (x_1,\dots ,x_N)}$ ein Datensatz bestehend aus${\displaystyle N}$ Datenpunkten ist (hier bezeichnet${\displaystyle {\delta }_x}$ das Dirac-Maß im Punkte${\displaystyle x}$). Zudem wird für${\displaystyle \mathcal{X}={\mathbb{R}}^m}$ oftmals der quadratische Abstand${\displaystyle d((x_1,\dots ,x_m),(y_1,\dots ,y_m))=\sum _{k=1}^m(x_k-y_k{)}^2}$ gewählt.

Das Training des Auto-Encoders besteht in der Suche nach${\displaystyle \varphi \in \mathrm{\Phi },\theta \in \mathrm{\Theta }}$, für die${\displaystyle L(\varphi ,\theta )}$ möglichst klein wird.Ein Autoencoder wird häufig mit einer der vielenBackpropagation-Varianten (CG-Verfahren,Gradientenverfahren etc.) trainiert. Obwohl diese Methode oft sehr effektiv ist, gibt es fundamentale Probleme damit, neuronale Netzwerke mit verborgenen Schichten zu trainieren. Sind die Fehler einmal zu den ersten paar Schichten rückpropagiert, werden sie unbedeutend. Das bedeutet, dass das Netzwerk fast immer lernt, den Durchschnitt der Trainingsdaten zu lernen. Obwohl es fortgeschrittene Backpropagation-Methoden (wie die conjugate gradient method) gibt, die diesem Problem zum Teil abhelfen, läuft dieses Verfahren auf langsames Lernen und schlechte Ergebnisse hinaus. Zur Verbesserung verwendet man initiale Gewichtungen, die dem Ergebnis schon ungefähr entsprechen. Dies wird Pretraining genannt.

Bei einer Pretraining-Technik, die vonGeoffrey Hinton dazu entwickelt wurde, vielschichtige Autoencoder zu trainieren, werden benachbarte Schichten alsRestricted Boltzmann Machine behandelt, um eine gute Annäherung zu erreichen und dann Backpropagation als Fine-Tuning zu benutzen.

Variational Autoencoder erlauben das Generieren von neuen Daten, da als interne Repräsentation eine Parametrisierung einer Verteilung gelernt wird.Diffusions Modelle können als eine Art hierarchische Variational Autoencoder aufgefasst werden^[1].

• Reduzierung der Dimensionalität von Daten mit Neuronalen Netzwerken (Science, 28 July 2006, Hinton & Salakhutdinov)

• Neuroinformatik