Έναςautoencoder είναι ένας τύποςτεχνητού νευρωνικού δικτύου που χρησιμοποιείται για την εκμάθηση αποτελεσματικών κωδικοποιήσεων δεδομένων χωρίς ετικέτα (μη εποπτευόμενη μάθηση).^[1] Η κωδικοποίηση επικυρώνεται και βελτιώνεται επιχειρώντας να αναδημιουργηθεί η είσοδος από την κωδικοποίηση. Ο autoencoder μαθαίνει μια αναπαράσταση (κωδικοποίηση) για ένα σύνολο δεδομένων, συνήθως για να πετύχουμε μείωση διαστάσεων, εκπαιδεύοντας το δίκτυο να αγνοεί ασήμαντα δεδομένα («θόρυβο»).

Υπάρχουν παραλλαγές για autoencoders, οι οποίες στόχο έχουν να αναγκάσουν προς μάθηση αναπαραστάσεις να προσλάβουν χρήσιμες ιδιότητες.^[2] Παραδείγματα είναι οι κανονικοποιημένοι autoencoders, οι οποίοι είναι αποτελεσματικοί στην εκμάθηση αναπαραστάσεων που αφορούν επόμενες εργασίεςταξινόμησης,^[3] καιvariational autoencoder, με εφαρμογές ως παραγωγικά μοντέλα .^[4] Οι autoencoders εφαρμόζονται σε πολλά προβλήματα, απότην αναγνώριση προσώπου,^[5] ανίχνευση χαρακτηριστικών,^[6] ανίχνευση ανωμαλιών έως την απόκτηση της σημασίας των λέξεων.^[7][8] Οι autoencoders είναι επίσης μοντέλα παραγωγής: μπορούν να δημιουργήσουν τυχαία νέα δεδομένα που είναι παρόμοια με τα δεδομένα εισόδου (δεδομένα εκπαίδευσης).^[6]

Ένας autoencoder έχει δύο κύρια μέρη: έναν κωδικοποιητή που αντιστοιχίζει την είσοδο σε μια κωδικοποιημένη μορφή και έναν αποκωδικοποιητή που αντιστοιχίζει την κωδικοποιημένη μορφή σε μια ανακατασκευή της εισόδου.

Ο απλούστερος τρόπος για να εκτελέσουμε την τέλεια εργασία αντιγραφής θα ήταν να αντιγράψουμε το σήμα εισόδου. Αντίθετα, οι autoencoders συνήθως αναγκάζονται να αναδημιουργήσουν την είσοδο κατά προσέγγιση, διατηρώντας μόνο τις πιο σχετικές πτυχές των δεδομένων στο αντίγραφο.

Η ιδέα των autoencoders είναι δημοφιλής εδώ και δεκαετίες. Οι πρώτες εφαρμογές ξεκίνησαν να κάνουν την εμφάνισή τους τη δεκαετία του 1980.^[2][9][10] Η πιο παραδοσιακή τους εφαρμογή ήταν η μείωση διαστάσεων ή επιλογή χαρακτηριστικών, αλλά η ιδέα έγινε ευρέως χρησιμοποιούμενη για την εκμάθηση μοντέλων παραγωγής δεδομένων.^[11] Μερικά από τα πιο ισχυράAI συστήματα της δεκαετίας του 2010 περιλάμβαναν autoencoders εμφωλευμένα μέσα σε βαθιά νευρωνικά δίκτυα.^[12]

Η απλούστερη μορφή ενός autoencoder είναι το πρόσθιας τροφοδότησης-μηαναδρομικό νευρωνικό δίκτυο, το οποίο είναι παρόμοιο με τα μονοστρωματικάperceptrons που συμμετέχουν σεπολυστρωματικά perceptrons (MLP) – χρησιμοποιώντας ένα επίπεδο εισόδου και ένα επίπεδο εξόδου που συνδέονται μεταξύ τους με ένα ή περισσότερα κρυφά επίπεδα. Το επίπεδο εξόδου έχει τον ίδιο αριθμό κόμβων (νευρώνων) με το επίπεδο εισόδου. Σκοπός του είναι να ανακατασκευάσει τις εισόδους του (ελαχιστοποιώντας τη διαφορά μεταξύ της εισόδου και της εξόδου) αντί να προβλέπει μια τιμή στόχο${\displaystyle Y}$ δεδοµένων εισόδου${\displaystyle X}$. Άρα, οι autoencoders μαθαίνουν χωρίς επίβλεψη (μη εποπτευόμενη μάθηση).

Ένας autoencoder αποτελείται από δύο μέρη, τον κωδικοποιητή και τον αποκωδικοποιητή, τα οποία μπορούν να οριστούν ως συναρτήσεις${\displaystyle \varphi }$ και${\displaystyle \psi ,}$ έτσι ώστε:

${\displaystyle \varphi :\mathcal{X}\to \mathcal{F}}$ :{\mathcal {X}}\rightarrow {\mathcal {F}}}

${\displaystyle \psi :\mathcal{F}\to \mathcal{X}}$ :{\mathcal {F}}\rightarrow {\mathcal {X}}}

${\displaystyle \varphi ,\psi =\underset{\varphi ,\psi }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\Vert \mathcal{X}-(\psi \circ \varphi )\mathcal{X}{\Vert }^2}$

Στην απλούστερη περίπτωση που μπορούμε να έχουμε, δεδομένου ενός κρυφού επιπέδου, το στάδιο της κωδικοποίησης ενός autoencoder παίρνει την είσοδο${\displaystyle \mathbf{x}\in {\mathbb{R}}^d=\mathcal{X}}$ και το απεικονίζει σε ένα${\displaystyle \mathbf{h}\in {\mathbb{R}}^p=\mathcal{F}}$ :

${\displaystyle \mathbf{h}=\sigma (\mathbf{W}\mathbf{x}+\mathbf{b})}$

Αυτή η εικόνα${\displaystyle \mathbf{h}}$ αναφέρεται συνήθως ως κωδικοποιημένη μορφή,λανθάνουσα μεταβλητή ή λανθάνουσα αναπαράσταση. Η${\displaystyle \sigma }$ είναι μιασυνάρτηση ενεργοποίησης στοιχείων, όπως μιασιγμοειδής συνάρτηση ή μιαrectified linear unit . Το${\displaystyle \mathbf{W}}$ είναι ένας πίνακας βαρών και το${\displaystyle \mathbf{b}}$ είναι ένα διάνυσμα μεροληψίας. Τα βάρη και οι μεροληψίες αρχικοποιούνται συνήθως τυχαία και στη συνέχεια ενημερώνονται επαναλαμβανόμενα κατά τη διάρκεια της εκπαίδευσης μέσω τηςοπισθοδιάδοσης . Μετά από αυτή τη διαδικασία, το στάδιο αποκωδικοποίησης του autoencoder, απεικονίζει το${\displaystyle \mathbf{h}}$ στην ανακατασκευή${\displaystyle {\mathbf{x}}^{\prime }}$ του ίδιου σχήματος με το${\displaystyle \mathbf{x}}$ :

${\displaystyle {\mathbf{x}}^{\prime }={\sigma }^{\prime }({\mathbf{W}}^{\prime }\mathbf{h}+{\mathbf{b}}^{\prime })}$

που τα${\displaystyle {\sigma }^{\prime },{\mathbf{W}}^{\prime },\text{ and }{\mathbf{b}}^{\prime }}$ για τον αποκωδικοποιητή μπορεί να μην σχετίζονται με τα αντίστοιχα${\displaystyle \sigma ,\mathbf{W},\text{ and }\mathbf{b}}$ για τον κωδικοποιητή.

Οι autoencoders εκπαιδεύονται για να ελαχιστοποιούν τα σφάλματα ανακατασκευής (όπως τα τετραγωνικά σφάλματα ), που συχνά αναφέρονται ως " απώλειες " (συνάρτηση κόστους):

${\displaystyle \mathcal{L}(\mathbf{x},{\mathbf{x}}^{\prime })=\Vert \mathbf{x}-{\mathbf{x}}^{\prime }{\Vert }^2=\Vert \mathbf{x}-{\sigma }^{\prime }({\mathbf{W}}^{\prime }(\sigma (\mathbf{W}\mathbf{x}+\mathbf{b}))+{\mathbf{b}}^{\prime }){\Vert }^2}$

που το${\displaystyle \mathbf{x}}$ συνήθως υπολογίζεται ως ο μέσος όρος του συνόλου εκπαίδευσης.

Όπως αναφέρθηκε προηγουμένως, η εκπαίδευση του autoencoder υλοποιείται μέσω της αντίστροφης διάδοσης του σφάλματος, όπως και στα υπόλοιπα νευρωνικά δίκτυα ανατροφοδότησης.

Θα πρέπει ο χώρος χαρακτηριστικών${\displaystyle \mathcal{F}}$ να έχει μικρότερη διάσταση από τον χώρο εισόδου${\displaystyle \mathcal{X}}$ και το διάνυσμα χαρακτηριστικών${\displaystyle \varphi (x)}$ μπορεί να θεωρηθεί ωςσυμπιεσμένη αναπαράσταση της εισόδου${\displaystyle x}$ . Αυτή είναι η περίπτωση των ελλιπών autoencoders. Εάν τα κρυφά επίπεδα είναι μεγαλύτερα από (υπερπλήρη) ή ίσα με το επίπεδο εισόδου ή εάν δοθεί αρκετή χωρητικότητα στους κρυφούς κόμβους, ένας autoencoder μπορεί ενδεχομένως να μάθει τη ταυτοτική συνάρτηση και να γίνει άχρηστος. Ωστόσο, πειραματικά αποτελέσματα έδειξαν ότι οι υπερπλήρεις autoencoders ενδέχεται να εξακολουθούν να μαθαίνουν χρήσιμα χαρακτηριστικά .^[13] Υπό ιδανικές συνθήκες, η διάσταση της κωδικοποιημένης μορφής και η χωρητικότητα του μοντέλου θα μπορούσαν να ρυθμιστούν με βάση την πολυπλοκότητα της κατανομής δεδομένων που πρόκειται να μοντελοποιηθεί. Ένας τρόπος για να γίνει αυτό είναι να χρησιμοποιήσουμε παραλλαγές του μοντέλου που είναι γνωστές ως Regularized Autoencoders (Κανονικοποιημένοι Autoencoders).^[2]

Οι autoencoders εκπαιδεύονται συχνά με έναν κωδικοποιητή μονής στρώσης (ένα κρυφό επίπεδο κωδικοποίησης) και έναν αποκωδικοποιητή μονής στρώσης (ένα κρυφό επίπεδο αποκωδικοποίησης), αλλά η χρήση κωδικοποιητών και αποκωδικοποιητών πολλών επιπέδων προσφέρει πολλά πλεονεκτήματα.^[2]

• Το βάθος μπορεί να μειώσει εκθετικά το υπολογιστικό κόστος της αναπαράστασης ορισμένων συναρτήσεων.^[2]
• Το βάθος μπορεί να μειώσει εκθετικά τον όγκο των δεδομένων εκπαίδευσης που απαιτούνται για την εκμάθηση ορισμένων λειτουργιών.^[2]
• Πειραματικά, οι βαθύς autoencoders αποδίδουν καλύτερα στη συμπίεση σε σύγκριση με τους ρηχούς ή γραμμικούς autoencoders.^[20]

Οι δύο κύριες εφαρμογές των autoencoders είναι η μείωση διαστάσεων και η ανάκτηση πληροφοριών^[2], αλλά σύγχρονες παραλλαγές έχουν εφαρμοστεί σε άλλες εργασίες.