Sigmoidfunktion

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springenZur Suche springen

EineSigmoidfunktion,Schwanenhalsfunktion, Fermifunktion[1] oderS-Funktion ist einemathematische Funktion mit einem S-förmigenGraphen.

Inhaltsverzeichnis

Spezielle Sigmoidfunktion

[Bearbeiten |Quelltext bearbeiten]
Dielogistische Kurve

Oft wird der Begriff Sigmoidfunktion auf den Spezialfall derlogistischen Funktion bezogen, die durch die Gleichung

sig(t)=11+et=et1+et=12(1+tanht2){\displaystyle \operatorname {sig} (t)={\frac {1}{1+e^{-t}}}={\frac {e^{t}}{1+e^{t}}}={\frac {1}{2}}\cdot \left(1+\tanh {\frac {t}{2}}\right)}

beschrieben wird, mit derEulerschen Zahle{\displaystyle e}. Dieser Spezialfall ist eine skalierte und verschobeneTangens-hyperbolicus-Funktion und hat entsprechendeSymmetrien.

DieUmkehrfunktion der speziellen Sigmoidfunktion lautet:

sig1(y)=ln(1y1)=ln(y1y)=2artanh(2y1).{\displaystyle \operatorname {sig} ^{-1}(y)=-\ln \left({\frac {1}{y}}-1\right)=\ln \left({\frac {y}{1-y}}\right)=2\cdot \operatorname {artanh} (2\cdot y-1).}

Diese Umkehrfunktion wird auch alsLogit-Funktion bezeichnet, vor allem in Anwendungsbereichen, bei deneny{\displaystyle y} eine Wahrscheinlichkeit ausdrückt.

Sigmoidfunktionen im Allgemeinen

[Bearbeiten |Quelltext bearbeiten]
Vergleich einiger Sigmoidfunktionen. Hier sind sie so normiert, dass ihre Grenzwerte −1 bzw. 1 sind und die Steigungen in 0 gleich 1 sind.

Im Allgemeinen ist eine Sigmoidfunktion einebeschränkte unddifferenzierbarereelle Funktion mit einer durchweg positiven oder durchweg negativen erstenAbleitung und genau einemWendepunkt.

Die Menge der Sigmoidfunktionen enthält neben der logistischen Funktion denArkustangens, denTangens hyperbolicus und dieFehlerfunktion, die sämtlichtranszendent sind, sowie auch einfachealgebraische Funktionen wief(x)=x1+x2{\displaystyle f(x)={\tfrac {x}{\sqrt {1+x^{2}}}}}. DasIntegral jederstetigen, positiven Funktion mit einem „Berg“ (genauer: mit genau einem lokalen Maximum und keinem lokalen Minimum, z. B. diegaußsche Glockenkurve) ist ebenfalls eine Sigmoidfunktion. Daher sind vielekumulierte Verteilungsfunktionen sigmoidal.

Sigmoidfunktionen in neuronalen Netzwerken

[Bearbeiten |Quelltext bearbeiten]

Sigmoidfunktionen werden inkünstlichen neuronalen Netzen alsAktivierungsfunktion verwendet, da der Einsatz von differenzierbaren Funktionen die Verwendung von Lernmechanismen, wie etwa demBackpropagation-Algorithmus, ermöglicht. Als Aktivierungsfunktion eineskünstlichen Neurons wird die Sigmoidfunktion auf die Summe der gewichteten Eingabewerte angewendet, um die Ausgabe des Neurons zu erhalten.

Die Sigmoidfunktion wird vor allem aufgrund ihrer einfachen Differenzierbarkeit als Aktivierungsfunktion bevorzugt verwendet, denn für die logistische Funktion gilt:

sig(t)=sig(t)(1sig(t)).{\displaystyle \operatorname {sig} ^{\prime }(t)=\operatorname {sig} (t)\left(1-\operatorname {sig} (t)\right).}

Für die Ableitung der Sigmoidfunktion Tangens hyperbolicus gilt:

tanh(t)=(1+tanh(t))(1tanh(t))=1tanh2(t).{\displaystyle \tanh ^{\prime }(t)=\left(1+\tanh(t)\right)\left(1-\tanh(t)\right)=1-\tanh ^{2}(t).}

Effiziente Berechnung

[Bearbeiten |Quelltext bearbeiten]

MitUnums vom Typ III lässt sich die oben angegebene logistische Funktion näherungsweise effizient berechnen, indem die Darstellung der Gleitkommazahl-Eingabe elegant genutzt wird.[2]

Weblinks

[Bearbeiten |Quelltext bearbeiten]

Einzelnachweise

[Bearbeiten |Quelltext bearbeiten]
  1. Einzelnes Neuron ::: Neuronale Netze. Abgerufen am 4. April 2019. 
  2. John L. Gustafson, Isaac Yonemoto: Beating Floating Point at its Own Game: Posit Arithmetic. (PDF) 12. Juni 2017, abgerufen am 28. Dezember 2019 (englisch). 
Abgerufen von „https://de.wikipedia.org/w/index.php?title=Sigmoidfunktion&oldid=244852374
Kategorien: