{"id":191,"date":"2016-12-27T01:10:59","date_gmt":"2016-12-27T01:10:59","guid":{"rendered":"http:\/\/www.riemerundco.de\/bl\/?p=191"},"modified":"2022-10-24T07:59:55","modified_gmt":"2022-10-24T07:59:55","slug":"rekurrente-neuronale-netze","status":"publish","type":"post","link":"http:\/\/www.riemerundco.de\/bl\/?p=191","title":{"rendered":"Rekurrente Neuronale Netze"},"content":{"rendered":"
\n
\n
\n

Quelle: – A Critical Review of Recurrent Neural Networks for Sequence Learning<\/a>, Lipton et al.<\/span> 2015
\n<\/span><\/p>\n<\/div>\n<\/div>\n<\/div>\n

Unz\u00e4hlige Lernaufgaben erfordern den Umgang mit sequentiellen Daten. Bilderkennung, Sprachsynthese und Musikerzeugung ben\u00f6tigen alle ein Sequenz-Modell. Rekurrente (wiederkehrende) neuronale Netze (RNNs) speichern und lernen die Dynamik von Sequenzen mittels Zyklen in einem Netzwerk von Knoten.<\/span><\/p>\n

Dieser Abschnitt stellt eine formale Notation vor und beschreibt Neuronale Netze im Allgemeinen.<\/span><\/p>\n

Sequenzen<\/h2>\n

Die Eingabe zu einem RNN ist eine Sequenz und \/ oder sein Ergebnis ist eine Sequenz. Eine Eingangs-Sequenz (ein Eingangs-Vektor) kann mit x (1), x (2), …, x (T) bezeichnet werden, wobei jeder Datenpunkt x (t) ein reeller <\/span>Wert<\/span><\/span><\/span> ist. In \u00e4hnlicher Weise kann eine Zielsequenz (y (1), y (2),…,y (T)) bezeichnet werden. Ein Trainingssatz ist typischerweise ein Satz von Beispielen, bei denen jedes Beispiel ein (Eingabesequenz, Zielsequenz) Paar ist. Die Eingabe oder die Ausgabe kann auch ein einzelner Datenpunkt sein. Der maximale Zeitindex der Sequenz wird T genannt<\/span>.
\n<\/span><\/p>\n

Es werden nachfolgend Hochzeiger mit Klammern f\u00fcr Zeit-Informationen verwendet, um Verwechslungen zwischen Sequenzschritten und Indizes der Knoten zu verhindern. <\/span>Eine Eingabesequenz besteht somit aus Datenpunkten [latex ]\\chi^{(t)}[\/latex] die sich als diskrete Sequenz von durch t indizierten Zeitschritten zusammensetzt. Eine Zielsequenz besteht aus Datenpunkten [latex ]y^{(t)}[\/latex].
\nWenn ein Modell vorhergesagte Datenpunkte erzeugt, werden diese markiert [latex ]\\hat{y}^{(t)}[\/latex] dargestellt.
\n<\/span><\/p>\n

Neuronale Netzwerke<\/h2>\n

Neuronale Netze sind biologisch inspirierte Berechnungsmodelle. Ein neuronales Netzwerk besteht aus einem Satz von k\u00fcnstlichen Neuronen, als Knoten oder Einheiten und eine Reihe von gerichteten Kanten zwischen ihnen, die intuitiv die Synapsen in einem biologischen neuronalen Netzwerk<\/span> repr\u00e4sentieren<\/span>.<\/span><\/p>\n

\n

Mit jedem verbunden Neuron j ist eine Aktivierungsfunktion [latex ]l_j \\bigodot[\/latex] verkn\u00fcpft, die manchmal auch als Link-Funktion bezeichnet wird. Es wird die Notation [latex ]l_j [\/latex] und nicht [latex ]h_j [\/latex] verwendet, dieses im Gegensatz zu einigen anderen Darstellungen, um die Aktivierungsfunktion aus den Werten der verborgenen Knoten in einem Netzwerk <\/span>zu unterscheiden (<\/span>in der Literatur auch allgemein mit h bezeichnet).<\/span><\/p>\n

Jedem Knoten j‘ bis j ist ein Gewicht [latex ]w_{jj^{\\prime}}[\/latex] zugeordnet. Gem\u00e4\u00df mehreren Grundlagenpapieren [Hochreiter und Schmidhuber, 1997, Gers et al., 2000, Gers, 2001, Sutskever et al., 2011] indexieren wir auch hier Neuronen mit j und j‘ und [latex ]w_{jj^{\\prime}}[\/latex] das dazu korrespondierende Gewicht, als die gerichtete Verbindung zum Knoten j vom Knoten j‘. Es ist wichtig zu beachten, dass in vielen Referenzen die Indizes getauscht sind, d.h. [latex ]w_{jj^{\\prime}}{\\neq}w_{j^{\\prime}j}[\/latex] bezeichnet hier das Gewicht von-bis auf der gerichteten Kante vom Knoten j‘ zum Knoten j, wie in den Unterlagen von Elkan[2015] und in Wikipedia [2015].<\/span><\/p>\n

Der Wert [latex ]v_j[\/latex] jedes Neurons j wird durch Anwenden seiner Aktivierungsfunktion zu einer gewichteten Summe der Werte seiner Eingangsknoten <\/span>berechnet:<\/span><\/p>\n

[latex ]v_j = l_j \\left( \\sum_{\\substack{j^{\\prime}}} w_{jj^{\\prime}} \\cdot v_{j^{\\prime}}\\right)[\/latex]<\/span><\/p>\n<\/div>\n

Zur Vereinfachung nennen wir die gewichtete Summe innerhalb der Klammern als eingehende Aktivierung und bezeichnen dieses auch als [latex ]a_j[\/latex]:<\/p>\n

[latex ]a_j = \\sum_{\\substack{j^{\\prime}}} w_{jj^{\\prime}} \\cdot v_{j^{\\prime}}[\/latex]<\/span><\/p>\n

In Diagrammen sind Neuronen als Kreise und \u00dcberg\u00e4nge als verbindende Pfeile dargestellt.<\/p>\n

H\u00e4ufige Optionen f\u00fcr die Aktivierungsfunktion ist die Sigmoid-Funktion<\/a>:<\/span><\/p>\n

[latex ]\\sigma (a_j) = 1\/(1 + \\mathrm{e}^{-a_j})[\/latex]<\/span><\/p>\n

und die tanh-Funktion<\/a>:<\/p>\n

[latex ]\\phi (a_j) = (\\mathrm{e}^{a_j} – \\mathrm{e}^{-a_j})\/(\\mathrm{e}^{a_j} + \\mathrm{e}^{-a_j})[\/latex]<\/p>\n

\"\"<\/a>Die Aktivierungsfunktion an den Ausgangsknoten h\u00e4ngt von der Aufgabe ab. F\u00fcr Mehr-Klassen-Klassifizierung mit K alternativen Klassen, wenden wir eine Softmax-Nichtlinearit\u00e4t in einer Ausgangsschicht von K Knoten an. Die Softmax-Funktion wird wie folgt berechnet:<\/span><\/p>\n

[latex ]\\hat y_k = \\mathrm{e}^{a_k} \/ \\sum_{\\substack{ \\\\
\nK \\\\
\nk^{\\prime}=1
\n}} \\mathrm{e}^{a_{k^{\\prime}}}[\/latex]<\/span><\/p>\n

Der Nenner der Softmax-Funktion ist ein Normalisierungsbegriff, der aus der Summe der Z\u00e4hler besteht, so dass sich die Ausg\u00e4nge aller Knoten zu eins addieren. <\/span><\/p>\n

Feedforward-Netzwerke und Backpropagation<\/h2>\n

In einem neuronalen Modell muss man die Reihenfolge der Berechnung bestimmen. Sollen nur einzelne Knoten zu einem Zeitpunkt abgetastet und aktualisiert werden, oder sollen die Werte aller Knoten auf einmal berechnet werden und dann alle Aktualisierungen gleichzeitig angewendet werden.<\/p>\n

Feedforward-Netzwerke sind eine eingeschr\u00e4nkte Klasse von Netzwerken, die sich mit diesem Problem besch\u00e4ftigen, indem sie Zyklen verbieten. Angesichts der Abwesenheit von Zyklen k\u00f6nnen alle Knoten angeordnet werden und die Ausg\u00e4nge in jeder Schicht k\u00f6nnen mit den Ausg\u00e4ngen von berechnet Knoten aus unteren Schichten bestimmt werden.<\/p>\n

Der Eingang x zu einem Feedforward – Netzwerk ist die unterste Schicht. Jede h\u00f6here Schicht wird dann sukzessive bis zur Ausgabe berechnet. An der obersten Schicht wird
\n[latex ]\\hat{y}[\/latex] erzeugt. Feedforward-Netzwerke werden h\u00e4ufig f\u00fcr \u00fcberwachte Lernaufgaben verwendet, wie Klassifikation und Regression. Das Lernen wird durch iteratives Aktualisieren jedes der Gewichte erreicht. Hierbei wird die Differenz minimiert, die den Abstand zwischen dem Ausgangssignal [latex ]\\hat{y}[\/latex] und dem Ziel y kennzeichnet.<\/p>\n

Der erfolgreichste Algorithmus f\u00fcr das Training neuronaler Netze ist die Backpropagation, eingef\u00fchrt von Rumelhart et al. [1985]. Backpropagation verwendet die Kettenregel. Das Training ist aber nicht einfach, da in einem neuronalen Netzwerk mit sigmoidalen oder tanh – Aktivierungsfunktionen der Knoten in jeder Ebene niemals den Wert Null annehmen k\u00f6nnen. <\/span><\/p>\n

Rekurrente Neuronale Netze<\/h2>\n

Rekurrente Neuronale Netze (RNN) sind Feedforward Neuronale Netze, die durch die Einbeziehung von \u00dcberg\u00e4ngen, die aneinander angrenzende Zeitschritte \u00fcberspannen und einen Zeitablauf einf\u00fchren. Wie Feedforward-Netzwerke haben RNNs keine Zyklen. Jedoch \u00dcberg\u00e4nge, die angrenzende Zeitschritte verbinden und eine Ablauffolge definieren<\/span><\/span>. Diese k\u00f6nnen auch Zyklen bilden, einschlie\u00dflich Zyklen der L\u00e4nge eins, die Selbstverbindungen durch Anreihung des immer wieder gleichen Knotens sind. <\/span><\/p>\n

Training rekurrenter Neuronaler Netze<\/h2>\n

Das Training wiederkehrenden Netzwerken ist lange Zeit als schwierig erachtet worden. Insbsondere Aufgrund der Schwierigkeit des Erlernens von weitreichenden Abh\u00e4ngigkeiten, wie von Bengio et al.[1994] und erweitert von Hochreiter et al. [2001] betrachtet. Die Probleme von verschwindenden und explodierden Gradienten treten auf, wenn die Fehler \u00fcber viele Zeitschritte \u00fcbertragen werden. Als kleines Beispiel betrachten wir ein Netzwerk mit einem einzigen Eingangsknoten, einem einzelnen Ausgangsknoten und einem einzigen wiederkehrenden verdeckten Knoten. Man betrachte nun einen Eingang, der zum Zeitpunkt t1 an das Netzwerk \u00fcbergeben wird, und einen Fehler, der zum Zeitpunkt t2 berechnet wird, wobei die Eingabe von Null in den dazwischenliegenden Zeitschritten vorausgesetzt wird. Das Binden von Gewichten \u00fcber Zeitschritte bedeutet, dass die wiederkehrenden \u00dcberg\u00e4nge am versteckten Knoten j immer das gleiche Gewicht haben. Daher wird der Beitrag der Eingabe zum Zeitpunkt t zum Ausgang zum Zeitpunkt t1 entweder explosionsartig oder exponentiell schnell null, wenn t2-t1 gro\u00df wird. Daher wird die Ableitung des Fehlers in Bezug auf die Eingabe entweder explodieren oder verschwinden.<\/p>\n

Welche der beiden Ph\u00e4nomene auftritt h\u00e4ngt davon ab, ob das Gewicht der rekurrierenden \u00dcberg\u00e4nge [latex ]w_{jj} > 1[\/latex]\u00a0 oder\u00a0 [latex ]w_{jj} < 1[\/latex] und wie die Aktivierungsfunktion im verborgenen Knoten ausgelegt ist. Bei einer sigmoidalen Aktivierungsfunktion ist das Problem des Verschwindens des Gradienten st\u00e4rker, aber mit einer gleichgerichteten Lineareinheit max(0; x) ist es einfacher, den explodierenden Gradienten vorzustellen. Pascanu et al. [2012] gibt eine gr\u00fcndliche mathematische Behandlung der verschwindenden und explodierenden Gradientenprobleme, die die genauen Bedingungen charakterisieren, unter denen diese Probleme auftreten k\u00f6nnen. Angesichts dieser Bedingungen schlagen sie einen Ansatz zur Ausbildung \u00fcber einen Regularisierungsausdruck vor, der die Gewichte zu Werten zwingt, bei denen der Gradient weder verschwindet noch explodiert.<\/span><\/p>\n

Truncated backpropagation through time (TBPTT) ist eine L\u00f6sung f\u00fcr das explodierende Gradientenproblem f\u00fcr kontinuierlich laufende Netzwerke [Williams und Zipser, 1989]. Bei TBPTT wird eine maximale Anzahl von Zeitschritten festgelegt, entlang derer Fehler \u00fcbertragen werden d\u00fcrfen. W\u00e4hrend TBPTT mit einem kleinen Cutoff verwendet werden kann, um das explodierende Gradientenproblem zu lindern, erfordert es das Opfer der F\u00e4higkeit Long-Range-Abh\u00e4ngigkeiten lernen zu k\u00f6nnen. Die sp\u00e4ter beschriebene LSTM-Architektur verwendet sorgf\u00e4ltig konstruierte Knoten mit wiederkehrenden Kanten mit festem Einheitsgewicht als L\u00f6sung f\u00fcr das Problem des Verschwindens des Gradienten.<\/span><\/p>\n

RNN Netzwerkdesign<\/h2>\n

Die Grundlagenforschung \u00fcber RNN Netzwerke fand in den 1980er Jahren statt. In 1982 f\u00fchrte Hopfeld eine Familie RNN Netze ein. Sie wurden durch Gewichte zwischen den Knoten und Verkn\u00fcpfungsfunktionen mit einfachen Schwellenwerten definiert. Diese Hopfeld-Netzwerke sind n\u00fctzlich f\u00fcr das Wiedererkennen eines gespeicherten Musters und sind die Vorl\u00e4ufer von Auto-Encodern.<\/p>\n

Die Architektur von Elman [1990] verwendet zus\u00e4tzlich verdeckte Knoten. Die
\nArchitektur entspricht einem einfachen RNN, in dem jedem verdeckten Knoten eine einzelne selbst verbundene wiederkehrende Kante ist. Die Idee der gewichteten wiederkehrenden Kanten, bei denen versteckte Knoten verbunden sind, war in der Arbeit
\nLSTM-Netzwerke [Hochreiter und Schmidhuber, 1997] dann grundlegend f\u00fcr weitere Verbesserungen.<\/p>\n

Das Lernen mit RNN Netzwerken war anfangs schwierig. Die erfolgreichsten RNN-Architekturen f\u00fcr das Sequenzlernen stammen aus zwei Beitr\u00e4gen Ver\u00f6ffentlicht im Jahr 1997. Die erste Papier, Long Short-Term Memory von Hochreiter und Schmidhuber [1997], setzt eine Speicherzelle vor die traditionellen Knoten in der verborgenen Schicht eines Netzwerks. Mit diesen Ged\u00e4chtniszellen sind die Netzwerke in der Lage die Lernschwierigkeiten zu \u00fcberwinden.<\/p>\n

Das zweite Papier, Bidirektionale RNN (BRNN) von Schuster und Paliwal [1997], f\u00fchrt eine Architektur ein, in der Informationen aus der Zukunft und der Vergangenheit verwendet werden, um die Ausgabe an jedem Punkt in der Sequenz zu bestimmen. Dies steht im Gegensatz zu bisherigen Netzen, in denen nur die vergangene Eingabe die Ausgabe beeinflussen kann.<\/p>\n

Im n\u00e4chsten Abschnitt erl\u00e4utern wir die LSTM und BRNN und beschreiben die neuronale Turingmaschine (NTM), die RNNs mit einem adressierbaren externen Speicher erweitert [Graves et al., 2014].<\/p>\n

Long Short-Term Memory (LSTM)<\/h2>\n

<\/a><\/span>LSTM-Modelle helfen in erster Linie, das Proble<\/span>m das Verschwinden von Gradienten zu \u00fcberwinden. Dieses Modell \u00e4hnelt einem herk\u00f6mmlichen, wiederkehrenden neuronalen Netz mit einer verborgenen Schicht, wobei jedoch jeder gew\u00f6hnliche Knoten in der verborgenen Schicht durch eine Speicherzelle ersetzt wird.
\nJede Speicherzelle enth\u00e4lt einen Knoten mit einer selbstverbundenen wiederkehrenden Kante von festem Gewicht 1, wodurch sichergestellt wird, dass der Gradient \u00fcber viele Zeitschritte hinweggehen kann, ohne verschwinden oder explodieren zu m\u00fcssen. Um Referenzen auf eine Speicherzelle und nicht auf einen gew\u00f6hnlichen Knoten zu unterscheiden, benutzen wir den Index c.<\/span><\/p>\n

Der Begriff LSTM „langes Kurzzeitged\u00e4chtnis“ kommt aus der Intuition, dass
\neinfache wiederkehrende neuronale Netze ein Langzeitged\u00e4chtnis in Form von Gewichten <\/span>haben<\/span>. Die Gewichte \u00e4ndern sich w\u00e4hrend des Trainings langsam und verschl\u00fcsseln das allgemeine Wissen \u00fcber die Daten. Sie haben auch Kurzzeitged\u00e4chtnis in Form von kurzlebigen Aktivierungen, die von jedem Knoten zu aufeinanderfolgenden Knoten \u00fcbergehen. Das LSTM-Modell f\u00fchrt einen Zwischenspeichertyp \u00fcber die Speicherzelle ein. Eine Speicherzelle ist eine zusammengesetzte Einheit, die aus einfacheren Knoten in einem spezifischen Konnektivit\u00e4tsmuster aufgebaut ist, die in Diagrammen durch den Buchstaben [latex ]\\Pi[\/latex] dargestellt sind. Nachstehend werden alle Elemente der LSTM-Zelle aufgez\u00e4hlt und beschrieben.<\/span><\/p>\n

Die nachfolgende Vektor-Notation bezieht sich auf die Werte der Knoten in einer ganzen Schicht von Zellen. Beispielsweise ist s ein Vektor, der den Wert von [latex ]s_c [\/latex] an jeder Speicherzelle c in einer Schicht enth\u00e4lt. Der Index c <\/span>indiziert<\/span> eine einzelne Speicherzelle. Ein LSTM-Block besteht aus:
\n<\/span><\/p>\n