Ein kleiner Überblick über Neuronale Netze
Free

Ein kleiner Überblick über Neuronale Netze

By D. KRIESEL
Free
Book Description


Wie kann man dem Computer etwas beibringen? Entweder, indem man ein starres Programm schreibt – oder, indem man ihm das Lernen ermöglicht. Lebende Wesen haben keinen Programmierer, der ihnen ein Programm für ihre Fähigkeiten schreibt, welches nur ausgeführt werden muss. Sie lernen – ohne Vorkenntnisse durch Eindrücke von außen – selber und kommen damit zu besseren Problemlösungen als jeder heutige Computer. Kann man solches Verhalten auch bei Maschinen wie Computern erreichen? Können wir solche Kognition von der Biologie adaptieren? Geschichte, Entwicklung, Niedergang und Wiederauferstehung eines großen Ansatzes, Probleme zu lösen. 



Diese Arbeit ist ursprünglich im Rahmen eines Seminars der Rheinischen Friedrich-Wilhelms-Universität Bonn entstanden, wurde und wird jedoch immer mehr erweitert – erstens, um mit der Zeit einen möglichst guten Überblick über das Thema der Neuronalen Netze liefern zu können und zweitens schlicht und einfach.



Also in English.

Table of Contents
  • Vorwörtchen
  • I Von der Biologie zur Formalisierung – Motivation, Philosophie, Geschichte und Realisierung Neuronaler Modelle
    • 1 Einleitung, Motivation und Geschichte
      • 1.1 Warum Neuronale Netze?
        • 1.1.1 Die 100-Schritt-Regel
        • 1.1.2 Einfache Anwendungsbeispiele
      • 1.2 Geschichte Neuronaler Netze
        • 1.2.1 Anfänge
        • 1.2.2 Blütezeit
        • 1.2.3 Lange Stille und langsamer Wiederaufbau
        • 1.2.4 Renaissance
      • Übungsaufgaben
    • 2 Biologische Neuronale Netze
      • 2.1 Das Nervensystem von Wirbeltieren
        • 2.1.1 Peripheres und zentrales Nervensystem
        • 2.1.2 Großhirn
        • 2.1.3 Kleinhirn
        • 2.1.4 Zwischenhirn
        • 2.1.5 Hirnstamm
      • 2.2 Das Neuron
        • 2.2.1 Bestandteile
        • 2.2.2 Elektrochemische Vorgänge im Neuron
      • 2.3 Rezeptorzellen
        • 2.3.1 Arten
        • 2.3.2 Informationsverarbeitung im Nervensystem
        • 2.3.3 Lichtsinnesorgane
      • 2.4 Neuronenmengen in Lebewesen
      • 2.5 Technische Neuronen als Karikatur der Biologie
      • Übungsaufgaben
    • 3 Bausteine künstlicher Neuronaler Netze (wichtige Grundlagen)
      • 3.1 Der Zeitbegriff bei Neuronalen Netzen
      • 3.2 Bestandteile Neuronaler Netze
        • 3.2.1 Verbindungen
        • 3.2.2 Propagierungsfunktion und Netzeingabe
        • 3.2.3 Aktivierung
        • 3.2.4 Schwellenwert
        • 3.2.5 Aktivierungsfunktion
        • 3.2.6 Gängige Aktivierungsfunktionen
        • 3.2.7 Ausgabefunktion
        • 3.2.8 Lernverfahren
      • 3.3 Verschiedene Netztopologien
        • 3.3.1 FeedForward
        • 3.3.2 Rückgekoppelte Netze
        • 3.3.3 Vollständig verbundene Netze
      • 3.4 Das Biasneuron
      • 3.5 Darstellung von Neuronen
      • 3.6 Aktivierungsreihenfolgen
        • 3.6.1 Synchrone Aktivierung
        • 3.6.2 Asynchrone Aktivierung
      • 3.7 Ein- und Ausgabe von Daten
      • Übungsaufgaben
    • 4 Grundlagen zu Lernprozess und Trainingsbeispielen (wichtige Grundlagen)
      • 4.1 Paradigmen des Lernens
        • 4.1.1 Unüberwachtes Lernen
        • 4.1.2 Bestärkendes Lernen
        • 4.1.3 Überwachtes lernen
        • 4.1.4 Offline oder Online lernen?
        • 4.1.5 Fragen im Vorhinein
      • 4.2 Trainingsmuster und Teaching Input
      • 4.3 Umgang mit Trainingsbeispielen
        • 4.3.1 Aufteilung der Trainingsmenge
        • 4.3.2 Reihenfolgen der Musterpräsentation
      • 4.4 Lernkurve und Fehlermessung
        • 4.4.1 Wann hört man auf zu lernen?
      • 4.5 Gradientenbasierte Optimierungsverfahren
        • 4.5.1 Probleme von Gradientenverfahren
      • 4.6 Beispielproblemstellungen
        • 4.6.1 Boolesche Funktionen
        • 4.6.2 Die Paritätsfunktion
        • 4.6.3 Das 2-Spiralen-Problem
        • 4.6.4 Das Schachbrettproblem
        • 4.6.5 Die Identitätsfunktion
        • 4.6.6 Weitere Beispielproblemstellungen
      • 4.7 Hebbsche Lernregel
        • 4.7.1 Urform
        • 4.7.2 Verallgemeinerte Form
      • Übungsaufgaben
  • II Überwacht lernende Netzparadigmen
    • 5 Das Perceptron, Backpropagation und seine Varianten
      • 5.1 Das Singlelayerperceptron
        • 5.1.1 Perceptron-Lernalgorithmus und Konvergenz-Theorem
        • 5.1.2 Delta-Regel
      • 5.2 Lineare Separierbarkeit
      • 5.3 Das Multilayerperceptron
      • 5.4 Backpropagation of Error
        • 5.4.1 Herleitung
        • 5.4.2 Reduktion von Backpropagation auf Delta-Regel
        • 5.4.3 Wahl der Lernrate
      • 5.5 Resilient Backpropagation
        • 5.5.1 Änderung der Gewichte
        • 5.5.2 Dynamische Lernraten-Anpassung
        • 5.5.3 Rprop in der Praxis
      • 5.6 Mehr Variationen und Erweiterungen zu Backpropagation
        • 5.6.1 Momentum-Term
        • 5.6.2 Flat Spot Elimination
        • 5.6.3 Second Order Backpropagation
        • 5.6.4 Weight Decay
        • 5.6.5 Pruning und Optimal Brain Damage
      • 5.7 Initialkonfiguration eines Multilayerperceptrons
        • 5.7.1 Anzahl der Schichten
        • 5.7.2 Anzahl der Neurone
        • 5.7.3 Wahl der Aktivierungsfunktion
        • 5.7.4 Initialisierung der Gewichte
      • 5.8 Das 8-3-8-Kodierungsproblem und verwandte Probleme
      • Übungsaufgaben
    • 6 Radiale Basisfunktionen
      • 6.1 Bestandteile und Aufbau
      • 6.2 Informationsverarbeitung eines RBF-Netzes
        • 6.2.1 Informationsverarbeitung in den RBF-Neuronen
        • 6.2.2 Analytische Gedanken im Vorfeld zum Training
      • 6.3 Training von RBF-Netzen
        • 6.3.1 Zentren und Breiten von RBF-Neuronen
      • 6.4 Wachsende RBF-Netze
        • 6.4.1 Hinzufügen von Neuronen
        • 6.4.2 Begrenzung der Neuronenanzahl
        • 6.4.3 Entfernen von Neuronen
      • 6.5 Gegenüberstellung von RBF-Netzen und Multilayerperceptrons
      • Übungsaufgaben
    • 7 Rückgekoppelte Netze (baut auf Kap. 5 auf)
      • 7.1 Jordannetze
      • 7.2 Elmannetze
      • 7.3 Training rückgekoppelter Netze
        • 7.3.1 Unfolding in Time
        • 7.3.2 Teacher Forcing
        • 7.3.3 Rekurrentes Backpropagation
        • 7.3.4 Training mit Evolution
    • 8 Hopfieldnetze
      • 8.1 Inspiration durch Magnetismus
      • 8.2 Aufbau und Funktionsweise
        • 8.2.1 Eingabe und Ausgabe eines Hopfieldnetzes
        • 8.2.2 Bedeutung der Gewichte
        • 8.2.3 Zustandswechsel der Neurone
      • 8.3 Erzeugen der Gewichtsmatrix
      • 8.4 Autoassoziation und traditionelle Anwendung
      • 8.5 Heteroassoziation und Analogien zur neuronalen Datenspeicherung
        • 8.5.1 Erzeugung der Heteroassoziationsmatrix
        • 8.5.2 Stabilisierung der Heteroassoziationen
        • 8.5.3 Biologische Motivation der Heteroassoziation
      • 8.6 Kontinuierliche Hopfieldnetze
      • Übungsaufgaben
    • 9 Learning Vector Quantization
      • 9.1 Über Quantisierung
      • 9.2 Zielsetzung von LVQ
      • 9.3 Benutzung von Codebookvektoren
      • 9.4 Ausrichtung der Codebookvektoren
        • 9.4.1 Vorgehensweise beim Lernen
      • 9.5 Verbindung zu Neuronalen Netzen
      • Übungsaufgaben
  • III Unüberwacht lernende Netzparadigmen
    • 10 Self Organizing Feature Maps
      • 10.1 Aufbau
      • 10.2 Funktionsweise und Ausgabeinterpretation
      • 10.3 Training
        • 10.3.1 Die Topologiefunktion
        • 10.3.2 Monoton sinkende Lernrate und Nachbarschaft
      • 10.4 Beispiele
        • 10.4.1 Topologische Defekte
      • 10.5 Auflösungsdosierung und ortsabhängige Lernrate
      • 10.6 Anwendung
        • 10.6.1 Zusammenspiel mit RBF-Netzen
      • 10.7 Variationen
        • 10.7.1 Neuronales Gas
        • 10.7.2 Multi-SOMs
        • 10.7.3 Multi-Neuronales Gas
        • 10.7.4 Wachsendes Neuronales Gas
      • Übungsaufgaben
    • 11 Adaptive Resonance Theory
      • 11.1 Aufgabe und Struktur eines ART-Netzes
        • 11.1.1 Resonanz
      • 11.2 Lernvorgang
        • 11.2.1 Mustereingabe und Top-Down-Lernen
        • 11.2.2 Resonanz und Bottom-Up-Lernen
        • 11.2.3 Hinzufügen eines Ausgabeneurons
      • 11.3 Erweiterungen
  • IV Exkurse, Anhänge und Register
    • A Exkurs: Clusteranalyse und Regional and Online Learnable Fields
      • A.1 k-Means Clustering
      • A.2 k-Nearest Neighbouring
      • A.3 -Nearest Neighbouring
      • A.4 Der Silhouettenkoeffizient
      • A.5 Regional and Online Learnable Fields
        • A.5.1 Aufbau eines ROLFs
        • A.5.2 Training eines ROLFs
        • A.5.3 Auswertung eines ROLFs
        • A.5.4 Vergleich mit populären Clusteringverfahren
        • A.5.5 Initialisierung von Radien, Lernraten und Multiplikator
        • A.5.6 Anwendungsbeispiele
      • Übungsaufgaben
    • B Exkurs: Neuronale Netze zur Vorhersage
      • B.1 Über Zeitreihen
      • B.2 One Step Ahead Prediction
      • B.3 Two Step Ahead Prediction
        • B.3.1 Rekursive Two Step Ahead Prediction
        • B.3.2 Direkte Two Step Ahead Prediction
      • B.4 Weitere Optimierungsansätze für die Prediction
        • B.4.1 Veränderung zeitlicher Parameter
        • B.4.2 Heterogene Prediction
      • B.5 Bemerkungen zur Vorhersage von Aktienkursen
    • C Exkurs: Reinforcement Learning
      • C.1 Systemaufbau
        • C.1.1 Die Gridworld
        • C.1.2 Agent und Umwelt
        • C.1.3 Zustände, Situationen und Aktionen
        • C.1.4 Reward und Return
        • C.1.5 Die Policy
      • C.2 Lernvorgang
        • C.2.1 Strategien zur Rewardvergabe
        • C.2.2 Die State-Value-Funktion
        • C.2.3 Montecarlo-Methodik
        • C.2.4 Temporal Difference Learning
        • C.2.5 Die Action-Value-Funktion
        • C.2.6 Q-Learning
      • C.3 Beispielanwendungen
        • C.3.1 TD-Gammon
        • C.3.2 Das Auto in der Grube
        • C.3.3 Der Pole Balancer
      • C.4 Reinforcement Learning im Zusammenhang mit Neuronalen Netzen
      • Übungsaufgaben
    • Literaturverzeichnis
    • Abbildungsverzeichnis
    • Index
    No review for this book yet, be the first to review.
      No comment for this book yet, be the first to comment
      You May Also Like
      Also Available On
      App store smallGoogle play small
      Categories
      Curated Lists
      • Pattern Recognition and Machine Learning (Information Science and Statistics)
        by Christopher M. Bishop
        Data mining
        by I. H. Witten
        The Elements of Statistical Learning: Data Mining, Inference, and Prediction
        by Various
        See more...
      • CK-12 Chemistry
        by Various
        Concept Development Studies in Chemistry
        by John Hutchinson
        An Introduction to Chemistry - Atoms First
        by Mark Bishop
        See more...
      • Microsoft Word - How to Use Advanced Algebra II.doc
        by Jonathan Emmons
        Advanced Algebra II: Activities and Homework
        by Kenny Felder
        de2de
        by
        See more...
      • The Sun Who Lost His Way
        by
        Tania is a Detective
        by Kanika G
        Firenze_s-Light
        by
        See more...
      • Java 3D Programming
        by Daniel Selman
        The Java EE 6 Tutorial
        by Oracle Corporation
        JavaKid811
        by
        See more...