Warum sieht ein Künstliches Neuronales Netz so aus?

Lernschritt 0 – Vorabinformationen zum Lernpfad

Dieser Lernpfad beschäftigt sich mit Künstlichen Neuronalen Netzen (KNN). Warum sieht ein Künstliches Neuronales Netz so aus, wie es aussieht? Braucht es wirklich Gewichte, Bias und Aktivierungsfunktion?  Mit diesen Fragen beschäftigt sich dieser Lernpfad. 


Empfehlung: Falls Sie sich nicht schon mit Künstlichen Neuronalen Netzen auskennen, empfehlen wir zunächst den Lernpfad „Was ist ein Künstliches Neuronales Netz?" zu bearbeiten. 

Lernschritt 1 – Der historische Hintergrund

Historisch gesehen gab es bei der Entwicklung von KNNs zunächst den Gedanken, das menschliche Gehirn nachzubilden. Der folgende Absatz fasst diesen stark vereinfachten Gedankengang zusammen:

Im menschlichen Gehirn befinden sich ca. 100 Milliarden Nervenzellen, die sogenannten Neuronen. Diese sind untereinander vernetzt und können elektrische Impulse aussenden. Empfängt ein Neuron ausreichend elektrische Impulse, sendet es selbst einen elektrischen Impuls aus.

Daher wurde auch für Künstliche Neuronen die binäre Ausgabefunktion als Aktivierungsfunktion gewählt. Sobald die Eingaben eines Künstlichen Neurons mit binärer Aktivierungsfunktion groß genug sind, "feuert das Künstliche Neuron", d.h. es hat eine 1 als Ausgabe.

In deutscher Literatur findet sich für den Begriff Bias daher oft die Übersetzung Schwellenwert. Wenn der Bias bei -5 liegt, müssen die Eingaben den Wert 5 übersteigen, sodass das Neuron feuert. Der Bias ist hier also wirklich der Schwellenwert zwischen „Feuern“ und „Nicht Feuern“ (Ausgabe 1 oder Ausgabe 0).

Für andere Aktivierungsfunktionen wie zum Beispiel die Sigmoid-Funktion lässt sich diese Analogie aber nicht fortsetzen. Hier gibt es keine Schwelle. Der Übergang ist kontinuierlich. Daher habe ich auf die deutsche Übersetzung des Begriffs Bias innerhalb meiner Lernpfade verzichtet.

Der Aufbau von Künstlichen Neuronalen Netzen ist ursprünglich also (stark vereinfacht) dem menschlichen Gehirn nachempfunden. Da ohnehin nicht bekannt ist, wie genau das menschliche Gehirn lernt, wurde mit der Zeit aber u.a. durch die Wahl anderer Aktivierungsfunktionen abgewichen. Warum der Aufbau aber mathematisch sinnvoll ist und welchen Zweck die einzelnen Bestandteile haben, wird in diesem Kurs betrachtet.

Lernschritt 2 – Ein Künstliches Neuronales Netz nur mit Gewichten

Dieser Lernschritt beschäftigt sich mit einem KNN ohne Bias-Werte und ohne Aktivierungsfunktion. In einer Online-Anwendung werden Parameter angepasst, um Datensätze zu trennen. Es wird gezeigt, welche Probleme sich mit dieser Art von KNN (nicht) lösen lassen.

Lernschritt 3 – Ein Künstliches Neuronales Netz mit Gewichten & Bias-Werten

In diesem Lernschritt wird das KNN um Bias-Werte erweitert. In einer Online-Anwendung werden Parameter angepasst, um Datensätze zu trennen. Es wird gezeigt, welche Probleme sich nach dieser Anpassung lösen lassen und welche immer noch unlösbar sind.

Lernschritt 4 – Ein vollständiges Künstliches Neuronales Netz

In diesem Lernschritt wird das KNN um eine nicht-lineare Aktivierungsfunktion erweitert. In einer Online-Anwendung werden Parameter angepasst, um Datensätze zu trennen. Es wird gezeigt, warum die Aktivierungsfunktion nicht-linear sein muss, um beliebige Datensätze trennen zu können.

Lernschritt 5 – Warum macht ein KNN immer dasselbe?

In diesem Video werden Inhalte wiederholt und es erläutert, warum Künstliche Neuronale Netze, egal ob groß oder klein, im Prinzip dasselbe machen.

Lernschritt 6 – Das könnte Sie auch interessieren...

Weitere Lernpfade zu Künstlichen Neuronalen Netzen

Was ist ein Künstliches Neuronales Netz?
Hinter vielen modernen KI-Systemen wie ChatGPT, Midjourney und Co. stecken Künstliche Neuronale Netze. Doch warum werden diese hier genutzt und was ist überhaupt ein Künstliches Neuronales Netz? Diese Fragen werden in diesem Lernpfad betrachtet.

Wie funktioniert das Training eines Künstlichen Neuronalen Netzes?
Künstliche Neuronale Netze, wie sie zum Beispiel hinter ChatGPT stecken, sind riesige mathematische Funktionen mit Milliarden Parametern. Aber wie werden die richtigen Werte für diese Parameter gefunden, sodass am Ende beeindruckende Programme entstehen? Das Grundprinzip hinter dieser Suche nach den richtigen Zahlen (auch Training genannt) schauen wir uns in diesem Lernpfad an.

Visualisierungen

Unter stefanhickl.eu/machine-learning/ finden Sie alle Visualisierungen aus dem Lernpfad und einige weitere Anwendungen zu KNNs.

Lernschritt 7 – Weiterführende Materialien

Video-Empfehlung

Das YouTube-Video A Brief Introduction to Neural Networks von Sebastian Lague erklärt in Kürze, wofür die einzelnen Bestandteile eines KNNs notwendig sind. Das Video bildet die Grundlage für die interaktiven Inhalte innerhalb dieses Lernpfads.

Unterrichtsmaterialien

Die Seite LINKSAMMLUNG KÜNSTLICHE INTELLIGENZ der TU Dresden bietet einen Überblick über  Unterrichtsmaterialien zum Thema Künstliche Intelligenz. 

Lernschritt 8 – Methodenworkshops