Das Team erkannte, dass die Information weniger komplex dargestellt wird, je weiter sie verarbeitet wird. Darüber hinaus beobachteten sie Trainingseffekte: Je öfter ein Netzwerk mit Daten „trainiert“ wird, desto weniger künstliche Neuronen müssen gleichzeitig die Information verarbeiten. Die Ergebnisse sind in der Fachzeitschrift Transactions on Machine Learning Research erschienen.
Wie werden Eingabewerte umgeformt?
Künstliche neuronale Netze des Typs „Deep Neural Network“ setzen sich aus zahlreichen Schichten zusammen, die jeweils aus künstlichen Neuronen bestehen. Die Netzwerke sind von der Funktionsweise der Großhirnrinde inspiriert. Sie müssen zunächst lernen, um Muster zu erkennen und zu verallgemeinern. Dazu werden sie mit Daten trainiert. Für ihre Studie nutzten die Forschenden Bilder von handgeschriebenen Zahlen, die das Netzwerk korrekt erkennen sollte. Das Prinzip ist einfach: Ein Bild wird in die Eingabeschicht eingelesen. Dann nehmen die Zwischenschichten den Inhalt des Bildes nacheinander auf, wobei die Information auf die künstlichen Neuronen verteilt wird. Am Ende gibt die Ausgabeschicht im Idealfall das korrekte Ergebnis aus.
Mithilfe der partiellen Informationszerlegung (Partial Information Decomposition) ermittelten die Forschenden, wie die Eingabewerte in den Zwischenschichten umgeformt werden. Bei dieser Methode wird die Information in ihre Einzelteile zerlegt. So wird erkennbar, wie die künstlichen Neuronen die Verarbeitung aufteilen: Spezialisiert sich jedes Neuron auf individuelle Aspekte der Information? Oder gibt es viel Redundanz oder mehr Synergie?
Neue Ausgangspunkte für Verbesserungen entdecken
„Je weiter wir uns in Richtung der Ausgabeschicht im Netzwerk bewegen, auf desto weniger Neuronen liegt die Information verteilt. Die Neuronen spezialisieren sich. Die Repräsentation der Information wird mit der Verarbeitung weniger komplex und dadurch einfacher auslesbar“, erklärt David Ehrlich vom CIDBN. Auch mit fortschreitendem Training sinkt die Anzahl an Neuronen, die an der Entschlüsselung der Information beteiligt sind. Folglich trägt das Training dazu bei, dass die Komplexität während der Verarbeitung abnimmt.
„Neu ist vor allem, dass wir nun Einblick in die Informationsstruktur und Funktionsweise jeder einzelnen Zwischenschicht haben. Wir können also der Informationsverarbeitung in künstlichen neuronalen Netzen Schicht für Schicht zusehen – und das sogar während des Lernvorgangs“, so Andreas Schneider vom MPI-DS. „Das bietet einen neuen Ausgangspunkt, um Deep Neural Networks zu verbessern. Sie werden in kritischen Bereichen wie dem autonomen Fahren und der Gesichtserkennung eingesetzt. Es gilt daher, Fehler zu vermeiden. Dafür ist es wichtig, das Innenleben der Netzwerke genau zu kennen“, sind sich die Forschenden einig.
