Maschinelles Lernen und Künstliche Intelligenz werden immer häufiger eingesetzt. Die Anwendungen reichen von Bilderkennung bis hin zur Texterstellung, wie ChatGPT zeigt. Diese herausfordernden Aufgaben erfordern jedoch immer komplexere neuronale Netze, einige mit vielen Milliarden Parametern.
Dieses rasche Wachstum neuronaler Netze hat dazu geführt, dass sich die Technologien aufgrund ihres exponentiell steigenden Energieverbrauchs und ihrer Trainingszeiten auf einem Weg befinden, der nicht mehr nachhaltig ist.
So wird beispielsweise geschätzt, dass das Training von GPT-3 mehr als 1.000 MWh Energie verbraucht hat, was dem täglichen Stromverbrauch einer Kleinstadt entspricht. Dieser Trend hat zu einem Bedarf an schnelleren, energie- und kosteneffizienteren Alternativen geführt und das sich rasch entwickelnde Feld des neuromorphen Computing ausgelöst.
Schnellere Rechenoperationen
Ziel dieses Forschungsfeldes ist es, die neuronalen Netze in unseren digitalen Computern durch physikalische, neuronale Netze zu ersetzen. Diese werden so konstruiert, dass sie die erforderlichen mathematischen Operationen potenziell schneller und energieeffizienter durchführen.
Optik und Photonik sind besonders vielversprechende Plattformen für neuromorphes Computing, da der Energieverbrauch auf ein Minimum reduziert werden kann. Berechnungen können parallel mit sehr hohen Geschwindigkeiten durchgeführt werden, die nur durch die Lichtgeschwindigkeit begrenzt sind.
Bislang gab es jedoch zwei große Herausforderungen: Zum einen erfordert die Realisierung der erforderlichen komplexen mathematischen Berechnungen hohe Laserleistungen. Zum anderen gab es bisher keine effiziente allgemeine Trainingsmethode für solche physikalischen neuronalen Netze.
Beide Herausforderungen können mit der neuen Methode überwunden werden, die Clara Wanjura und Florian Marquardt vom Max-Planck-Institut für die Physik des Lichts vorstellen. „Normalerweise werden die eingegebenen Daten dem Lichtfeld aufgeprägt. In unserer neuen Methode schlagen wir jedoch vor, diese Daten durch Veränderung der Lichttransmission aufzuprägen“, erklärt Florian Marquardt, Direktor am Institut. Auf diese Weise kann das Eingangssignal auf beliebige Weise verarbeitet werden.
Vermeiden von komplizierten physikalischen Wechselwirkungen
Das gelingt, obwohl sich das Lichtfeld selbst auf die einfachste Art und Weise verhält, in der Wellen interferieren, ohne sich sonst gegenseitig zu beeinflussen. Daher erlaubt der neue Ansatz, komplizierte physikalische Wechselwirkungen zu vermeiden, die normalerweise nötig wären, um die erforderlichen mathematischen Funktionen zu realisieren und die sonst leistungsstarke Lichtfelder erfordern würden.
Das Auswerten und Trainieren dieses physikalischen neuronalen Netzes würde dann sehr einfach werden: „Die Methode würde wirklich nur erfordern, Licht durch das System zu schicken und das übertragene Licht zu beobachten. So können wir den Output des Netzes ablesen. Gleichzeitig lassen sich so alle für das Training relevanten Informationen messen“, sagt Clara Wanjura, die Erstautorin der Studie. Die Autoren haben in Simulationen gezeigt, dass ihr Ansatz bei Bildklassifizierungsaufgaben dieselbe Genauigkeit erzielt wie digitale neuronale Netze.
Für die Zukunft planen die Autoren eine Zusammenarbeit mit experimentellen Gruppen, um die Umsetzung ihrer Methode zu untersuchen. Da ihr Vorschlag die experimentellen Anforderungen erheblich lockert, kann er in vielen physikalisch sehr unterschiedlichen Systemen angewendet werden. Dies eröffnet neue Möglichkeiten für neuromorphe Hardware, die ein physikalisches Training auf einer breiten Palette von Plattformen ermöglichen.
