Dem Gehirn noch ähnlicher werden und so Energie sparen: Die entsprechende Rechentechnik soll sich noch stärker an der Arbeitsweise des Gehirns orientieren und um mehrere Größenordnungen weniger Energie benötigen als die bestehenden Modelle. „Existierende Deep-learning-Systeme basieren auf mathematischen Grundlagen, durch die sie viele Rechnungen durchführen, die gar nicht notwendig sind“, erläutert der Wissenschaftler.
Nur aktiv, wenn benötigt
Normalerweise werden kontinuierlich alle vorhandenen Informationen in die nächste Rechenebene überführt und dort verarbeitet. „Ich möchte den Systemen beibringen, Informationen nur dann weiterzuschicken, wenn diese auch notwendig sind“, sagt der Forscher. So ähnlich funktioniere auch das Netzwerk der Neuronen im Gehirn. Ein Neuron werde nur aktiv, wenn eine wichtige Information weitergeleitet werden müsse. Danach ruhe das Neuron wieder.
„Es feuern immer nur einzelne oder mehrere zusammengehörende Neuronen, aber nie alle gleichzeitig. Dadurch ist das Gehirn besonders energieeffizient“, führt Anand Subramoney aus. Dieses Prinzip möchte er auf KI-Systeme übertragen.
Als Rechengrundlage dafür verwendet der Informatiker dünn besetzte Matrizen. Eine Matrix ist ein Quadrat, das aus Zeilen und Spalten besteht und an jeder Position eine Zahl enthält. Bei dünn besetzten Matrizen befindet sich an den meisten Stellen eine Null. Da dort bei den weiteren Rechenschritten als Ergebnis wieder Null herauskommt, sind diese Nullen überflüssig. Deshalb möchte der Forscher einen Algorithmus verwenden, der nur diejenigen Positionen an die nächste Rechenebene weiterleitet, an denen andere Zahlen stehen.
„So werden nur die wenigen benötigten Botschaften weitergeleitet – und dies nicht gleichzeitig, sondern zeitkontinuierlich, wie im Gehirn. Dadurch geht die Übertragung der Daten auf die nächste Rechenebene schneller“, so der Nachwuchswissenschaftler. Zudem beabsichtigt er, die Algorithmen auf einer größeren Auswahl an Hardware funktionsfähig zu machen.
Große Netzwerke können Dinge, auf die sie nicht trainiert wurden
Verwendung finden solche selbst lernenden Systeme zum Beispiel beim autonomen Fahren oder in der Landwirtschaft. Richtig interessant werde es laut Anand Subramoney jedoch bei besonders großen Netzwerken, denn diese zeigten ein ganz neues Verhalten.
„Sehr große Modelle können Aufgaben lösen, die sie nie zuvor gesehen haben. Das können kleinere Systeme nicht. Es gibt ein Sprachmodell, das darauf trainiert worden ist, aus einem gegebenen Wort das nächste Wort vorherzusagen. Kann es auch. Aber obwohl es nie eine Mathematikaufgabe erhalten hat, ist es in der Lage, leichte Rechenaufgaben zu lösen. Wenn wir diese großen Modelle energieeffizient betreiben können, wird es bezahlbar, ihr Verhalten zu erforschen. Universitäten können sich so etwas in der Regel nicht leisten. Zugang zu solchen Modellen haben momentan nur große Unternehmen oder Stiftungen“, verdeutlicht der Wissenschaftler.
Förderung
Mit „KI-Starter“ fördert das Ministerium für Kultur und Wissenschaft des Landes NRW Dr. Anand Subramoney im Rahmen der Förderlinie „Künstliche Intelligenz/Maschinelles Lernen“ mit einer Summe von 195.000 Euro.
