Maschinelles Lernen ist ein schnell wachsender Bereich der künstlichen Intelligenz, der den Wissenserwerb technologischer Systeme vorantreibt. In der Trainingsphase werden diese Systeme mit Daten, dem sogenannten „Lernmaterial“, gefüttert. Daraus leiten sie Regelmäßigkeiten und Schlussfolgerungen ab, die sie dann auf neue Daten übertragen können.
„Auf diese Art und Weise können sehr große und unüberschaubare Datenmengen ausgewertet und auf Zusammenhänge hin analysiert werden“, erklärt CISPA-Forscherin Rebekka Burkholz. „Ich sehe hier große Einsatzchancen im Bereich der Biomedizin, beispielsweise in der Krebsforschung.“
Für ihre Forschung an künstlichen neuronalen Netzwerken hat die CISPA-Forscherin nun die Unterstützung des European Research Council (ERC) erhalten. Neuronale Netzwerke bilden eine der möglichen Grundlagen für maschinelles Lernen. Sie sind biologischen Nervensystemen nachempfunden und werden zum eigenständigen Erwerb und Verarbeitung von Informationen aufgebaut.
Das Problem hierbei: Um den erwünschten Lerneffekt zu erzielen, müssen die Netzwerke mit riesigen Datenmengen angefüttert werden. Gleichzeitig wachsen sie in direktem Verhältnis zu den Datenmengen, die sie verdauen müssen. „Diese großen Netze verschlingen Unmengen an Ressourcen und Rechenleistung“, erklärt Burkholz.
Schlanker ist (wahrscheinlich) effizienter
Dieser Schwierigkeit widmet sich Rebekka Burkholz in ihrem Projekt SPARSE-ML. Ihr Ziel ist es, die Modelle für maschinelles Lernen kleiner und effizienter zu machen. Sie vermutet, dass schlankere und gezielter trainierte neuronale Netze auch eine größere bereichsspezifische Leistungsfähigkeit erreichen können.
„Das bloße Zurückschneiden bisheriger neuronaler Netzwerkarchitekturen reicht nicht aus, um dieses Ziel zu erreichen“, argumentiert Burkholz. In ihrem Projekt will sie die Methoden der statistischen Physik einsetzen, um neuronale Netze auf kleinere Modelle zu skalieren, die weniger Ressourcen und weniger Rechenleistung erfordern.
Dabei stützt sich die Forscherin unter anderem auf frühere Forschungsergebnisse, die sie bereits während ihrer Promotion an der ETH Zürich erzielt hat. „Gegen Ende meines PhDs in der theoretischen Physik habe ich etwas wirklich Verblüffendes entdeckt“, erzählt Burkholz.
„Meine Forschung beschäftigte sich mit Kaskaden-Modellen, wie sie auch im maschinellen Lernen eingesetzt werden. Es ist mir gelungen, sie mit Hilfe von Zufallsgraphen analytisch beschreibbar zu machen. Diese Erkenntnis kann mir jetzt dabei helfen, komprimierte und effiziente neuronale Netze zu gestalten.“
In der Forschung hat sich bereits gezeigt, dass eine Kompression von Modellen einige Vorteile für das maschinelle Lernen bietet. „Beispielsweise erhöht sich ihre Fähigkeit, Erkenntnisse zu verallgemeinern und auf neue Bereiche zu übertragen. Sie können besser mit einer Unschärfe in den Daten umgehen und können Daten im Lernprozess effizienter verarbeiten“, erläutert Burkholz.
