Maschinelles Lernen und insbesondere bestärkende Lernverfahren gelten heute als Schlüsseltechnologie für jegliche Bereiche des robotischen Lernens mit Anwendungspotenzial sowohl in terrestrischen als auch in Weltraumszenarien. Jedoch sind diese Verfahren in ihrer Architektur äußerst komplex und benötigen eine erhebliche Menge an Trainingsschritten, was das Erlernen von neuem anspruchsvollem Verhalten in realen robotischen Umgebungen ohne Vorwissen und Simulationsumgebung nahezu unmöglich macht.
Quantenalgorithmen, die das Potenzial bergen, große Datenmengen deutlich effizienter zu verarbeiten und zu analysieren als klassische maschinelle Lernalgorithmen, könnten hier Abhilfe schaffen. Unter anderem durch die Reduzierung von Trainingszeiten versprechen sie einen immensen Sprung hinsichtlich der Komplexität von Anwendungsfällen, wodurch sich erhebliche Fortschritte auf dem Gebiet des Langzeitlernens von explorativen robotischen Systemen erzielen ließen.
Grundlagenforschung zu Quantencomputing und quantenmaschinellem Lernen
Allerdings steht die Erforschung der Quantentechnologie in diesem Bereich noch ganz am Anfang. Diese voranzutreiben haben sich Wissenschaftlerinnen und Wissenschaftlern des DFKI Robotics Innovation Center und der AG Robotik der Universität Bremen auf die Fahne geschrieben. Seit 2020 betreibt das interdisziplinäre Team unter Leitung von Prof. Dr. Dr. h.c. Frank Kirchner grundlegende Forschung, um quantengestützte Konzepte und Lösungen für Anwendungsfelder in der Künstlichen Intelligenz und Robotik zu erarbeiten.
Durch die Entwicklung bedarfsorientierter und niedrigschwelliger Qualifikationsbausteine wollen sie zudem dazu beitragen, dem Fachkräftemangel im Technologiefeld der quantenbasierten Künstlichen Intelligenz entgegenzuwirken.
Mit den Projekten QuDA-KI, QuBER-KI und QuMAL-KI fördert das Bundesministerium für Wirtschaft und Klimaschutz (BMWK) aktuell drei synergetische Projekte, die das Ziel haben, sowohl bestehende Methoden des quantenmaschinell gestützten Lernens zu evaluieren und zu verbessen als auch neue Methoden für robotische Anwendungen zu entwickeln. Die untersuchten Verfahren umfassen neben rein quantenbasierten Ansätzen auch hybride Verfahren, bei denen bestimmte Anteile des Algorithmus auf Quantencomputer ausgelagert werden, während die Verarbeitung des restlichen Teils auf einem klassischen Computer erfolgt.
Kodierung klassischer Datensätze in Qubits und Aufbau eines Quantencomputing-Labors
Um die roboternahen Datenströme, insbesondere von Sensoren und Aktuatoren, für quantenmaschinelle Lernverfahren nutzen zu können, müssen sie in geeigneten Qubit-Repräsentationen vorliegen. Wie sich die Daten enkodieren lassen, untersuchen die Bremer Forschenden im Projekt QuDA-KI (Qubit-basierte Datenrepräsentationen und Vorverarbeitungen für Ansätze des Quantenmaschinellen Lernens).
Der Fokus liegt hierbei auf Qubit-basierten Minimalrepräsentationen von essenziellen Merkmalen, um mit den wenigen in heutigen Quantencomputern zur Verfügung stehenden Qubits bereits erste Anwendungsfälle umsetzen zu können. Zusätzlich sollen Datensätze aus robotischen Szenarien bisheriger DFKI-Arbeiten zur Nutzung auf Quantenhardware aufbereitet und anderen Projekten zur Verfügung gestellt werden. Auch der Aufbau eines Labors, das mit leistungsstarker, zur Simulation quantenunterstützter Verfahren benötigter Hardware und Software ausgestattet wird, ist Teil des Projekts. Darüber hinaus wollen die Forschenden in dem Vorhaben herausfinden, wie sich Quantenschaltkreise effizienter gestalten lassen.
Quantenunterstützte bestärkende Lernverfahren für einfache Roboterverhalten
Die Erkenntnisse von QuDA-KI fließen in die zwei anwendungsorientierten Projekte QuBER-KI und QuMAL-KI ein, in denen quantenunterstützte bestärkende Lernverfahren zur Generierung von konkretem Roboterverhalten eingesetzt werden sollen. In QuBER-KI (Quantum Deep Reinforcement Learning für einfache robotische Verhalten) analysieren die Wissenschaftlerinnen und Wissenschaftler bestehende quantenunterstützte Algorithmen und evaluieren sie hinsichtlich der Fragestellung, ob und inwiefern sie sich auch auf komplexere Umgebungen und Anwendungen übertragen lassen.
Weiterhin sollen die neuronalen Netze der aktuell in der Praxis erfolgreich eingesetzten klassischen Algorithmen für das bestärkende Lernen durch Quantenschaltkreise ersetzt werden, um zu ermitteln, welche Algorithmen bei welchen Lernproblemen die besten Ergebnisse erzielen. Darauf aufbauend wollen die Forschenden neue quantenunterstützte bestärkende Lernverfahren für einfache robotische Verhalten wie die Navigation oder Manipulation entwickeln, welche die quantenmechanischen Eigenschaften explizit ausnutzen.
Quantenbeschleunigtes Lernen für Multiagentensysteme und koordinative Problemstellungen
Insbesondere für anspruchsvolle Szenarien im Bereich der Weltraumrobotik, zum Beispiel bei der planetaren Erkundung oder dem Infrastrukturaufbau, müssen zukünftige langzeitautonome Roboter in der Lage sein, komplexe Verhalten in Interaktion mit anderen robotischen Systemen zu lernen und gegebenenfalls anzupassen. Das Projekt QuMAL-KI (Quantenbeschleunigtes Multi-Agenten Lernen für langzeitautonome Roboter) zielt darauf, Verfahren des bestärkenden maschinellen Lernens sowohl für mehrere robotische Systeme als auch für mehrere Quantencomputer, die in einem verteilten Setting ein bestimmtes Verhalten optimieren oder lernen sollen, zu beschleunigen.
Dazu evaluieren die Forschenden zunächst existierende Quantenalgorithmen, um anschließend neue Verfahren zu entwickeln, die sie in einem einfachen, aber realitätsnahen Szenario mit mindestens zwei Robotern erproben wollen. Die Ausführung der Algorithmen erfolgt in allen drei Projekten mehrheitlich in der Simulation. Darüber hinaus ist geplant, bestimmte Projektanteile auf aktuell verfügbarer Quantenhardware zu demonstrieren.
