Welchen Beruf soll ich ergreifen? In welche Altersvorsorge soll ich investieren? Welchen Schachzug mache ich als nächstes? Unsere Entscheidungsmöglichkeiten sind groß und welche Option für uns am besten wäre, könnten wir nur herausfinden, wenn wir alle Möglichkeiten ausprobieren würden. Da dies jedoch unmöglich ist, müssen wir entweder auf altbewährte Optionen setzten oder Risiken eingehen und unbekannte Optionen ausprobieren. Intuitiv balancieren wir dabei alle unsere Entscheidungen zwischen diesen Polen und finden so gute Lösungen.
Diese Zwickmühle zwischen der Erkundung von Neuem und der Verwertung von Bekanntem wird auch „exploration-exploitation-dilemma“ genannt und beschäftigt nicht nur Psycholog*innen. Auch Informatiker*innen müssen bei der Programmierung von Lernalgorithmen dafür sorgen, dass der Computer einerseits auf bereits bekanntes Wissen zurückgreift, andererseits aber auch unbekannte Optionen auslotet. Zum Beispiel bei angepassten Empfehlungen in Onlineshops.
Der komplizierte Umgang mit unendlich vielen Unbekannten
Doch wie genau schaffen es Menschen, mit den wenigen bekannten und den unendlich vielen unbekannten Optionen umzugehen? Und kann maschinelles Lernen da mithalten? Um dies systematisch zu erforschen, hat ein Team aus Forschern vom Max-Planck-Institut für Bildungsforschung, von der Harvard University, dem University College London und der University of Surrey eine Reihe von experimentellen Entscheidungsspielen entwickelt, die sowohl von 241 Menschen, als auch vom Computer mit verschiedenen Modellen und Algorithmen gespielt wurden.
Die menschlichen und virtuellen Spieler mussten bei dem Onlinespiel auf einem Raster Felder anklicken, hinter denen sich jeweils unterschiedlich hohe Punktzahlen verbargen. Da die Anzahl der möglichen Klicks erheblich geringer war als die Anzahl der Felder, konnte nur eine begrenzte Zahl von Optionen ausprobiert werden. Zu Beginn wussten weder Mensch noch Computer, ob und wie sich die Punktzahlen von benachbarten Feldern ähnelten. Erst mit der Zeit haben sie die räumlichen Muster hinter den verdeckten Feldern erlernt und anhand dieses Wissens eine Strategie entwickelt, die aus dem Anklicken benachbarter Felder, der „exploitation“, und dem risikoreicheren Anklicken weit entfernter Felder, der „exploration“, bestand.
Gute Entscheidungen auf Basis von Generalisierung und Vorhersagen
„Menschen müssen nicht die Auswirkungen jeder Option kennen, um gute Entscheidungen zu treffen. Sie sind in der Lage zu generalisieren und anhand der wenigen, bekannten Optionen auch die unbekannten Optionen vorherzusagen“, sagt Charley Wu, Erstautor und Doktorand am Max-Planck-Institut für Bildungsforschung, und ergänzt: „Gleichzeitig stellen wir fest, dass Menschen dabei recht optimistisch und neugierig sind und auch die unbekannten Optionen wählen.“
Auch die verschiedenen Lernalgorithmen waren mal mehr, mal weniger erfolgreich bei dem Entscheidungsspiel. Bei dem direkten Vergleich von menschlichem Verhalten und den verschiedenen Algorithmen stellten die Forscher fest, dass wenn sie zwei bekannte Algorithmen miteinander kombinieren, sie menschliches Verhalten erstaunlich gut vorhersagen konnten. Der erste Algorithmus hat durch Generalisierung die räumliche Struktur der Punkte vorhergesagt, der zweite Algorithmus simulierte „Neugier“ und tendierte dazu, unbekannte Felder auszuprobieren.
„Die Ergebnisse unserer Studie zeigen, wie Methoden aus dem Bereich des maschinellen Lernens helfen, menschliches Entscheidungsverhalten besser zu verstehen. Umgekehrt können psychologische Studien helfen, Algorithmen aus der Informatik zu verbessern – denn in den meisten Bereichen ist die menschliche Intelligenz der maschinellen noch weit überlegen", sagt Björn Meder, Assoziierter Wissenschaftler am Max-Planck-Institut für Bildungsforschung.
