Best Dissertation Award für André Zenner: Der Informatiker wurde für seine neuen Entwicklungen im Bereich haptischer VR auf einer internationalen VR-Fachkonferenz ausgezeichnet. In der Arbeit geht es darum, wie man physische Requisiten, sogenannte Proxys, einsetzen kann, um Objekte in virtuellen Umgebungen haptisch erfahrbar zu machen.
„Man kann natürlich nicht für jedes virtuelle Objekt ein Proxy vorhalten, dann wäre der Ansatz nicht skalierbar. In meiner Dissertation habe ich mir deshalb überlegt, wie Geräte aussehen könnten, mit denen die physischen Eigenschaften verschiedener virtueller Objekte möglichst effektiv simuliert werden können“, sagt Zenner, der an der Graduiertenschule der Saarbrücker Informatik an der Universität des Saarlandes promoviert hat und nun an der Saar-Universität sowie am Deutschen Forschungszentrum für Künstliche Intelligenz forscht.
Shifty und Drag:on: zwei VR-Controller
Herausgekommen sind die Prototypen für zwei spezielle VR-Controller namens Shifty und Drag:on. VR-Controller sind Geräte, die von einem Benutzer in der Hand gehalten werden können, um durch eine entsprechende Tracking-Technologie Objekte in der virtuellen Realität zu steuern oder zu manipulieren.
Shifty ist ein stabförmiger Controller, in dem ein bewegliches Gewicht verbaut ist. Das Gewicht kann durch einen Motor entlang der Längsachse verschoben werden, sodass sich der Schwerpunkt und die Trägheit des Stabes ändert. „In Kombination mit entsprechenden Visualisierungen in der virtuellen Realität kann mit Shifty die Illusion erweckt werden, dass ein virtuelles Objekt länger oder schwerer wird“, erklärt Zenner. In Experimenten konnte er nachweisen, dass Objekte als leichter oder kleiner wahrgenommen werden, wenn sich das Gewicht in der Nähe der Hand des Nutzers befindet, und dass sie, gekoppelt mit dem entsprechenden visuellen Input, als länger und schwerer empfunden werden, je weiter sich das Gewicht im Stab vom Nutzer wegbewegte. „Das hängt vor allem mit Veränderungen der Trägheit des Controllers zusammen, denn das Gesamtgewicht ändert sich ja nicht“, erläutert Zenner. Die Forschungs- und Entwicklungsabteilung des Gaming-Riesen Sony experimentiert bereits mit diesem Konzept und zitiert André Zenners Arbeit bei der Entwicklung neuartiger VR-Controller.
Der zweite Controller Drag:on besteht aus zwei Flamenco-Fächern, die mithilfe von Servomotoren aufgefaltet werden können und so den Luftwiderstand des Controllers erhöhen. Sprich: Je weiter die Fächer aufgefaltet sind, desto mehr Kraft muss der Nutzer aufbringen, um den Controller durch die Luft zu bewegen. „Gepaart mit den richtigen visuellen Reizen kann mit Drag:on beispielsweise der Eindruck erzeugt werden, dass man gerade eine kleine Schaufel oder ein großes Paddel in der Hand hält oder dass man einen schweren Wagen schiebt und an einem schwergängigen Knopf dreht“, veranschaulicht Zenner.
Similarity und Colocation: zwei VR-Probleme
Mit den Controllern hat sich Zenner zunächst dem Ähnlichkeitsproblem (similarity problem) gewidmet. Dabei geht es darum, zu erreichen, dass sich virtuelle und echte Objekte möglichst ähnlich anfühlen. Im zweiten Teil seiner Arbeit beschäftigte er sich mit dem sogenannten colocation problem, also der Frage, ob sich das Proxy räumlich tatsächlich dort befindet, wo der Nutzer es in der virtuellen Realität sieht. Besonders herausfordernd: Da die Controller als Proxy für verschiedene virtuelle Objekte fungieren, muss beim Anwender die Illusion erweckt werden, dass er nach verschiedenen Objekten greift, obwohl er in Wirklichkeit immer dasselbe Proxy fassen wird.
Dazu machte sich der Forscher die bereits etablierte Methode der Hand Redirection zunutze. Wie der Name vermuten lässt, wird dabei die Bewegung der Hand in der virtuellen Realität umgelenkt, sodass der Nutzer denkt, er greife beispielsweise nach links, obwohl er die Hand gerade nach vorn ausstreckt. „Wir haben in Experimenten untersucht, ab welchem Punkt Nutzer merken, dass ihre Hand umgelenkt wurde. Unsere Ergebnisse zeigten, dass dieser Punkt schnell erreicht war, und so haben wir uns überlegt, wie wir die Handumlenkung besser verbergen können“, sagt Zenner.
Die Lösung: Er trickste das Gehirn aus, indem er die Umlenkung der Hand nur dann durchführte, wenn das Gehirn gerade blind für visuelle Veränderungen war – nämlich während des Blinzelns. Dazu entwickelte er zusammen mit einer von ihm betreuten Studentin die passende Software und nutzte die in vielen VR-Headsets verbauten Eye-Tracker. In Kontrollstudien konnte das Team dann zeigen, dass seine neuen Controller in Kombination mit Handumlenkungs-Algorithmen zu überzeugenderen VR-Wahrnehmungen führten als bisher möglich.
Beste Dissertation
Zenners Arbeit mit dem Titel „Advancing Proxy-Based Haptic Feedback in Virtual Reality“ wurde Mitte März bei der IEEE Conference on Virtual Reality and 3D User Interfaces in Orlando, Florida, prämiert. Sie erhielt dort den IEEE VGTC Virtual Reality Best Dissertation Award. Laut Angaben des IEEE wird der Preis jedes Jahr an den Autor oder die Autorin der herausragendsten Dissertation verliehen, die in den vorangegangenen zwei Kalenderjahren in den Forschungsbereichen der virtuellen und erweiterten Realität verteidigt wurde.
Insgesamt wurden zur 2024er-Auflage der Konferenz 16 Dissertationen eingereicht und von einem internationalen Expertenkomitee begutachtet. Betreut wurde die Arbeit von Prof. Dr. Antonio Krüger, CEO des Deutschen Forschungszentrums für Künstliche Intelligenz und Leiter des Ubiquitous Media Lab an der Universität des Saarlandes.
Bei den von Zenner entwickelten Controllern handelt es sich aktuell noch um Grundlagenforschung und sogenannte Proof of Concepts. Das heißt, anhand der Prototypen kann gezeigt werden, dass verschiedene Zustände des Controllers die Wahrnehmung unterschiedlicher VR-Objekte verbessern können. Konkrete Produkte, die diese Technologie benutzen, sind jedoch noch nicht auf dem Markt erhältlich.
