Wissenschaftler des Fraunhofer-Instituts für Nachrichtentechnik, Heinrich-Hertz-Institut (HHI) in Berlin haben eine Methode entwickelt, mit der man das realistische Abbild eines Menschen in eine virtuelle Welt übertragen kann. Dieses kann man von allen Seiten betrachten, sogar darum herum gehen wie um ein Hologramm im Film.
Dritte Dimension der VR
Genau an dieser Stelle stieß die Virtuelle Realität (VR) bisher an ihre Grenzen: Noch werden Personen durch künstliche dreidimensionale Modelle, sogenannte Avatare dargestellt, die man sieht, wenn man eine VR-Datenbrille aufsetzt. Allerdings mangelt es diesen künstlichen Figuren an naturgetreuem Aussehen und natürlicher Bewegung.
Eine andere Möglichkeit ist es, das Videobild einer Person in frontaler Ansicht in die VR-Datenbrille zu spielen. Um sie herum gehen kann man aber nicht. Dadurch wirkt die ganze Szene künstlich, wenn man sich durch die virtuelle Welt bewegt. Die Person dreht einem stets ihre zweidimensionale Front zu.
Kameras, die wie Menschen sehen
Um den dreidimensionalen Eindruck zu verbessern, haben Forscher des ein Kamerasystem entwickelt, mit dem sie die Person filmen. Kern dieses Systems ist eine Stereokamera: Wie der Mensch mit seinen zwei Augen, nimmt sie die Person mit zwei Objektiven auf. Dieses stereoskopische Sehen führt dazu, dass sich Entfernungen gut abschätzen lassen, weil beide Augen aus einem etwas anderen Winkel auf ein Objekt blicken. Dadurch ergibt sich der dreidimensionale Eindruck.
Um eine Person aus allen Richtungen im Detail aufzunehmen, benötigt man mehr als eine Kamera - 20 Stück werden am HHI laut Oliver Schreer, Leiter der HHI-Arbeitsgruppe Immersive Media & Communication, zur Darstellung des Menschen eingesetzt. Jede Kamera nimmt nur einen Teil der Person auf. Die Herausforderung besteht also darin, die einzelnen Kamerabilder so miteinander zu fusionieren, dass ein realistisches Gesamtbild entsteht.
Avatare menschlich machen
Zu dem System gehört mehr als nur die Kameratechnik. So haben die Forscher Algorithmen entwickelt, die aus den stereoskopischen Kamerabildern rasch Tiefeninformation zum Berechnen der 3D-Gestalt extrahieren können. Letztlich erzeugt der Computer aus den Kamerabildern ein virtuelles Modell des Menschen, das dann in die Szene übertragen wird. Die generierte 3D-Oberflächenstruktur der Person weist dabei viele Details wie Falten in der Kleidung auf. Dadurch wirkt dieses Modell in Aussehen und Bewegung natürlich und realitätsnah.
Kein Greenscreen mehr?
Scheer kann es sich vorstellen, das entwickelte System an verschiedenen Orten in kleinen Studios aufzubauen. „Filmproduzenten könnten es nutzen, um die Bewegung von Schauspielern einfacher als bisher in Filmszenen zu übertragen.“
Für gewöhnlich werden die Bewegungen von Schauspielern mit sogenannten Motion-Tracking-Verfahren eingefangen. Das Gesicht und der Körper des Schauspielers werden dafür mit kleinen Punkten markiert. Der Computer verfolgt die Bewegung der Punkte und überträgt diese auf das computergenerierte künstliche Abbild des Schauspielers – beispielsweise eines Actionschauspielers, der von Hochhaus zu Hochhaus springt.
Doch mit einzelnen Marker-Punkten können Motion Tracking-Verfahren Bewegungen und vor allem die feine Mimik nur sehr ungenau oder mit sehr hohem technischen Aufwand erfassen. Für die Computer-Grafiker bedeutet das viel Nacharbeit, bis die Szene realistisch wirkt.
