Wenn das Smartphone aufs Lächeln hört Handy per Mimik steuern statt mit Gesten

Die Steuerung von über Kopf- und Gesichtsgesten wie Augenzwinkern, Lächeln oder Nicken wollen Wissenschaftler des Fraunhofer Instituts ermöglichen.

12.07.2017

Touchscreens und Gestensteuerung sind passé: Ein neues Device steuert Smartphones über die Mimik des Besitzers - die es raushören kann.

Im Alltag gibt es viele Situationen, in denen sich das Smartphone nur schwer per Touchscreen bedienen lässt - bereits das Tragen von Handschuhen erschwert die Steuerung. Wissenschaftler des Fraunhofer-Instituts für Graphische Datenverarbeitung IGD suchen daher nach alternativen Konzepten zur Steuerung mobiler Geräte. Naheliegend ist die Steuerung via Sprache. Aber auch hier sind Grenzen gesetzt: durch Umgebungslärm oder Mitmenschen, die sich durch die Sprachsteurung gestört fühlen.

Das Lächeln im Ohr messen

Die Lösung der Fraunhofer-Experten: Die Steuerung über Kopf- und Gesichtsgesten wie Augenzwinkern, Lächeln oder Nicken. Aber auch hier gibt es Einschränkungen. So sind zum Beispiel Systeme, die Gesten mithilfe von Sensoren direkt im Gesicht ablesen, zwar sehr genau und in der Lage, eine große Zahl an Gesten zu erkennen. Allerdings sind sie derart auffällig und unangenehm zu tragen, dass sie sich nicht für den täglichen Gebrauch in der Öffentlichkeit eignen.

Dafür bedarf es möglichst unauffälliger Systeme wie zum Beispiel EarFS. Dabei handelt es sich um einen speziellen Ohrstöpsel, der die Muskelströme und Verformungen des Ohrkanals misst, die bei Gesichtsbewegungen auftreten. Der Sensor registriert bereits kleinste Bewegungen im Gesicht durch die Art, wie sich die Form des Ohrkanals verändert, und misst Muskelströme, die bei der Bewegung des Gesichts oder des Kopfes entstehen.

Ein Verstärker für die kleinsten Regungen

„Die Herausforderung war, dass diese Ströme und Bewegungen mitunter sehr klein sind und verstärkt werden müssen“, erklärt Denys Matthies, Wissenschaftler am Fraunhofer IDG. „Außerdem dürfen die Sensoren sich nicht von anderen Bewegungen des Körpers, zum Beispiel den Erschütterungen beim Gehen oder von externen Interferenzen stören lassen. Dafür wurde eine zusätzliche Referenzelektrode an das Ohrläppchen angebracht, die die von außen kommenden Signale registriert.“

Die im Inneren des Ohrs erfassten Signale werden mit den von außen kommenden Signalen abgeglichen – das verbleibende Nutzsignal ermöglicht eine eindeutige Gesichtsgestenidentifizierung, selbst wenn der EarFS-Träger sich bewegt.

Ohrstöpsel gegen Sekundenschlaf

EarFS ermöglicht nicht nur Mikrointeraktionen mit dem Smartphone wie etwa das Annehmen und Ablehnen von Telefonanrufen oder die Steuerung des Music-Players.

Die Auswertung der Gesichtsbewegungen erlaubt auch Rückschlüsse auf Müdigkeit, Anstrengung und andere Gemütszustände des Nutzers. Dadurch könnten Smartphones beispielsweise Autofahrer warnen, wenn verstärkt Zeichen von Müdigkeit und Erschöpfung registriert werden, oder sich automatisch lautlos stellen, wenn ihr Besitzer hoch konzentriert arbeitet.

Wenn Maschinen jeden Wunsch von den Ohren ablesen

Denkbar ist der Einsatz von EarFS auch im medizinischen Bereich. Zum Beispiel könnte sie Menschen mit Locked-in-Syndrom helfen, leichter zu kommunizieren, indem sie ihnen ermöglicht, Computer mit Gesichtsbewegungen zu steuern. Doch damit ist das Potenzial von EarFS noch lange nicht erschöpft, meinen die Wissenschaftler.

„Das Differential Amplification Sensing, also das Verstärken von Muskelströmen und Ohrkanalverformungen bei gleichzeitigem Herausfiltern von externen Signalen, füllt eine Forschungslücke“, so Matthies. „Mit der Technologie können wir auch an anderen Stellen des Körpers Aktivitäten ablesen und von externen Signalen trennen: Dies eröffnet uns weitere Einsatzmöglichkeiten, darunter die komplementäre Steuerung von Maschinen in der Industrie 4.0.“

Bildergalerie

  • Bild: Fraunhofer IDG

Verwandte Artikel