Millimeterwellen-Sensoren Beobachten, ohne die Privatsphäre zu verletzen

Die Millimeterwellen-Technik (mmWave) ist eine Sensing-Lösung, die in der Lage ist, die Detektierung, Ortung und Verfolgung von Personen durch die gerade angeführten Systeme zu revolutionieren. Die Besonderheit der mmWave-Sensoren von Texas Instruments (TI) besteht darin, dass sie die Entfernung, die Geschwindigkeit und den Winkel von Objekten unabhängig von der jeweiligen Umgebung erfassen können und gleichzeitig die Ressourcen für die chipinterne Verarbeitung anspruchsvoller Algorithmen mitbringen.

Mit diesen Eigenschaften bieten sie sich für Präsenzerkennungs- und Bewegungssensorsystemen in Gebäuden, Fabriken und automatisierten Städten an. Denn sie erzeugen weniger Fehlerkennungen, erreichen bezüglich der Ortung und Richtungserkennung eine hohe Genauigkeit und wahren die Privatsphäre. Das alles geschieht zudem in einem einzigen Chip für die Verarbeitung an der Edge.

Heutiger Stand der Technik

Derzeitige Lösungen zur Präsenzerkennung und Personenverfolgung arbeiten mit Techniken wie etwa PIR (passive Infrarotsensoren), optischen Kameras, aktiver Infrarottechnik wie etwa Lidar oder 3D-ToF (Time of Flight) sowie Mikrowellen im Bereich von 10 bis 24 GHz. In Anbetracht der steigenden Erwartungen in Sachen Security, Safety und Effizienz muss die nächste Sensorgeneration jedoch sowohl präzise und zuverlässige Sensorik liefern als auch die dabei entstehenden, gängigen Herausforderungen bewältigen. Lassen Sie uns nun die Herausforderungen bei Sensoren betrachten, die zum Detektieren von Personen und zur Präsenzerkennung dienen.

Fehlerkennung mit harmlosen und gravierenden Folgen

Erkennungsfehler gehören zu den größten Herausforderungen, mit denen man bei Sensoren heute konfrontiert wird. Man versteht hierunter die falsche oder ausbleibende Reaktion auf ein Ereignis (in Form eines Alarms, eines System-Triggersignals und so weiter). Dabei sind zwei Arten von Fehlerkennungen möglich, nämlich eine falsch negative oder eine falsch positive Erkennung. Verursacht werden diese Fehler durch bestimmte Sensorausfälle oder Mängel der verwendeten Technik.

Eine falsch negative Reaktion liegt vor, wenn das Sensorsystem nicht auf ein als wichtig erachtetes Ereignis reagiert. Bei einer falsch positiven Reaktion dagegen spricht der Sensor auf ein Ereignis an, das als nicht wichtig eingestuft wird. Abhängig von dem System, in welches das Sensorsystem eingebunden ist, kann die Falsch-Positivreaktion eines Sensors entweder eine harmlose Konsequenz hervorrufen, wie etwa das ungewollte Einschalten einer Leuchte, oder aber eine gravierendere Folge haben, die die Nachverfolgung durch Wachpersonal erfordert.

Falsch-Negativmeldungen – Bewegungsempfindlichkeit
Ist es Ihnen auch schon einmal passiert, dass Sie sich noch spät in Ihrem Büro aufhielten und plötzlich das Licht ausging, weil Sie sich nicht genügend bewegt haben, um vom Präsenzdetektor erkannt zu werden? Solche falschen Negativmeldungen sind bei PIR-Sensoren an der Tagesordnung, weil sie für geringfügige Bewegungen nur unzureichend empfindlich sind. In geschlossenen Räumen sitzen Menschen in der Regel still – abgesehen von kleinen Bewegungen wie dem Schreiben auf der Computertastatur. Oftmals wechseln sie sogar nur gelegentlich ihre Position oder atmen auch einfach nur. Für eine präzise Präsenzerkennung aber kommt es darauf an, dass auch kleinste Bewegungen dieser Art erkannt werden.

Falsch-Positivmeldungen – Umgebung
Eine häufige Ursache von Falsch-Positivmeldungen ist die Umgebung: Licht, Niederschlag, Temperatur, Feuchtigkeit oder Luftbewegungen können das ungewollte Ansprechen eines Sensors auslösen. Beispiele hierfür sind unter freiem Himmel installierte Kameras oder PIR-Sensoren, bei denen direktes Sonnenlicht oder Niederschlag den Sensor so „blenden“ kann, dass er eine Bewegung registriert, die es in Wirklichkeit nicht gibt.

Falsch-Positivmeldungen – Bewegungsrichtung
Ein weiteres Beispiel für eine falsche Positivmeldung ist die mangelnde Fähigkeit, die Richtung einer sich bewegenden Person präzise zu erkennen. Denken Sie nur einmal an automatische Türen. Wie häufig passiert es, dass sich eine Ladentür öffnet, obwohl man nur an ihr vorbeigeht? Dies vergeudet unnötig Energie, denn der Motor der Tür läuft ungewollt, und klimatisierte Luft kann aus dem Laden entweichen. Die Fähigkeit zum Erkennen der Richtung, in die eine Person gehen will, anstatt sich nur auf die Nähe der Person zu stützen, wird eine entscheidende Voraussetzung dafür sein, die Effizienz künftiger Sensing-Systeme zu verbessern.

Falsch-Positivmeldungen – präzise Ortung
Auch die ortsbasierte Detektierung kann Falsch-Positivmeldungen generieren. Als Beispiel lässt sich hier ein optisches Kamerasystem anführen, das zur Überwachung und Bewegungserkennung in einem geschützten Bereich dient. Eine Falsch-Positivmeldung liegt beispielsweise vor, wenn wegen einer Bewegung, die nicht innerhalb, sondern knapp außerhalb des überwachten Bereichs registriert wurde, ein Wächter alarmiert wird. Die Fähigkeit zur exakten Bestimmung der Position eines sich bewegenden Objekts kann entscheidend für die Beurteilung sein, ob sich ein bewegliches Objekt inner- oder außerhalb der interessierenden Zone befindet.

Falsch-Positivmeldungen – Reaktion auf nicht-menschliche Objekte
Bei den meisten intelligenten Automatisierungssystemen geht es in erster Linie um die Detektierung und Ortung von Personen und nicht von anderen Objekten. Leider jedoch können bewegliche Objekte wie etwa schwankende Bäume, Tiere oder vorbeifahrende Autos dazu führen, dass Bewegungserkennungssysteme ansprechen und fälschlicherweise eine Person registrieren. Zur Lösung dieses Problems sollte ein Sensor Objekte nach ihrer Größe und ihren Bewegungseigenschaften filtern oder klassifizieren können.

Probleme bei der Einführung von Sensing-Lösungen

Da bei den Automatisierungssystemen ein stetiger Trend zu mehr Konnektivität und Intelligenz zu beobachten ist, sensibilisiert die Implementierung von Sensoren in öffentlichen und privaten Bereichen die Menschen zunehmend für die Möglichkeit, die persönliche Identität festzustellen. Ein wichtiger Vorteil wird deshalb die Möglichkeit sein, aussagefähige Daten zu erfassen und gleichzeitig die Anonymität zu wahren.

Zudem kann die Lösungskomplexität für eine Sensing-Technologie ein entscheidendes Einstiegshindernis für die Gebäudeautomation darstellen. Umgekehrt ausgedrückt: Wenn sich sicherstellen lässt, dass eine Lösung bezüglich des Hard- und Softwaredesigns einfach ist, ist eine deutliche Verringerung der Investitionen möglich, die die Anwender tätigen müssen, um die Technologie auf den Markt zu bringen und alle Grenzfälle abzudecken, mit denen ein Sensorsystem zurechtkommen muss.

Das Verlagern der Verarbeitung und Entscheidungsfindung an die Edge trägt dazu bei, das Hard- und Softwaredesign für Gebäudeautomationssysteme zu vereinfachen. Werden Entscheidungen an der Sensor-Edge gefällt, können die Anwender einfachere Systemdesigns und Kostenersparnisse erreichen, weil der Datenübertragungs- und Datenspeicherbedarf ebenso minimiert wird wie die Notwendigkeit, die Entscheidungen von einem zentralen System oder einer zentralen Person fällen zu lassen.

Eine entscheidende Herausforderung für Sensoren ist die Tatsache, dass im Umfeld befindliche Objekte häufig die direkte Sichtverbindung zu interessierenden Objekten verstellen können. Wände, Pflanzen, undurchsichtiges Glas und weitere Objekte blockieren Sensoren, die auf optischen Techniken basieren, und schränken letztendlich die Möglichkeiten zur Installation, Platzierung und Verwendung solcher Sensoren ein. Hier haben Sensoren, die auf Hochfrequenztechnik und anderen Techniken beruhen, einen klaren Vorteil, da sie durch bestimmte Materialien hindurch „sehen“ und damit neue Implementierungsmöglichkeiten erschließen können.

Die mmWave-Technik

Die mmWave-Technik von TI und die Sensorbausteine der IWR-Familie bringen eine Reihe von Eigenschaften mit, die in Vorteilen für Gebäudeautomationsanwendungen resultieren. Unter anderem wird die Häufigkeit von Fehldetektierungen reduziert.

mmWave ist zudem die einzige Sensing-Technik, die drei Datensätze liefern kann, nämlich Entfernung, Geschwindigkeit und Winkel. Mit genau dieser Datenkombination sind mmWave-Sensoren in der Lage, die Position von Personen und ihre Bewegungsrichtung zu erfassen. Die Geschwindigkeitsdaten etwa befähigen das System zum Ignorieren unbeweglicher Objekte. Menschen aber bewegen sich immer. Selbst wenn sie stehen, atmen sie oder machen kleinste Bewegungen, sodass sie von mmWave-Sensoren immer erkannt werden.

Die Besonderheit der mmWave-Sensoren besteht in ihren integrierten Verarbeitungskernen zur Echtzeitverarbeitung der erfassten Entfernungs-, Geschwindigkeits- und Winkeldaten. Außerdem implementieren sie anspruchsvolle Algorithmen für verschiedene Fähigkeiten wie das Verfolgen der Bewegungshistorie einer Person, zur Aktivierung von Systemen auf der Basis der Position oder Bewegungsrichtung einer Person oder zum Klassifizieren von Objekten hinsichtlich ihrer Größe und Bewegung.

mmWave-Sensoren senden und empfangen HF-Signale und sind von Natur aus unempfindlich gegenüber Umwelteinflüssen wie Umgebungslicht, Temperatur, Feuchtigkeit, Luftströmungen und sogar Niederschlägen. Sie bewähren sich deshalb im Indoor- und Outdoor-Bereich, wo Anwendungen bei unterschiedlichsten Umgebungsbedingungen gleichbleibende Erfassungseigenschaften bieten müssen. Diese Resilienz bedeutet überdies, dass mmWave-Sensoren keine komplexe Software benötigen, um mit umgebungsbedingten Grenzfällen wie beispielsweise Schatten oder Wetter zurechtzukommen.

In Anwendungen, in denen es auf den Schutz der Privatsphäre ankommt, wie etwa in Toiletten, Umkleideräumen oder Fitnesscentern, kann es Bedenken gegen die Verwendung von Kameras und anderen optikbasierten Lösungen geben. Da die mmWave-Sensoren jedoch nicht mit Licht, sondern mit HF-Signalen arbeiten, liefern sie keinerlei Informationen, die Rückschlüsse auf die Identität der Personen zulassen. Außerdem können die Sensorsignale Materialien verschiedenster Art wie etwa Trockenbauwände, Sperrholz und Kunststoff durchdringen, was besondere Anbringungsmöglichkeiten beispielsweise hinter Wänden und anderen Objekten eröffnet, um eine Beschädigung der Anlagen zu verhindern und eine ansprechende Formgestaltung zu ermöglichen.

Bewegungserkennung und Personenzählung

Das Referenzdesign People Counting and Tracking Reference Design Using mmWave Radar Sensor veranschaulicht die Verwendung der mmWave-Sensoren von TI für die Personenzählung im Innen- und Außenbereich. Es basiert auf dem Sensor IWR1642, der HF-, Analog- und Digital-Verarbeitungskerne für die Chip-interne Ausführung von Algorithmen enthält und damit die Implementierung eines Single-Chip-Personenzählsystems erlaubt, das Menschen in bis zu 14 m Entfernung detektieren und verfolgen kann.

Das Referenzdesign besteht aus Hard- und Softwarekomponenten. Der Hardwareteil basiert auf dem IWR1642 Evaluation Module (EVM), um unabhängig von der Antenne ein Sichtfeld von 120 Grad horizontal und 30 Grad vertikal zu erzielen. Was die Software betrifft, enthält das Referenzdesign zwei Grundkonfigurationen für den Betrieb bei 6 und 14 m sowie spezielle Algorithmen, die die Auswirkungen statischer Objekte entfernen und die Bewegungshistorie mehrerer Personen verfolgen können.

Das Referenzdesign implementiert zwei wichtige Algorithmen:

• Der Static-Clutter-Removal-Algorithmus dient in einer Szenerie zum Ignorieren von Objekten, die sich nicht bewegen. Der Algorithmus wertet die Geschwindigkeitsinformationen des mmWave-Sensors aus und filtert damit Objekte aus, die als Bestandteil des statischen Hintergrunds eingestuft werden, wie Wände und Möbelstücke. Da Menschen zu den beweglichen Objekten zählen, gibt der Algorithmus den übergeordneten Applikationen und Algorithmen die Möglichkeit zum einfachen Ignorieren statischer Objekte, um zur Verringerung von Detektierungsfehlern beizutragen.

• Der Group-Tracking-Algorithmus wird zur Separierung und Verfolgung mehrerer Objekte gleichzeitig verwendet. Er überwacht die Historie der Punktwolke über die Zeit, um die Größe der beweglichen Objekte in einer Szenerie zu messen, die Position dieser Objekte zu bestimmen und die Bewegungs- und Positionshistorie des betreffenden Objekts im Lauf der Zeit zu verfolgen. Hierdurch sind übergeordnete Applikationen in der Lage, die genaue Position und Bewegungsrichtung einer Person zu ermitteln, die sich im betreffenden Umfeld bewegt.

Diese Algorithmen sind in einer exemplarischen Verarbeitungskette implementiert, die als Software auf dem IWR1642 läuft. Die Verarbeitungsketten-Implementierung und die zuvor erwähnten Algorithmen enthalten abstimmbare Parameter, mit denen sich die Software an unterschiedliche Anwendungen und Parameter anpassen lässt. Die Anwender können zudem mehrere Einstellungen ausprobieren, um in verschiedenen Umfeldern näher an das angestrebte Performanceniveau zu kommen.

In verschiedenen Szenarien getestet

TI hat das Referenzdesign in unterschiedlichen Umgebungen getestet, so zum Beispiel in einem Besprechungsraum, einem Korridor, einer offenen Bürofläche und in einem Aufzug. Dadurch ließ sich zeigen, dass mithilfe unterschiedlicher Einstellungen die Leistungsfähigkeit gewahrt werden konnte. Die Einstellungen sind als Beispiele in der Chirp-Datenbank im mmWave Industrial Toolbox in TI Resource Explorer vorhanden.

Der TI Resource Explorer dokumentiert darüber hinaus Experimente, die das Referenzdesign im Einsatz unter eher ungewöhnlichen Umgebungsbedingungen zeigen. Beim Verifizieren der Performance bei Nebel etwa zeigte sich, dass die mmWave-Sensoren Personen auch in einem Szenario detektierten und orten können, das durch Nebel oder Rauch geprägt ist.

Verifiziert wurde die Leistungsfähigkeit auch in Fällen, in denen der Sensor hinter verschiedenen Werkstoffen wie etwa Plexiglas, Sperrholz oder Trockenbauwand verborgen war. Dabei wurde deutlich, dass mmWave-Sensoren auch in Systeminstallationen funktionsfähig sind, in denen die Sensoren zum Schutz vor Vandalismus oder Umwelteinflüssen oder aus Gründen der Privatsphäre hinter Objekten angebracht werden müssen.