3D-Vision Intelligente Automatisierung mit 3D-Kameras

Das Design-in einer 3D-Kamera in Kundenanwendungen folgt typischerweise drei wesentlichen Schritten, die wir in den folgenden Abschnitten beschreiben wollen:

• Evaluierung der Technologie

• Prototyp der Anwendung oder des Produkts

• Start der Serienproduktion

Abhängig von der Kundenanwendung können verschiedene 3D-Technologien in Frage kommen. Die etablierten technologischen Optionen auf dem Markt sind Stereo Vision, Time-of-Flight (ToF), Laser und Lidar.

Time-of-Flight

ToF ist zwar derzeit die günstigste Möglichkeit der 3D-Vision, weist aber Leistungsdefizite bei der Erkennung von 90-Grad-Winkeln, Problemen mit direktem Sonnenlichteinfluss und wechselseitiger Beeinflussung auf, wenn sich mehrere ToF-Kameras in der Nähe befinden. Daher ist diese Technologie laut Framos eine relativ kostengünstige Möglichkeit, 3D-Daten zu erzeugen, aber sie ist nicht ideal für Mehrkamera-Setups oder Außenumgebungen.

Laser und Lidar

Die Optionen Laser und Lidar basieren beide auf dem Prinzip, die Entfernung über die Zeit zu messen, die das Licht benötigt, um eine bestimmte Entfernung zurückzulegen. Laserstrahlen streuen sequentiell, und für jeden einzelnen Punkt, auf den der Laser gerichtet ist, wird der Abstand berechnet.

Mit dieser Technologie können hochpräzise Tiefenkarten erstellt werden; allerdings ist diese Methode sehr teuer. Ähnlich wie ToF hat die Technologie außerdem Probleme mit direktem Sonnenlicht und dem Einfluss anderer Sensoren.

Stereo Vision

Die dritte wichtige Technologie ist Stereo Vision. Sie basiert auf dem Prinzip der Triangulation, ähnlich dem menschlichen Sehvermögen, mit zwei Sensoren als Auge und einem bekannten Abstand dazwischen. In beiden Sensoren werden ähnliche Pixel erkannt, und die Disparitätsverschiebung zwischen diesen Pixeln wird unter Verwendung des Abstands der Stereokameras berechnet.

Dieser Algorithmus ist sehr rechenintensiv, daher sind Kameras mit integriertem Processing zur Berechnung der Pixelanpassung am empfehlenswertesten. Die Stereo-Vision-Technologie hat typischerweise einige Probleme mit ebenen Oberflächen wie weißen Wänden, bei denen der Algorithmus keine passenden Pixel findet. Aus diesem Grund sollten nur Stereokameras mit einem Lichtprojektor und Bildsensoren im IR-Spektrum in Betracht gezogen werden.

Durch Anwendungen im Consumer-Bereich und speziell entwickelte Chips für den Stereo-Matching-Algorithmus ist die Stereo-Vision-Technologie in den letzten Jahren sehr preisgünstig geworden. Mittlerweile ist sie „von der Stange“ in sehr guter Qualität erhältlich.

Verschiedenartige Anwendungen stellen unterschiedliche Anforderungen an die Technologie. Framos empfiehlt Stereo Vision für die meisten Anwendungen auf dem Markt, die keine extrem hohe Genauigkeit oder Zertifizierung für die Sicherheit oder Messung erfordern.

In der Evaluierungsphase kann es sehr hilfreich sein, mehrere Sensoren verschiedener Technologien zu kaufen, um sich für den geeignetsten Sensor zu entscheiden. Systemintegratoren oder Value-Added-Distributoren können dazu beraten und bei der individuellen Technologiebewertung helfen.

Prototyp der Applikation oder des Produktes

In dieser Phase sollte die grundsätzliche Entscheidung für die Technologie bereits getroffen sein. Nun muss diese in die Anwendung oder das Produkt integriert werden.

In diesem Schritt werden 3D-Daten aus dem Sensor extrahiert und auf dem Host-System verarbeitet, das die Anwendung steuert. Auf dem Hostsystem kann die Kundenanwendung prototypisch realisiert werden. Für die Anwendungsentwicklung empfehlen sich Tools wie das Intel RealSense SDK 2.0. Es bietet plattformübergreifende Entwicklung und viele Wrapper, wie den ROS-Wrapper, der häufig für Roboteranwendungen verwendet wird.

Es sind mehrere Plattformen für die Implementierung der Anwendung auf dem Hostsystem möglich, darunter Linux, Windows und Android. Aus Gründen der Langzeitstabilität des Betriebssystems ist immer die Verwendung von Linux empfehlenswert. Während des Prototypings müssen die besten Kameraeinstellungen für die Generierung der Tiefenkarte gefunden werden.

Als Beispiel werden die optimalen Einstellungen für eine Stereo-3D-Kamera, wie beispielsweise die D435e, gezeigt. Zu den wichtigsten Einstellungen gehören:

• Auflösung: Optimal sind 848 x 480 Pixel für die D435e (was niedriger ist als die maximale Auflösung des Sensors).

• Belichtung: Die Bilder dürfen nicht unterbelichtet sein. Dies wird in den Rohbilddaten der Tiefensensoren ersichtlich.

• Rekalibrieren: Die Tiefenleistung der Kamera kann an einer weißen Wand getestet werden, dort sollte das Tiefenbild sehr dicht sein. Bei geringer Tiefenleistung muss die Kamera neu kalibriert werden.

• Arbeitsabstand: Bei Stereo-Vision-Technologie nehmen Fehler in der Tiefenerfassung mit der Entfernung zu. Das zu erkennende Objekt sollte sich daher so nah wie möglich an der Kamera befinden. Der Mindestabstand der D435e zu einem Objekt – bei einer Auflösung von 848 x 480 Pixeln – beträgt etwa 17 cm.

• Sub-Sampling verwenden: Die auf dem Host-Gerät zur Verfügung stehenden Post-Processing-Optionen verbessern das Tiefenbild. Dazu gehören Sub-Sampling, Zeit-Filter, Kantenerhaltung und Lochfilterung. Diese Algorithmen gleichen Werte basierend auf benachbarten Pixeln und Zeit aus.

Serienproduktion

Wenn die optimalen Einstellungen der Tiefenkamera für die jeweilige Anwendung gefunden sind und die Anwendung getestet und kalibriert ist, kann die Serienproduktion beginnen. Beim Start der Massenproduktion gibt es einige Dinge zu beachten, um sicherzustellen, dass die 3D-Anwendung oder das 3D-Produkt reibungslos laufen können.

Alle relevanten Kameraeinstellungen, die sich für die Anwendung als am geeignetsten erwiesen haben, müssen in den Produktivcode für das Produkt aufgenommen werden. Zukünftige Firmware-Updates müssen auf dem Gerät der Anwendung oder des Produkts implementiert werden können. Algorithmen zur Tiefenberechnung und Kalibrierung entwickeln sich weiter, was sich positiv auf die Anwendung auswirken wird.

Eine gute Wärmeleitfähigkeit ist wichtig. Da 3D-Kameras viel Wärme ableiten, sollte das umgebende Material eine hohe Wärmeleitfähigkeit aufweisen, wie sie etwa verschiedene Metalle haben. 3D-Kameras können sich bei thermischer oder mechanischer Belastung verstellen. Zudem müssen die Kameras eine Kalibrierungsroutine durchlaufen können, wenn sie in der Anwendung oder dem Produkt implementiert sind.

Eine stabile Stromversorgung ist ein weiteres Qualitätskriterium für die 3D-Kamera innerhalb einer Anwendung. Insbesondere bei Außenanlagen können Spannungsschwankungen die Funktionalitäten der Kameras negativ beeinflussen. Ein möglicher Grund für ein schlechtes Tiefenbild kann auch Schmutz auf der Frontscheibe der Kamera sein. Es muss deshalb möglich sein, die Kamera während des Betriebs zu reinigen.

Fazit

Die einfach zu bedienende 3D-Technologie schafft neue Anwendungsbereiche für Verbraucher und die Industrie. Fast jede Branche kann von innovativen Produkten mit integrierter (3D-)Vision profitieren.

Dazu gehören alle Arten von Pick-&-Place-Aufgaben, Retail-Analytik und die industrielle Automatisierung sowie autonome Lagernavigation und Infrastruktur-Management. Nicht nur, dass Maschinen und Geräte buchstäblich das Sehen lernen und selbständig reagieren können, die Vision-Technologie ermöglicht auch strategische Entscheidungen und viele neuartige Geschäftsmodelle, die die Lebensweise der Menschen und die Art, wie Werte geschaffen werden, signifikant verändern.

Yole Dèveloppement prognostiziert, dass die 3D-Bildverarbeitung bis 2022 um 38 Prozent auf über neun Milliarden US-Dollar Umsatz wachsen wird, nicht nur durch Verbraucheranwendungen, sondern auch durch industrielle und kommerzielle Anwendungen, unterstützt durch technologischen Fortschritt und sinkende Preise. Und in Zukunft werden 3D-Karten wertvoller sein als Google Maps heute.

Es gibt mehrere Technologien, die für die verschiedenen Anwendungen und die 3D-Datenerfassung geeignet sind. Diese unterscheiden sich jeweils durch die Erfassungsmethode, Präzision und die Kosten. Der Schlüssel für eine erfolgreiche Systemimplementierung liegt darin, zunächst die passende Technologie für die gewünschte Anwendung zu finden. Sobald die Übereinstimmung gefunden ist, müssen das Prototyping und die Serienproduktion geplant werden, um beste Ergebnisse beim Design-in zu erzielen.

Die Anschaffungskosten, der Entwicklungsaufwand und die benötigte Zeit für Implementierung und Kalibrierung sind mit off-the-shelf verfügbaren 3D-Kameras deutlich gesunken – oft sogar verbunden mit einer verbesserten Bildqualität und Pre-Processing onboard, so Framos. Auch für industrielle Umgebungen gibt es mittlerweile Modelle, die direkt aus der Packung und in Plug-&-Play-Modalität nutzbar sind.