Martin Stiborski ist mit diesem Beitrag im E&E-Kompendium 2020 als einer von 100 Machern der Elektronikwelt vertreten. Alle Beiträge des E&E-Kompendiums finden Sie in unserer Rubrik Menschen.
AI on the Fly stellt Rechen- und Speicherressourcen für den gesamten AI-Workflow bereit, nicht im Rechenzentrum, sondern an der Edge nahe der Datenquellen. Für dieses neue KI-Paradigma entstehen Anwendungen in verschiedenen Bereichen. Dazu zählt neben präventiver Medizintechnik oder industrieller Automation vor allem das autonome Fahren.
Die elementaren Eigenschaften dieser Lösungen sind die Erfassung hoher Datenraten, die Speicherung mit hoher Geschwindigkeit und geringer Latenz sowie effizientes hochleistungsfähiges KI-Training und Inferenz-Computing. Diese Elemente sind nahtlos mit dem PCI-Express-System mit entsprechender Speicherzuordnung verbunden. Entsprechend angepasst und miteinander verbunden erfüllt es die Umgebungsanforderungen von Installationen vor Ort.
Aufbau von AI on the Fly
AI on the Fly besteht aus drei modularen Subsystemen: Datenaufnahme-, Datenspeicherungs- und Rechen-Engines. Sie unterstützen High-Speed-Komponenten wie Datenerfassungshardware, NVMe-SSD-Speicher sowie GPU- und FPGA-Rechenbeschleuniger.
PCIe-Schnittstellen sorgen für eine flexible Skalierung bei gleichzeitig hoher Bandbreite und geringer Latenz. Das Datenaufnahmesystem muss in der Lage sein, die riesigen Datenmengen zu absorbieren, die kontinuierlich von den Sensoren einfließen. Außerdem müssen die Daten für eine effiziente Übermittlung, sowohl an die Festkörperspeicher als auch an die Rechenmodule, verarbeitet werden.
Der PCIe-Funktionsumfang ermöglicht die simultane Mehrfachübertragung der Daten auf weitere Subsysteme mithilfe von RDMA-Übertragungen, um einen Systemspeicher-Engpass ohne zusätzliche Netzwerkprotokoll-Latenz zu vermeiden. Die Rechenfunktionen umfassen maschinelle Lernaufgaben, Datenanalyse, Deep-Learning-Trainingsaufgaben und Inferenz-Engines. Für jedes dieser Elemente sind in der Regel spezielle GPU-Ressourcen erforderlich. AI on the Fly kombiniert diese Elemente in flexiblen Bausteinkomponenten, die sich an sämtliche Anforderungen anpassen lassen.
KI-Tests an Fahrzeugflotte
Wir arbeiten mit Branchenführern und unserer Muttergesellschaft One Stop Systems zusammen, um Technologien für autonome Fahrzeugentwicklungsprogramme sowie High-Speed-Datenerfassung bereitzustellen. Unsere Entwicklungspartner stützen sich bei der Konstruktion skalierbarer PCI-Express-basierter Systeme auf die Erfahrung von OSS. Diese kombinieren Sensordaten-Subsysteme mit hoher Bandbreite, NVMe-Speicher mit geringer Latenz und hochleistungsfähige Multi-GPUs in speziellen robusten Formfaktoren.
Für die autonom fahrende Entwicklungsflotte eines Netzwerktransportunternehmens wurden 150 Fahrzeuge mit AI-on-the-Fly-Komponenten ausgestattet. Diese Flotte wird verwendet, um Daten zu sammeln, die für die Entwicklung und den Test der KI-Algorithmen erforderlich sind, die schließlich in den Nutzfahrzeugen eingesetzt werden.
In diesem Fall ist das AI-on-the-Fly-System an eine Vielzahl von Sensoren im Auto gebunden. Diese sind über redundante 50-Gbit/s-Ethernet-Verbindungen zum Speichersubsystem zusammengefasst und werden dann direkt mit Multi-GPU-Machine-Learning-Trainingssystemen sowie Inferenzmaschinen verbunden. Das gesamte System befindet sich im Kofferraum des jeweiligen Kfz.
