Um dem rasanten Anstieg der künstlichen Intelligenz (KI) am Rande des Netzwerks (Edge) und den damit verbundenen Inferenzalgorithmen zu begegnen, entwickelt Intelligent Hardware Korea (IHWK) eine neuromorphe Rechenplattform für neurotechnologische Geräte und feldprogrammierbare neuromorphe Geräte. Microchip Technology unterstützt über seine Tochtergesellschaft Silicon Storage Technology (SST) die Entwicklung dieser Plattform durch ein Evaluierungssystem für seine neuromorphe Speicherlösung SuperFlash memBrain. Diese basiert auf Microchips bewährter SuperFlash-Technologie für nichtflüchtige Speicher (NVM) und ist für die Durchführung von Vektor-Matrix-Multiplikation (VMM) für neuronale Netze über einen analogen In-Memory-Rechenansatz optimiert.
Neuromorphe Rechenplattform für Edge-KI
Das memBrain-Evaluierungskit ermöglicht IHWK, die Leistungsfähigkeit seiner neuromorphen Rechenplattform für die Ausführung von Edge-Inferenzalgorithmen zu demonstrieren. Ziel ist die Entwicklung einer äußerst stromsparenden, analogen Verarbeitungseinheit (APU) für Anwendungen wie generative KI-Modelle, autonome Fahrzeuge, medizinische Diagnose, Sprachverarbeitung, Sicherheit/Überwachung und kommerzielle Drohnen.
Da aktuelle neuronale Netzmodelle für Edge-Inferenz an die 50 Millionen oder mehr Synapsen (Gewichte) für die Verarbeitung benötigen, ist es schwierig, über genügend Bandbreite für den Off-Chip-DRAM zu verfügen, der für rein digitale Lösungen erforderlich ist. Damit kommt es zu einem Engpass bei der Berechnung neuronaler Netze, der die gesamte Rechenleistung drosselt. Im Gegensatz dazu speichert die memBrain-Lösung die synaptischen Gewichte im On-Chip-Floating-Gate im stromsparenden Sub-Threshold-Modus und verwendet dieselben Speicherzellen zur Durchführung der Berechnungen. Damit verbessern sich die Energieeffizienz als auch die Systemlatenz erheblich. Im Vergleich zu herkömmlichen digitalen DSP- und SRAM/DRAM-basierten Ansätzen ist der Stromverbrauch pro Inferenzentscheidung 10- bis 20-mal geringer, und die Gesamtstückliste lässt sich erheblich verringern.
Stromsparende Accelerated Processing Unit (APU)
Bei der Entwicklung der Accelerated Processing Unit (APU) arbeitet IHWK auch mit dem Korea Advanced Institute of Science & Technology (KAIST), Daejeon, für die Geräteentwicklung und der Yonsei-Universität, Seoul, für die Unterstützung beim Gerätedesign zusammen. Es wird erwartet, dass die endgültige APU die Algorithmen auf Systemebene für die Inferenz optimiert und mit 20 bis 80 TeraOPS pro Watt arbeitet. Dies ist die bisher beste verfügbare Leistungsfähigkeit für eine Computing-in-Memory-Lösung, die für batteriebetriebene Geräte konzipiert wurde.
Mark Reiten, Vice President bei SST, der Licensing Business Unit von Microchip, dazu: „Wir greifen auf bewährten nichtflüchtigen Speicher (NVM) anstelle alternativer Off-Chip-Speicherlösungen für die Berechnungen in neuronalen Netzen und zum Speichern von Gewichten zurück. Daher ist unsere Computing-in-Memory-Technik memBrain in der Lage, die massiven Engpässe bei der Datenkommunikation zu beseitigen, die sonst mit der Durchführung von Edge-KI-Verarbeitung verbunden sind. Die Zusammenarbeit mit dem IHWK, den Universitäten und den Early-Adopter-Kunden ist die Gelegenheit, unsere Technik für die neuronale Verarbeitung weiter zu erproben und unser Engagement im Bereich KI durch die Zusammenarbeit mit einem führenden Forschungs- und Entwicklungsunternehmen in Korea voranzutreiben.“
Sanghoon Yoon, Branch Manager bei IHWK, dazu: „Unsere Experten für nichtflüchtige und neue Speicher haben bestätigt, dass das auf bewährter NVM-Technologie basierende memBrain von Microchip die beste Option für die Entwicklung von In-Memory-Computing-Systemen ist.“
Die permanente Speicherung neuronaler Modelle im Verarbeitungselement der memBrain-Lösung unterstützt auch die Instant-On-Funktion für die Echtzeit-Verarbeitung neuronaler Netze. Das Experten von IHWK nutzten die nicht flüchtigen Floating-Gate-Zellen des SuperFlash-Speichers, um einen neuen Maßstab für stromsparende Edge-Computing-Systeme zu setzen, die maschinelles Lernen mit fortschrittlichen ML-Modellen dediziert unterstützen.
