Die Platzierung des GPU-basierten HPC-Clusters „Grete“ basiert auf einer auf Energieeffizienz optimierten Messung, die der Anbieter des Systems, die Megware Computer Vertrieb und Service mit Sitz in Chemnitz, durchgeführt hat. In der aktuellen TOP500-Liste der weltweit schnellsten Supercomputer belegt „Grete“ mit einer Rechenleistung von 1,83 PFlop/s (Billiarden Rechenoperationen pro Sekunde) im Linpack-Benchmark Platz 470.
„Grete“, benannt nach Grete Hermann (1901-1984), die als Doktorandin Emmy Noethers an der Universität Göttingen grundlegende Arbeiten für die Computeralgebra leistete, ist ein auf Grafikprozessoren (GPU) basiertes High-Performance-Computing-Cluster und erweitert das HPC-System „Emmy“, das die Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen (GWDG) seit 2018 für die Universität Göttingen betreibt, um eine besonders leistungsstarke und energieeffiziente Komponente, die es ermöglicht, weitere Anwendungsbereiche zu erschließen und beispielsweise Deep-Learning-Anwendungen auszuführen.
Strategie maximaler Energieeffizienz
Technisch gesehen ist das GPU-Cluster als neue Partition des vorhandenen NHR-Systems „Emmy” umgesetzt, dessen Betrieb in 2018 für den Norddeutschen Verbund für Hoch- und Höchstleistungsrechnen (HLRN) mit der Installation einer ersten auf Intel-Prozessoren (CPUs) der „Skylake”-Generation basierenden Phase begann. Diese wurde in 2020 um eine zweite Phase mit CPUs der „Cascade Lake”-Generation erweitert. Als NHR@Göttingen ist die Universität Göttingen / GWDG Mitglied im Verein für Nationales Hochleistungsrechnen – (NHR-Verein) und seit Beginn der NHR-Förderung in 2021 ist die Nutzung dieser Systeme deutschlandweit für die wissenschaftliche Forschung an Hochschulen möglich. Der Zugang kann niederschwellig durch die Beantragung eines persönlichen Accounts hergestellt werden, für höheren Bedarf an Rechenzeit können Projektanträge eingereicht werden, die quartalsweise begutachtet werden.
„Wir sind stets darum bemüht, für unsere Nutzer:innen den bestmöglichen Service zu bieten. Grete ergänzt die bestehende CPU-Partition mit einem energieeffizienten GPU-System und ermöglicht es somit, weitere Anwendungsbereiche zu erschließen und beispielsweise Deep-Learning-Anwendungen auszuführen”, merkt Prof. Dr. Julian Kunkel, stellvertretender Leiter der GWDG – Bereich High-Performance Computing hierzu an.
Am Standort Göttingen wird für den Betrieb aller HPC-Systeme eine Strategie maximaler Energieeffizienz verfolgt. Beim Design des Gesamtsystems leistet hierzu das Konzept einer Direktwasserkühlung (DLC), das sich bereits für das NHR-System „Emmy” bewährt hat, einen entscheidenden Beitrag, um den Overhead durch den Energiebedarf der Kühltechnik zu minimieren. Laut Green500-Benchmark, bei dem „Grete” 32,149 Gflops/W erzielte, handelt es sich damit aktuell um das zweiteffizienteste gelistete System auf Basis der Nvidia A100 40 GB GPUs. Unter allen gelisteten Nvidia-basierten Systemen belegt es Platz 5.
Zum Spitzenplatz 1 von „Grete“ als energieeffizientester Rechner in Deutschland sagt Axel Auweter, Mitglied der Geschäftsführung von Megware: „Die Nachfrage nach energieeffizienten Systemen ist gerade in Deutschland aufgrund vergleichsweise hoher Energiepreise besonders groß. Insofern freuen wir uns, dass es uns gelungen ist, gerade in dieser Hinsicht abermals Maßstäbe zu setzen.“
Technische Details zu „Grete“
Das neue System umfasst im Kern 36 Knoten, die jeweils mit zwei AMD Epyc 7513 CPUs und so-mit 64 Kernen der „Milan”-Generation pro Knoten, 512 GB DDR4-Speicher, zwei 1 TB NVMe-SSDs und vier NVIDIA A100 GPUs ausgestattet sind. Jede dieser GPUs stellt 6.912 CUDA-Kerne und 432 Tensorkerne sowie 40 GB HBM2-Speicher zur Verfügung. Innerhalb eines Knotens sind die GPUs über SXM4-Sockel auf einem gemeinsamen NVIDIA HGX „Redstone“-Board per NVLink für schnellere GPU-zu-GPU-Kommunikation verbunden. Schließlich sind die GPU-Knoten durch ein InfiniBand-HDR-Hochgeschwindigkeitsnetzwerk mit 2 x 200 GBit/s pro Knoten untereinander sowie mit einer lokalen Flash-basierten Speicherlösung auf Basis von zwei DDN ES400NVX mit insgesamt ca. 130 TiB bereitgestellter Speicherkapazität und schließlich mit dem vorhandenen 8,5 PiB Storage des Systems „Emmy” verbunden.
