Beim Deutschen Rechenzentrumspreis 2017 belegte der Forschungshochleistungsrechner ForHLR II am Karlsruher Instituts für Technologie den ersten Platz in der Kategorie „Neu gebaute energie- und ressourceneffiziente Rechenzentren.“
Eine Billiarde Berechnungen pro Sekunde
Mit dem ForHLR II steht Forschern aus ganz Deutschland ein Petaflop-System mit mehr als 1170 Knoten, über 24.000 Rechenkernen und 74 Terabyte Hauptspeicher zur Verfügung. Ein Petaflop entspricht einer Billiarde Rechenoperationen pro Sekunde. Damit ist der neue ForHLR II 2,5 Mal leistungsstärker als der Vorgänger ForHLR I, der seit 2014 am KIT in Betrieb ist.
Die Rechenleistung des Supercomputers soll in den Bereichen Energie, Umwelt sowie Nano- und Materialwissenschaften die Forschung vorantreiben. Weitere Szenarien sind Fragen zur globalen Erwärmung wie die nach der Ausbreitung von Luftschadstoffen und nach regionalen Klimaschwankungen
So kommt die immense Rechenleistung zustande
Der ForHLR II basiert auf asymmetrischen Rechenknoten mit unterschiedlichen Intel-Prozessoren. Beschleuniger- oder HPC-Grafikkarten wie Tesla-Modelle oder Xeon Phi werden nicht verwendet - dafür Comsumer-Karten. Der Supercomputer setzt sich aus Login-, Service- und den eigentlichen Rendering-Nodes zusammen. Das 6,9 Millionen teure Projekt wurde vom deutschen HPC-Spezialisten Transtec gebaut, die verwendeten Rechenschränke (Racks) stammen vom chinesischen Hersteller Lenovo.
Von dünnen und fetten Rechenknoten
Die Rendering-Nodes beschreibt das KIT als dünne und fette Rechenknoten. Von Ersteren sind 1152 und von Letzteren 21 verbaut. Jeder dünne Rechenknoten (Blade) besteht aus zwei Xeon E5-2660 v3, also Haswell EP mit jeweils acht Kernen und 2,6 GHz Basistakt. Hinzu kommen 64 GByte RAM und eine 480 GByte fassende SSD. Ein fetter Knoten setzt sich aus vier Xeon E7-4830 v3 (Haswell EX) mit jeweils zwölf Kernen bei 2,1 GHz zusammen. Hinzu kommen pro Node noch vier Consumer-Grafikkarten vom Typ Geforce GTX 980 Ti, 1 TByte RAM und vier SSDs mit 960 GByte.
Aus eigener Kraft kühlen
Das Kühlsystem des Rechenzentrums nutzt in der kalten Jahreszeit Abwärme zum Heizen der Bürogebäude. Außerdem sorgt es das ganze Jahr über für eine zuverlässige Kühlung aller heißen Systemkomponenten. Dadurch kommt das System praktisch ohne zusätzliche Kältemaschinen aus, die oftmals echte Energiefresser sind.
Für diejenigen Komponenten, die noch eine klassische Kaltluftkühlung benötigen, wird das im Aufbau befindliche Fernkältenetz am Campus Nord des KIT über eine Kraft-Wärme-Kälte-Kopplung eine wirtschaftlichere und umweltfreundlichere Lösung bieten.
Gründe für die Wahl des Kühlsystems
Die Konzeption eines umweltschonenden Kühlsystems sei in einer der wärmsten Gegenden Deutschlands eine besondere Herausforderung gewesen, sagt Professor Rudolf Lohner vom SCC, der das Projekt vom Start bis zur Verwirklichung begleitete und in der Endphase koordinierte.
Sogenannte Nassrückkühler, bei denen Wasser auf der Oberfläche von Kühlkörpern verdunstet und so deren Inhalt kühlt, kamen laut Lohner wegen des hohen Wartungsaufwandes bei Pollenflug und der Anfälligkeit für Besiedelung durch Bakterien nicht infrage. „Also mussten wir auf Trockenrückkühler zurückgreifen.“ Deren geringere Kühlleistung habe durch eine besondere Größe der Konstruktion kompensiert werden können.
