USV-Infrastruktur für Hochleistungsrechner Rechnen ohne Ende

Enorme Rechenkapazitäten und riesige Datenspeicher erlauben dem DKRZ in Hamburg, das Klima nachzubilden und zu erforschen.

Bild: Deutsches Klimazentrum
04.04.2017

Das Deutsche Klimarechenzentrum ist Anlaufpunkt für Klimaforscher aus der ganzen Welt. Spezielle Hochleistungsrechner und rund 80 Mitarbeiter erstellen hier komplexe Klimasimulationen. Eine moderne USV-Infrastruktur sichert dabei reibungslose Prozesse.

Simulationen ermöglichen es, das Klima nachzubilden und zu erforschen. Dazu sind jedoch enorme Rechenkapazitäten und riesige Datenspeicher nötig. Deshalb zog in das Deutsche Klimarechenzentrum (DKRZ) in Hamburg 2015 das neue Hochleistungsrechnersystem Mistral ein. Es bietet zwanzigmal mehr Leistung als das Vorgängersystem bei geringerem Stromverbrauch. Das gelingt unter anderem mittels einer Warmwasserkühlung. Diese führt die Hauptenergie dort ab, wo sie entsteht: An den Prozessoren und Speicherbausteinen.

Damit der Großrechner zuverlässig und störungsfrei arbeiten kann, sollte das bestehende Rechenzentrum eine komplett neue Infrastruktur inklusive Stromversorgung erhalten. Diese sollte in der Lage sein, auch kurzfristige Stromschwankungen problemlos zu überbrücken. Denn der Verbrauch des Rechners ändert sich ständig und kann teilweise innerhalb von Sekundenbruchteilen um bis zu 50 Prozent abweichen. Neben den Gesamtbetriebskosten war ein weiteres Kriterium auf der Suche nach einer geeigneten Lösung, dass diese sowohl statische als auch dynamische USV-Systeme umfasst. Durch seine geringen Betriebskosten erhielt der Trinergy Cube von Vertiv am Ende den Zuschlag.

In seiner Ausführung für das DKRZ ist der Trinergy Cube deutschlandweit einzigartig: Insgesamt sechs zusammengeschaltete 400kVA-Module bieten eine Gesamtleistung von 2400 kVA. Ein weiteres Alleinstellungsmerkmal ist der Drei-Modi-Betrieb.

Das Gerät analysiert laufend das einspeisende Netz und die Netzwerke sowie die Lastenverteilung der Server und wählt den dazu passenden Modus selbständig. Zur Auswahl stehen der Voltage-Frequency-Independent-Modus, oder auch Doppelwandmodus, der für eine maximale Leistungskontrolle sorgt, der Voltage-Frequency-Dependent-Modus für eine maximale Energieeinsparung oder der Voltage-Independent-Modus für einen hohen Wirkungsgrad und Power Conditioning.

98,5 Prozent Betriebseffizienz

Durch seinen dynamischen Aufbau lässt sich – je nach gewähltem Modus – im Jahresdurchschnitt eine Betriebseffizienz von 98,5 Prozent realisieren, bei gleichzeitig geringen Betriebskosten und niedriger CO2-Belastung. Tritt ein Netzevent oder eine Abweichung bei den vom Nutzer vorgegeben Sollwerten ein, arbeitet das USV-System immer im Doppelwandmodus. Durch den modularen Aufbau kann die USV-Infrastruktur bei veränderten Lastanforderungen um Leistungsmodule erweitert werden. Mit Parallelsystemen ist eine Spitzenleistung von bis zu 27 MW möglich, das DKRZ erreicht 2,4 MW.

Durch einen modularen Aufbau lässt sich zudem bestimmen, mit welcher Leistung einzelne Module arbeiten sollen. So können je nach Bedarf und Lastanforderung Module in den energiesparenden Schlafmodus versetzt werden. Außerdem stellen Störungen der Klimaanlagen kein Problem für den belastbaren Trinergy Cube dar. USV-Anlagen arbeiten üblicherweise bis zu einer Umgebungstemperatur von 35 °C ohne Lastreduzierung, um dann bei höheren Temperaturen auf Grund der Überhitzungsgefahr in den Bypass-Betrieb zu schalten. Das System im DKRZ hingegen ist bis zu 55 °C belastbar und arbeitet darüber hinaus unterbrechungsfrei weiter, auch bei reduzierter Energie.

USV zum Anfassen

Um das System bereits vor der In­stallation kennenzulernen, besuchte das mit der Konzipierung der Infrastruktur beauftragte Planungsbüro F&S G gemeinsam mit Vertretern des DKRZ das Planungsbüro im Customer Experience Center von Vertiv in Bologna in Italien. Dort hatte das DKRZ die Möglichkeit, das modulare Konzept des Trinergy Cube im Einsatz zu erleben, im Prüffeld verschiedene Daten zu messen und die USV unter den zu erwartenden Realbedingungen zu testen.

Nachdem die Entscheidung auf Vertiv gefallen war, startete das Unternehmen die Produktion. Anschließend wurde das komplette 2400kVA-USV-System zunächst eineinhalb Tage im Customer Experience Center im Beisein des Planers und Endkunden getestet. Im Zuge der Implementierung des Trinergy Cubes im DKRZ, in dem eine klassische Gel-Batterie verwendet wurde, hat Vertiv mit Yuasa Battery begonnen, eine kleine, leichte Lithium-Ionen-Batterie für diese Applikation zu entwickeln.

Zum Montieren in den Keller

In der Aufbau- und Installationsphase des Projekts war Organisationskompetenz gefragt: Der für das System vorgesehene Kellerraum des DKRZ war mit Lastenaufzügen nicht erreichbar. Die Einzelteile wurden deshalb durch die vorhandene Kranöffnung hinabgelassen und erst anschließend montiert. Dabei war der modulare Aufbau des Systems von Vorteil, das je nach Räumlichkeit in L-Form, in der Länge oder Rücken an Rücken installiert werden kann. Im DKRZ stehen nun zwei halbe Anschlusskabinetts mit je drei 400kVA-Modulen Rücken an Rücken.

Eine Erleichterung bei der Installation war auch die Möglichkeit, Stromschienen direkt in den Systemanschlussschrank des Trinergy Cube zu führen. Die Anschluss-Kompatibilität mit dem Stromschienennetz ist eine platzsparende und einfach zu handhabende Alternative zur herkömmlichen Verkabelung. Außerdem bietet sie eine bessere elektromagnetische Verträglichkeit und stellt im Vergleich zu dem traditionellen Kabelsystem eine sichere Infrastruktur dar.

Im Anschluss an den Aufbau übernahm das Service-Team von Vertiv die Parametrierung der Umgebung und den Einbau der Batterie. Nach der abschließenden Prüfungsphase, in der verschiedene Lastbedingungen und -widerstände in unterschiedlichen Modi getestet wurden, und der Prüfung der gesamten Infrastruktur durch die Dekra, nahm das DKRZ den Großrechner Mistral im März 2015 in Betrieb.

Für die Zukunft gerüstet

Für den Wartungsfall steht dem DKRZ ein umfangreicher Servicevertrag zur Verfügung, der eine vorbeugende Wartung und einen 24-Stunden-Notfalldienst umfasst. Zudem stehen Servicetechniker in Hamburg bereit. Der technische Rechenzentrums-Leiter ist in der Lage, über das integrierte Web-Interface das grafische Touch-Screen-Panel des Systems mit einem mobilen Endgerät zu synchronisieren und von jedem Standort aus den Status in Echtzeit zu überwachen. Für zusätzliche Sicherheit kann der Servicevertrag auf den Fernwartungsdiagnostik- und präventiven Monitoring-Service Life erweitert werden.

Da die Stromversorgung des DKRZ im Endausbau möglicherweise zweipfadig aufgebaut sein soll, wurde eine Vorrüstung für eine zweite USV getroffen. Eine zweite USV-Anlage könnte die bereits bestehende Stromversorgung spiegeln und eine 2N-Stromredundanz bereitstellen. Die zweite Stromversorgung könnte bei einer Störung das komplette Rechenzentrum mit Strom versorgen.

Bildergalerie

  • Blick ins Innere: Mistral bietet verschiedene Möglichkeiten, um große Datenmengen zu speichern.

    Blick ins Innere: Mistral bietet verschiedene Möglichkeiten, um große Datenmengen zu speichern.

    Bild: Deutsches Klimazentrum

  • Damit Mistral störungsfrei arbeiten kann, erhielt das DKRZ eine komplett neue Infrastruktur inklusive Stromversorgung.

    Damit Mistral störungsfrei arbeiten kann, erhielt das DKRZ eine komplett neue Infrastruktur inklusive Stromversorgung.

    Bild: Deutsches Klimazentrum

  • Das DKRZ in Hamburg verfügt nun über eine sichere Stromversorgung, die künftig sogar erweitert werden kann.

    Das DKRZ in Hamburg verfügt nun über eine sichere Stromversorgung, die künftig sogar erweitert werden kann.

    Bild: Emerson

Firmen zu diesem Artikel
Verwandte Artikel