Datenmangement in der Wissenschaft: Herausforderungen durch HPC, AI und Co.
Wissenschaftliche Anwendungen haben hohe Bedarfe an Speicherkapazität und Leistung. Die Bereitstellung und der Betrieb von Speichersystemen für Hochleistungsrechner bergen eine Vielzahl an Herausforderungen für Hersteller, Betreiber und Nutzende.
Insbesondere moderne High-Performance-Computing- und AI-Workflows mit Hunderten Computeknoten, die jeweils mit 100GBit/s oder mehr an die Infrastruktur angebunden sind, stellen extreme Anforderungen an die Leistungsfähigkeit der Speichersysteme, sowohl bei der sequenziellen Bandbreite als auch bei den IOPS. Gleichzeitig ist es nicht wirtschaftlich, alle Daten auf Höchstleistungsspeichersystemen bereitzustellen. Eine weitere Herausforderung ist der zeitnahe Austausch großer und stetig wachsender Roh- und Ergebnisdatensätze zwischen den Projektpartnern von dezentral organisierten Forschungsverbünden sowie anderen Rechenzentren.
In diesem Vortrag stellen wir die Speicherlandschaft der GWDG vor und demonstrieren die Herausforderungen anhand von verschiedenen Beispielen aus der Betriebspraxis.
Die GWDG stellt im Hochleistungsrechnen Speicher mit einem Volumen von 17 PB in Lustre, 3 PB in BeeGFS, 350 TB in GPFS, 2.5 PB StorNext und 350 TB IME und stellt diese mittels verschiedener Speichermodelle und Schnittstellen über 3000 Computeknoten bereit.
Vorkenntnisse
Die grundsätzliche Funktionsweise von verteilten Speichersystemen sollte bekannt sein.
Lernziele
Teilnehmende kennen nach dem Vortrag
- Herausforderungen beim Betrieb von Speichersystemen für wissenschaftliche Anwendungen
- Methoden zur Integration von Hochleistungspeichersystemen mit externen Speichersystemen
- die Wichtigkeit sowie Möglichkeiten der Leistungsanalyse
- relevante Einflüsse auf Leistung