Datenmangement in der Wissenschaft: Herausforderungen durch HPC, AI und Co.

Wissenschaftliche Anwendungen haben hohe Bedarfe an Speicherkapazität und Leistung. Die Bereitstellung und der Betrieb von Speichersystemen für Hochleistungsrechner bergen eine Vielzahl an Herausforderungen für Hersteller, Betreiber und Nutzende.

Insbesondere moderne High-Performance-Computing- und AI-Workflows mit Hunderten Computeknoten, die jeweils mit 100GBit/s oder mehr an die Infrastruktur angebunden sind, stellen extreme Anforderungen an die Leistungsfähigkeit der Speichersysteme, sowohl bei der sequenziellen Bandbreite als auch bei den IOPS. Gleichzeitig ist es nicht wirtschaftlich, alle Daten auf Höchstleistungsspeichersystemen bereitzustellen. Eine weitere Herausforderung ist der zeitnahe Austausch großer und stetig wachsender Roh- und Ergebnisdatensätze zwischen den Projektpartnern von dezentral organisierten Forschungsverbünden sowie anderen Rechenzentren.

In diesem Vortrag stellen wir die Speicherlandschaft der GWDG vor und demonstrieren die Herausforderungen anhand von verschiedenen Beispielen aus der Betriebspraxis.

Die GWDG stellt im Hochleistungsrechnen Speicher mit einem Volumen von 17 PB in Lustre, 3 PB in BeeGFS, 350 TB in GPFS, 2.5 PB StorNext und 350 TB IME und stellt diese mittels verschiedener Speichermodelle und Schnittstellen über 3000 Computeknoten bereit.

Vorkenntnisse

Die grundsätzliche Funktionsweise von verteilten Speichersystemen sollte bekannt sein.

Lernziele

Teilnehmende kennen nach dem Vortrag

  • Herausforderungen beim Betrieb von Speichersystemen für wissenschaftliche Anwendungen
  • Methoden zur Integration von Hochleistungspeichersystemen mit externen Speichersystemen
  • die Wichtigkeit sowie Möglichkeiten der Leistungsanalyse
  • relevante Einflüsse auf Leistung

Speaker

 

Sebastian Krey
Sebastian Krey ist Speicherexperte der Arbeitsgruppe Computing bei der Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen (GWDG) und arbeitet insb. in der Administration der HPC Speichersysteme sowie in den Bereichen der Hochgeschwindigkeitsinterconnects und Kühlungsinfrastruktur für die HPC Systeme. Seine Data Science und Machine Learning Kenntnisse setzt er hierbei neben der Beratung von Kunden auch für die Betriebsoptimierung ein.

S2N-Konferenz-Newsletter

Ihr möchtet über die S2N
auf dem Laufenden gehalten werden?

 

Anmelden