Speicherarchitekturen für KI-Anwendungen

Dieser Vortrag beantwortet die Frage: Welche Speicherarchitekturen sind für KI-Anwendungen besonders gut geeignet und worauf muss man achten?

Ist eine KI-Anwendung in Produktion und ist der Algorithmus anwendbar, dann kann das in der Regel mit vorhandenen Speicherinfrastrukturen abbildbar sein. Darin liegt aber nicht die Herausforderung!

Die Herausforderung an KI-taugliche Speicherinfrastrukturen ergibt sich aus den unterschiedlichen Phasen, die ein solches Projekt durchläuft. Die Datensammlungsphase, das Aufbereiten der Daten und das Training von neuronalen Netzen in Form von Machine- und Deep-Learning-Projekten erfordern Infrastrukturen der unterschiedlichsten Art:

* Für die Sammelphase der Daten aus den unterschiedlichsten Quellen können z.B. Cloud-Speicherlösungen, Objektspeicher, Onlinearchive und File-Systeme zum Einsatz kommen. Die Skalierbarkeit spielt hier eine große Rolle.
* Für das anschließende Kategorisieren und Aufbereiten der Daten sind ausreichende Bandbreiten, Random-IOs fürs Lesen als auch fürs Schreiben und für ein intelligentes Verschieben an die richtigen Speicherplätze erforderlich.
* Für die Trainingsphase benötigt man in der Regel hohe Durchsätze (Random Read), schnellste Antwortzeiten, lineare Skalierung, Workflow-Integration, verschiedene Versionen, verschiedene Varianten bis hin zur Rückverfolgbarkeit der Daten, also Archivierung und Compliance.

Eine Daten-Pipeline vom Sammeln der Daten bis zum Training spiegelt also die unterschiedlichsten Anforderungen wieder – und darin liegt die Herausforderung.

An einem konkreten End-to-End-Storage-System für KI-Anwendungen wird abschließend gezeigt, wie diese Anforderungen in der Praxis umgesetzt werden können.

Vorkenntnisse

Unterscheidung, welche Technologien für Block-, File-, Objektspeicher Online-Archiven und der Archivierung heute zur Verfügung stehen. Tiefe Detail-Kenntnisse der einzelnen Technologien sind nicht notwendig.

Lernziele

* Verständnis für den Ablauf der verschiedenen Phasen von Machine- und Deep-Learning-Projekten und deren unterschiedliche Anforderungen an die Speicherinfrastrukturen.
* Wie müssen diese Phasen gestaltet werden, damit ein solches KI-Projekt auch zum Erfolg führt?
* Worauf muss man im Speziellen achten?