Speicherarchitekturen für KI-Anwendungen

Dieser Vortrag beantwortet die Frage: Welche Speicherarchitekturen sind für KI-Anwendungen besonders gut geeignet und worauf muss man achten?

Ist eine KI-Anwendung in Produktion und ist der Algorithmus anwendbar, dann kann das in der Regel mit vorhandenen Speicherinfrastrukturen abbildbar sein. Darin liegt aber nicht die Herausforderung!

Die Herausforderung an KI-taugliche Speicherinfrastrukturen ergibt sich aus den unterschiedlichen Phasen, die ein solches Projekt durchläuft. Die Datensammlungsphase, das Aufbereiten der Daten und das Training von neuronalen Netzen in Form von Machine- und Deep-Learning-Projekten erfordern Infrastrukturen der unterschiedlichsten Art:

* Für die Sammelphase der Daten aus den unterschiedlichsten Quellen können z.B. Cloud-Speicherlösungen, Objektspeicher, Onlinearchive und File-Systeme zum Einsatz kommen. Die Skalierbarkeit spielt hier eine große Rolle.
* Für das anschließende Kategorisieren und Aufbereiten der Daten sind ausreichende Bandbreiten, Random-IOs fürs Lesen als auch fürs Schreiben und für ein intelligentes Verschieben an die richtigen Speicherplätze erforderlich.
* Für die Trainingsphase benötigt man in der Regel hohe Durchsätze (Random Read), schnellste Antwortzeiten, lineare Skalierung, Workflow-Integration, verschiedene Versionen, verschiedene Varianten bis hin zur Rückverfolgbarkeit der Daten, also Archivierung und Compliance.

Eine Daten-Pipeline vom Sammeln der Daten bis zum Training spiegelt also die unterschiedlichsten Anforderungen wieder – und darin liegt die Herausforderung.

An einem konkreten End-to-End-Storage-System für KI-Anwendungen wird abschließend gezeigt, wie diese Anforderungen in der Praxis umgesetzt werden können.

Vorkenntnisse

Unterscheidung, welche Technologien für Block-, File-, Objektspeicher Online-Archiven und der Archivierung heute zur Verfügung stehen. Tiefe Detail-Kenntnisse der einzelnen Technologien sind nicht notwendig.

Lernziele

* Verständnis für den Ablauf der verschiedenen Phasen von Machine- und Deep-Learning-Projekten und deren unterschiedliche Anforderungen an die Speicherinfrastrukturen.
* Wie müssen diese Phasen gestaltet werden, damit ein solches KI-Projekt auch zum Erfolg führt?
* Worauf muss man im Speziellen achten?

 

Speaker

 

Kurt Gerecke
Kurt Gerecke ist als Speicherberater für die Tech Data Advanced Solutions tätig. Zuvor war er 38 Jahre aktiv bei IBM und hat sich dort 35 Jahre mit Speichertechnologien und Speicherlösungen beschäftigt. Er ist Autor des IBM-System-Storage-Kompendiums und vieler technischer Publikationen zum Thema Storage.

Platin-Sponsor

Thomas-Krenn.AG

Gold-Sponsoren

Aikux
Cisco
Cloudian
Datacore

FastLTA
Fujitsu
Pure Storage

Silber-Sponsoren

EUROstor
Fujifilm
Lenovo
TechData
Tintri
Toshiba

Bronze-Sponsoren

Scality
SUSE

storage2day-Newsletter

Sie möchten über die storage2day
auf dem Laufenden gehalten werden?

 

Anmelden