Praxisbericht: Milliarden E-Mails in Ceph

Die meisten Enterprise-E-Mail-Systeme verwenden herkömmliche lokale oder verteilte Dateisysteme wie NFS zum Speichern von Daten, Indizes und Caches. Software-defined Storage (SDS) wie Ceph hat den Speichermarkt in den letzten Jahren grundlegend verändert und bietet mehr Optionen wie beispielsweise Object Store.

Die Deutsche Telekom betreibt ein wachsendes E-Mail-System mit mehreren Millionen Konten und Milliarden von E-Mails, die auf traditionellen NFS abgelegt sind. Letztes Jahr haben wir librmb (librados mailbox) in die Community eingeführt, eine universelle Open-Source-Bibliothek zum Ablegen von E-Mails in einem Ceph-Cluster.

Librmb verwendet RADOS zum direkten Speichern von E-Mails in Ceph, um durch parallele Zugriffe von vielen E-Mail-Gateways gleichzeitig für Millionen aktiver Kunden maximale Leistung zu erzielen.

Im Rahmen dieses Vortrags werden auch Themen wie Performance, Kompression, Datenreplikation, Datensicherheit und andere Optimierungen beleuchtet, die notwendig sind, um ein mehrere PByte großes E-Mail-System betreiben zu können.

Vorkenntnisse

Es sind keine besonderen Vorkenntnisse notwendig, grundlegende Kenntnisse im Bereich Software-defined Storage sind hilfreich.

Lernziele

Dieser Vortrag gibt Einblick in das Projekt der Deutsche Telekom, die gemeinsam mit Partnern daran arbeitet, von einem NFS zu einem Ceph-basierten E-Mail-Speicher zu wechseln. Wir werden nicht nur das Projekt vorstellen, sondern uns auch im Rahmen einer Live-Demo ein E-Mail-System mit Dovecot, librmb und Ceph genauer ansehen.