von Marc THOLL
am 28. März 2025

Optimierung des Ceph-Speichers durch fortschrittliche Netzwerklösungen

Mitarbeiter: Marc THOLL, Pol WARNIMONT, Marcin RZECZKOWSKI

Herausforderungen bei herkömmlichen Speicherlösungen

In den letzten Jahren hat unser Unternehmen seinen Virtualisierungsstack mit einem herkömmlichen Speicheransatz betrieben, wobei dedizierte Speicher-Appliances wie Dell EMC-Speicherschränke zum Einsatz kamen, die über iSCSI oder Fibre Channel (FC) mit unseren Servern verbunden waren. Zur Gewährleistung der Redundanz haben wir die Anzahl der Appliances verdoppelt. Unsere All-Flash-Speicherlösungen wurden bereitgestellt von Huawei.

Im Rahmen unserer kontinuierlichen Bemühungen, unseren Kunden Cloud-Ressourcen, die vollständig innerhalb der Grenzen Luxemburgs entstehen, wodurch die Datenhoheit gewährleistet ist, und mit unserem Forschungsprojekt zur Weiterentwicklung der KI, ist der Bedarf an einer hochskalierbaren und zuverlässigen Datenspeicherlösung deutlich gestiegen.

Erster Lösungsversuch

Wetterkarte, die die physische Verbindung der beiden SANs zeigt

Um dieser neuen Nachfrage gerecht zu werden, haben wir uns zunächst dafür entschieden, unseren Ansatz anzupassen. Wir sind auf ein dediziertes Storage Area Network (SAN) umgestiegen. Wir arbeiten in zwei Rechenzentren und richteten zwei unabhängige SANs ein, wobei jedes SAN einen Switch pro Seite nutzte, die über zwei geografisch getrennte passive Wellenlängen miteinander verbunden waren. Die Speicherfächer und Server waren jeweils mit beiden SANs verbunden, wodurch wir über vier Speicherpfade verfügten. Diese Konfiguration nutzte Multi-Path-Technologie, um Redundanz über mehrere Pfade hinweg zu gewährleisten, wobei die Pfade selbst nicht redundant waren. Jeder Server verfügte über zwei Netzwerkkarten, wobei jeweils ein Port pro Karte mit jedem SAN verbunden war, was insgesamt vier Pfade ergab. Diese Konfiguration stellte sicher, dass wir im Falle eines Ausfalls eines einzelnen Geräts niemals mehr als zwei Pfade verlieren würden.

Trotz dieser Maßnahmen stellten wir fest, nachdem alles eingerichtet war, dass wir nicht die erwartete Leistung erzielten. Herkömmliche Speichersysteme bringen oft Herausforderungen wie Skalierbarkeitsprobleme, Verwaltungsaufwand und Herstellerabhängigkeit mit sich, was uns zusätzlich dazu motivierte, nach alternativen Lösungen zu suchen.

Angesichts der aktuellen geopolitischen Lage und des Mangels an in Europa hergestellter Speicherhardware haben wir uns für einen anderen Ansatz entschieden. Indem wir Anbieterabhängigkeiten beseitigen und zu einem Kernaspekt unserer Identität zurückkehren – nämlich Open-Source-Lösungen –, wollen wir Innovationen fördern und die Flexibilität unserer Infrastruktur bewahren.

Ceph entdecken: Ein neuer Ansatz für die Speicherung

Unsere Systemadministratoren, die stets daran interessiert sind, neue Technologien zu erkunden, schlugen vor, Ceph für unsere Speicheranforderungen einzusetzen. Unsere bisherigen Erfahrungen mit herkömmlichen Speichersystemen waren nicht gerade zufriedenstellend gewesen, und wir waren motiviert, etwas Innovatives und potenziell Robusteres auszuprobieren.

Ceph ist eine Open-Source-Speicherplattform, die auf hervorragende Leistung, Zuverlässigkeit und Skalierbarkeit ausgelegt ist. Sie vereint Objekt-, Block- und Dateispeicher in einem einzigen Cluster und ist damit eine vielseitige Lösung für vielfältige Speicheranforderungen.

Nachdem wir im Rahmen einer Analyse zu dem Schluss gekommen waren, dass Ceph unsere Anforderungen hinsichtlich Redundanz und Skalierbarkeit erfüllen kann, machten wir uns daran, die passende Hardware auszuwählen. Die Entscheidung fiel auf Server von Supermicro. Die Server sind mit zwei AMD EPYC 7313 16-Core-Prozessoren und 128 GB RAM ausgestattet.

Für die Netzwerkeinrichtung haben wir uns entschieden, die bestehende Infrastruktur mit den beiden unabhängigen SANs zu nutzen. Nach einigen anfänglichen Schwierigkeiten bei der Suche nach den richtigen Konfigurationen und der Wartezeit auf die Lieferung der Hardware waren wir bereit, mit den Tests zu beginnen. Doch schon bald stießen wir auf ein erhebliches Hindernis.

In Ceph gibt es zwei unterschiedliche Netzwerke:

Cluster-Netzwerk:

Wird von den Servern verwendet, um Daten untereinander zu synchronisieren.

Öffentliches Netzwerk:

Verarbeitet den Datenverkehr für die Clusterverwaltung (MONITOR).
Ermöglicht Ceph-Verbindungen zu Datennutzern, wie beispielsweise Virtualisierungshosts.

Die Herausforderung bestand darin, dass das öffentliche Netzwerk in Ceph nur mit einem einzigen IP-Netzwerk konfiguriert werden kann. Diese Einschränkung hätte unsere Anforderungen an die Redundanz erheblich beeinträchtigen können.

Um dieses Problem anzugehen, haben wir zwei mögliche Lösungen in Betracht gezogen:

Neue Gehäuseschalter:

Ein Vorschlag sah den Kauf neuer Chassis-Switches vor. Dies hätte das Problem zwar möglicherweise gelöst, war jedoch mit hohen Kosten verbunden und bot nur begrenzte zusätzliche Vorteile.

Stacking-Switches mit LACP:

Der zweite Vorschlag, der ebenfalls in Foren vielfach geäußert wurde, sah vor, die Switches zu stapeln und das Link Aggregation Control Protocol (LACP) zu nutzen. Dieser Ansatz stand jedoch im Widerspruch zu unserer ursprünglichen Entwurfsphilosophie für die beiden SANs. Wir hatten das Stapeln aufgrund früherer negativer Erfahrungen bewusst vermieden, beispielsweise weil sich Stapel während des Betriebs aufgespalten hatten, was zu Netzwerkausfällen führte oder Schleifen verursachte, die das gesamte Netzwerk lahmlegten.

Innovative Routing-Lösungen für Ceph

Bei der Suche nach Lösungen brachte unsere Netzwerkabteilung eine innovative Idee ein. Zwar kann das öffentliche Netzwerk von Ceph nur ein IP-Präfix verarbeiten, doch besteht keine Vorgabe, dass sich alle IP-Adressen innerhalb derselben Broadcast-Domäne befinden müssen. Diese Erkenntnis veranlasste uns, das Routing des Datenverkehrs als praktikable Lösung in Betracht zu ziehen.

Erste Konfiguration der Weiterleitung

Unsere ursprüngliche Routing-Lösung sah vor, zwei Ceph-Knoten an jeden SAN-Layer-3-Switch anzuschließen. Auf den Switches sollte OSPF (Open Shortest Path First) laufen und die Netzwerke der einzelnen Knoten bekanntgeben. Jeder Knoten wurde über alle vier Schnittstellen in einem einzigen LACP-Portkanal (Link Aggregation Control Protocol) verbunden. Dieser Ansatz bot mehrere Vor- und Nachteile:

Vorteile:

Einfache Einrichtung: OSPF läuft auf nur vier Switches, was die Konfiguration vereinfacht.
Schnittstellenredundanz: LACP sorgt für Redundanz auf Schnittstellenebene und erhöht so die Zuverlässigkeit.

Nachteile:

Auswirkungen eines Switch-Ausfalls: Der Ausfall eines Switches führt zum Ausfall von zwei gesamten Ceph-Knoten, wodurch die Redundanz beeinträchtigt wird.
Eingeschränkter Lastausgleich: Der Lastausgleich beschränkt sich auf den LACP-Trunk, wodurch die verfügbare Bandbreite möglicherweise nicht vollständig ausgenutzt wird.

Optimierte Routenplanungslösung

Wetterkarte, die die physikalischen Verbindungen der endgültigen Routing-Lösung darstellt

Da uns die Einschränkungen des ursprünglichen Ansatzes nicht zusagten, haben wir eine robustere Lösung entwickelt: das vollständige Routing. In dieser Konfiguration führt jeder Ceph-Knoten FRRouting (FRR) und OSPF unabhängig voneinander aus. Diese Konfiguration bietet mehrere wesentliche Vorteile:

Verbesserte Redundanz: Jeder Knoten ist mit zwei Switches verbunden, wodurch sichergestellt wird, dass der Ausfall eines Switches nicht zum Verlust des Knotens führt. Um die Zuverlässigkeit weiter zu erhöhen, wird Bidirectional Forwarding Detection (BFD) eingesetzt, um im Falle eines oder mehrerer Verbindungsausfälle innerhalb von weniger als einer Sekunde eine Fehlererkennung zu ermöglichen. Darüber hinaus wird das Equal-Cost-Multi-Path-Routing (ECMP) genutzt, um mehrere redundante Routen bereitzustellen und so die allgemeine Ausfallsicherheit des Netzwerks zu verbessern.
Effiziente Nutzung von Schnittstellen: Sowohl das öffentliche Netzwerk als auch das Cluster-Netzwerk werden innerhalb desselben gerouteten Netzwerks betrieben, wodurch Ceph je nach aktuellem Bedarf die gesamte Bandbreite des Servers dynamisch für beide Netzwerke nutzen kann.
Stabilität der Dienste: Cluster- und öffentliche Dienste laufen über Loopback-IPs, wodurch sichergestellt wird, dass sie nicht an bestimmte Schnittstellen gebunden sind, die ausfallen könnten.
Verbesserte Lastverteilung: Die Lastverteilung wird durch den Einsatz des Equal-Cost-Multi-Path-Routings (ECMP) verbessert, das für jedes Ziel acht unterschiedliche Pfade bereitstellt. Diese Konfiguration ermöglicht eine effektive Verteilung des Datenverkehrs auf mehrere Routen, wodurch die Bandbreitennutzung optimiert und eine ausgewogene Lastverteilung gewährleistet wird.

Ergebnisse und Erkenntnisse

Nach der Implementierung der vollständigen Routing-Lösung für unseren Ceph-Cluster haben wir eine Reihe von Tests durchgeführt, um deren Leistung und Redundanz zu bewerten. Es ist wichtig zu beachten, dass die Ceph-Instanz noch nicht vollständig optimiert ist, die ersten Ergebnisse jedoch vielversprechend sind. Wir haben zufällige Lese-/Schreibraten von 3,6 GB/s erreicht, was eine deutliche Verbesserung gegenüber unserer bisherigen Konfiguration darstellt. Diese Tests wurden mit branchenüblichen Benchmark-Tools durchgeführt, um Genauigkeit und Zuverlässigkeit zu gewährleisten.

Neben den Leistungstests haben wir auch die Redundanz des Systems untersucht. Unsere Tests haben gezeigt, dass ein Knoten alle Verbindungen bis auf eine verlieren kann, ohne dass dies Auswirkungen auf die Funktionalität hat – abgesehen von einer Verringerung der verfügbaren Bandbreite. Ebenso können alle Verbindungen zwischen den Rechenzentren (Inter-DC) bis auf eine ausfallen, ohne dass dies Auswirkungen auf das System hat, obwohl dies ebenfalls zu einer Verringerung der verfügbaren Bandbreite führt. Diese Ergebnisse bestätigen die Robustheit und Zuverlässigkeit unserer gerouteten Ceph-Lösung.

Zukunftspläne

Mit Blick auf die Zukunft erwägen wir mehrere Verbesserungen, um unsere Ceph-Infrastruktur weiter zu optimieren. Eines unserer Hauptziele ist es, weitere Verbindungen zwischen den Rechenzentren (DCs) herzustellen. Diese Erweiterung wird einen noch besseren Lastausgleich zwischen den Rechenzentren ermöglichen und so für optimale Leistung und Ausfallsicherheit sorgen.

Durch die kontinuierliche Bewertung und Optimierung unserer Netzwerkkonfiguration streben wir einen hochgradig optimierten Ceph-Cluster an, der unseren Anforderungen an Leistung und Redundanz gerecht wird und letztendlich unsere Kerngeschäftsprozesse effektiver unterstützt.