Alles hängt vom Change Management ab

Cloudflare ruft „Code Orange“ aus, damit das Internet nicht (wieder) zusammenbricht.

Ausfälle beim Content Delivery Network Cloudflare haben in diesem Jahr nicht nur einmal, sondern zweimal große Teile des weltweiten Internets lahmgelegt. Nun stellt das Unternehmen einen Plan vor, um sicherzustellen, dass dies nicht wieder vorkommt.

Der erste Ausfall im November wurde durch einen Konfigurationsfehler verursacht, durch den das Unternehmen sich selbst effektiv einem DDOS-Angriff aussetzte. Der zweite Fehler im Dezember stand im Zusammenhang mit „Problemen mit dem Cloudflare Dashboard und den zugehörigen APIs”. In beiden Fällen behob Cloudflare das Problem innerhalb weniger Stunden, aber die Auswirkungen auf die Websites der Kunden hielten fast den ganzen Tag an.

Das Unternehmen hat nun Einzelheiten zu seinen Plänen bekannt gegeben, um sicherzustellen, dass keines der beiden Probleme im nächsten Jahr erneut auftritt.

Das Projekt mit dem Namen „Code Orange: Fail Small“, das sich an der Markenfarbe des Unternehmens orientiert, hat Vorrang vor allen anderen Projekten, „sodass die Teams bei Bedarf funktionsübergreifend arbeiten können, um die Aufgabe zu erledigen, während alle anderen Arbeiten unterbrochen werden“.

Cloudflare hat bisher nur einmal, im April letzten Jahres, einen Code Orange ausgerufen.

Die derzeit laufenden Arbeiten sind in drei Bereiche gegliedert: kontrollierte Rollouts, verbesserte Fehlermodi für alle Systeme, die den Netzwerkverkehr verarbeiten, sowie die Änderung der internen „Break Glass“-Verfahren und die Beseitigung zirkulärer Abhängigkeiten.

„Erhebliche Lücke“ im Änderungsmanagement

Trotz der Unterschiede zwischen den Vorfällen im November und Dezember hatten beide eine ähnliche Ursache: eine Konfigurationsänderung, die kurz vor dem Ausfall in den Rechenzentren von Cloudflare weltweit implementiert wurde.

„Dieses Muster hat eine gravierende Lücke in der Art und Weise offenbart, wie wir bei Cloudflare Konfigurationsänderungen implementieren, im Vergleich dazu, wie wir Software-Updates veröffentlichen”, erklärte das Unternehmen.

Während Cloudflare Software-Updates auf kontrollierte und überwachte Weise veröffentlicht, werden Konfigurationsänderungen sofort implementiert, was zu offensichtlichen Kompromissen zwischen Geschwindigkeit und Risiko führt.

Konfigurationsänderungen verbreiten sich dank einer Softwarekomponente namens Quicksilver sehr schnell im Netzwerk von Cloudflare. Diese Geschwindigkeit ist zwar nützlich, aber „selten notwendig“, weshalb das Unternehmen nun kontrollierte Bereitstellungen für die Komponente einführt, ähnlich wie bei der Einführung von Software-Updates.

Cloudflare veröffentlicht Software-Updates über das Health Mediated Deployment (HMD)-System. Dabei definiert jedes Team, das für einen Dienst im Unternehmen verantwortlich ist, die Metriken für den Erfolg oder Misserfolg der Bereitstellung, den Rollout-Plan und die Schritte, die bei einem Misserfolg zu unternehmen sind.

„Nach der Bereitstellung beginnt unser HMD-Toolkit, diesen Plan sorgfältig umzusetzen und überwacht dabei jeden Schritt, bevor es fortfährt“, so Cloudflare. „Wenn ein Schritt fehlschlägt, wird automatisch ein Rollback gestartet und das Team kann bei Bedarf benachrichtigt werden.

„Bis zum Ende von Code Orange werden Konfigurationsaktualisierungen nach dem gleichen Verfahren erfolgen. Wir gehen davon aus, dass wir damit die Probleme, die bei den beiden letzten Vorfällen aufgetreten sind, schnell erkennen können, lange bevor sie sich zu weitreichenden Problemen entwickeln.“

Umgang mit (unvermeidbaren) Dienstausfällen

Selbst mit einem verbesserten Änderungsmanagementprozess sind Dienstausfälle weiterhin möglich. Vor diesem Hintergrund verfolgt Cloudflare die Strategie, von Ausfällen auszugehen und diese „auf die absolut sinnvollste Weise“ zu behandeln.

Am Beispiel des Ausfalls des Bot-Management-Dienstes im November hätte dies bedeutet, dass an zwei wichtigen Schnittstellen Failover-Richtlinien hinzugefügt worden wären, wodurch der Datenverkehr – wenn auch mit einigen Einschränkungen – weiterlaufen hätte können, anstatt vollständig auszufallen.

Im Notfall muss das Glas zerbrochen werden können

Das „Break Glass“-Verfahren von Cloudflare ermöglicht es bestimmten Personen, unter bestimmten Umständen ihre Berechtigungen zu erweitern, sodass sie dringende Maßnahmen zur Lösung schwerwiegender Probleme ergreifen können.

Bei den Vorfällen im November und Dezember schlug dies fehl, da die Sicherheitssysteme die Mitarbeiter daran hinderten, auf die Tools zuzugreifen, die sie zur Behebung der Probleme benötigten. Zirkuläre Abhängigkeiten verlangsamten die Arbeit zusätzlich, da einige interne Systeme nicht mehr verfügbar waren.

Das Unternehmen will seine „Break Glass“-Prozesse und -Technologien überprüfen und sicherstellen, dass die Mitarbeiter zum richtigen Zeitpunkt auf die richtigen Tools zugreifen können – einschließlich der Möglichkeit, im Falle eines Vorfalls zirkuläre Abhängigkeiten zu umgehen.

Die Arbeiten sind derzeit im Gange und werden bis zum ersten Quartal, gegebenenfalls darüber hinaus, fortgesetzt. Bis Ende März 2026 beabsichtigt Cloudflare, alle Produktionssysteme mit Health Mediated Deployments abzudecken, die Systeme zu aktualisieren, um „die richtigen Ausfallmodi einzuhalten” und neue Notfallverfahren einzuführen.

Dieser Artikel erschien ursprünglich auf unserer Schwester-Website Computing.