Fallstudie: Forensik langsamer Builds

Fallstudie: Forensik langsamer Builds nach Cloud-Migration

Das Problem

Ein Kunde migrierte seine CI-Infrastruktur von On-Premise nach Azure. Das Setup umfasste mehrere Dutzend ähnlicher Jobs.

Trotz veralteter On-Premise-Hardware führte die Migration auf eine Azure-VM (8 Kerne, 32 GB RAM) zu einer massiven Regression: Ein Build, der zuvor 3 Stunden 40 Minuten dauerte, benötigte plötzlich über 10 Stunden länger.

Am Code selbst wurden keine strukturellen Änderungen vorgenommen, die Ursache war zunächst unklar.

Die Untersuchung

Ich instrumentierte die Pipeline mit detaillierten Messungen und korrelierte diese mit Infrastrukturmetriken.

Die Build-Agents arbeiteten innerhalb ihrer Spezifikation. Das Verhalten deutete klar darauf hin, dass die Verlangsamung nicht durch die Pipeline selbst, sondern durch einen externen infrastrukturellen Faktor verursacht wurde.

Ursache

Ich identifizierte einen falsch konfigurierten Lizenzserver als Ursache.

Nach der Migration funktionierte dieser nicht mehr korrekt: Jeder Lizenz-Checkout führte zu einem Timeout, gefolgt von einem Retry-Zyklus.

Da dieser Prozess für jede einzelne Übersetzungseinheit ausgeführt wurde, summierte sich die Verzögerung massiv.

Zusätzlich waren auch einige Entwickler betroffen, da ihre IDEs dieselben Lizenzprüfungen durchführten und dadurch ebenfalls ausgebremst wurden.

Die Lösung

Ich passte die Konfiguration des Lizenzservers an die neue Netzwerktopologie nach der Migration an.

Die Pipeline-Laufzeit reduzierte sich dadurch nicht nur um die vorherige Regression, sondern verbesserte sich insgesamt deutlich. Die Builds auf Azure liefen anschließend bis zu 43 % schneller als die ursprüngliche On-Premise-Baseline.

Zur Absicherung implementierte ich ein Monitoring, das zukünftige Fehlkonfigurationen frühzeitig erkennt, insbesondere nach Aktualisierungen des Lizenzsystems.

Ergebnis

• Build-Dauer: 32 % bis 43 % schneller als On-Premise
• Verbesserte Developer Experience durch schnellere IDE-Reaktionen
• Reduzierte Cloud-Kosten durch kürzere Laufzeiten und frühere Deprovisionierung
• Skalierung: 50 Pipelines profitieren von der Optimierung
• Gesamtaufwand: 5 Tage von Analyse bis validiertem Ergebnis