Skalierung für MHHS: Wie Octopus Energy eine 50-fache Kostenreduzierung im Margin Data Engineering erreichte
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
Octopus Energy hat durch die Neugestaltung ihrer Margin-Daten-Engineering-Pipelines auf Databricks für die britische MHHS-Regulierung eine 50-fache Kostenreduzierung erzielt. Sie nutzten Delta Lake Change Data Feed und Databricks Serverless, um 48-mal mehr Daten zu einem Bruchteil der ursprünglichen Kosten zu verarbeiten und die Aktualität von wöchentlich auf täglich zu verbessern.
* Was es ist: Wie Octopus Energy seine Margin-Daten-Pipelines auf Databricks neu gestaltete, um die britische MHHS-Regulierung zu erfüllen. * Die Herausforderung: MHHS vervielfacht das Datenvolumen um das 48-fache (zwei Zählerablesungen pro Haushalt pro Monat → 48 pro Tag), was unter der bestehenden Single-Grain-Architektur voraussichtlich ~1 Million US-Dollar/Jahr zu den Pipeline-Kosten hinzufügen würde. * Das Ergebnis: Drei Ingenieure bauten die Pipelines in drei Monaten neu auf und senkten die Kosten pro Abrechnungsdatum von 23,63 $ auf 0,48 $ – 50-mal günstiger als die MHHS-Prognose und 2-mal günstiger als das Altsystem, trotz 48-mal mehr Daten. Delta Lake Change Data Feed führte zu einer 98,8%igen Reduzierung der verarbeiteten Zeilen (25 Mrd. → 300 Mio.) und erhöhte die Aktualität von wöchentlich auf täglich; Databricks Serverless ermöglichte das schnelle Iterationsfenster.