Mise à l'échelle pour MHHS : comment Octopus Energy a réduit de 50 fois les coûts d'ingénierie des données de marge
Traduit de l'original anglais par IA. Voir en anglais
Octopus Energy a réalisé une réduction de 50 fois des coûts de ses pipelines d'ingénierie des données de marge en ré-architecturant sur Databricks pour la réglementation britannique MHHS. Ils ont tiré parti de Delta Lake Change Data Feed et de Databricks Serverless pour traiter 48 fois plus de données à une fraction du coût initial, améliorant la fraîcheur des données de hebdomadaire à quotidienne.
* Ce que c'est : Comment Octopus Energy a ré-architecturé ses pipelines de données de marge sur Databricks pour se conformer à la réglementation britannique MHHS. * Le défi : MHHS multiplie le volume de données par 48 (deux relevés de compteur par foyer par mois → 48 par jour), ce qui devrait ajouter environ 1 million de dollars/an aux coûts des pipelines avec l'architecture mono-grain existante. * Le résultat : Trois ingénieurs ont reconstruit les pipelines en trois mois, réduisant le coût par date de règlement de 23,63 $ à 0,48 $ – 50 fois moins cher que la projection MHHS et 2 fois moins cher que le système existant malgré 48 fois plus de données. Delta Lake Change Data Feed a entraîné une réduction de 98,8 % des lignes traitées (25 milliards → 300 millions) et a amélioré la fraîcheur des données de hebdomadaire à quotidienne ; Databricks Serverless a permis la fenêtre d'itération rapide.