Escalando para MHHS: como a Octopus Energy alcançou uma redução de 50x nos custos de engenharia de dados de margem
Traduzido do original em inglês por IA. Ver em inglês
A Octopus Energy alcançou uma redução de 50x nos custos de seus pipelines de engenharia de dados de margem ao re-arquitetar no Databricks para a regulamentação MHHS do Reino Unido. Eles aproveitaram o Delta Lake Change Data Feed e o Databricks Serverless para processar 48x mais dados a uma fração do custo original, melhorando a atualização de semanal para diária.
* O que é: Como a Octopus Energy re-arquitetou seus pipelines de dados de margem no Databricks para atender à regulamentação MHHS do Reino Unido. * O desafio: MHHS multiplica o volume de dados em 48x (duas leituras de medidor por residência por mês → 48 por dia), projetado para adicionar ~$1M/ano aos custos do pipeline sob a arquitetura de grão único existente. * O resultado: Três engenheiros reconstruíram os pipelines em três meses, cortando o custo por data de liquidação de $23,63 para $0,48 – 50x mais barato que a projeção MHHS e 2x mais barato que o sistema legado, apesar de 48x mais dados. O Delta Lake Change Data Feed impulsionou uma redução de 98,8% nas linhas processadas (25B → 300M) e elevou a atualização de semanal para diária; o Databricks Serverless possibilitou a janela de iteração rápida.