← 전체 뉴스
Databricks Blog2026년 5월 23일
MHHS를 위한 스케일링: Octopus Energy가 마진 데이터 엔지니어링에서 50배 비용 절감을 달성한 방법
영어 원문을 AI가 번역했습니다. 영어로 보기
요약
Octopus Energy는 영국 MHHS 규제에 맞춰 Databricks에서 재설계하여 마진 데이터 엔지니어링 파이프라인에서 50배의 비용 절감을 달성했습니다. Delta Lake Change Data Feed와 Databricks Serverless를 활용하여 원래 비용의 일부로 48배 더 많은 데이터를 처리하고, 데이터 신선도를 주간에서 일간으로 개선했습니다.
* 내용: Octopus Energy가 영국 MHHS 규제를 충족하기 위해 Databricks에서 마진 데이터 파이프라인을 재설계한 방법. * 도전 과제: MHHS는 데이터 볼륨을 48배 증가시킵니다(가구당 월 2회 검침 → 일 48회). 기존 단일 세분화 아키텍처에서는 파이프라인 비용이 연간 약 100만 달러 증가할 것으로 예상되었습니다. * 결과: 3명의 엔지니어가 3개월 만에 파이프라인을 재구축하여 결제일당 비용을 23.63달러에서 0.48달러로 절감했습니다. 이는 MHHS 예상보다 50배 저렴하며, 48배 더 많은 데이터에도 불구하고 레거시 시스템보다 2배 저렴합니다. Delta Lake Change Data Feed는 처리된 행 수를 98.8% 감소시켰고(250억 → 3억), 데이터 신선도를 주간에서 일간으로 향상시켰습니다. Databricks Serverless는 빠른 반복 주기를 가능하게 했습니다.