MHHS向けスケーリング：Octopus Energyがマージンデータエンジニアリングで50倍のコスト削減を達成した方法

英語原文から AI が翻訳しました。 英語版を見る

* 内容：Octopus Energyが英国のMHHS規制に対応するため、Databricks上でマージンデータパイプラインを再設計した方法。 * 課題：MHHSによりデータ量が48倍に増加（1世帯あたり月2回のメーター読み取り → 1日48回）。既存の単一粒度アーキテクチャでは、パイプラインコストが年間約100万ドル増加すると予測されていました。 * 結果：3人のエンジニアが3ヶ月でパイプラインを再構築し、決済日あたりのコストを23.63ドルから0.48ドルに削減しました。これはMHHSの予測よりも50倍安く、48倍のデータ量にもかかわらずレガシーシステムよりも2倍安価です。Delta Lake Change Data Feedにより、処理行数が98.8%削減され（250億行 → 3億行）、鮮度が週次から日次に向上しました。Databricks Serverlessは、迅速なイテレーション期間を可能にしました。