Wie WMCHealth eine dbt-Pipeline von 72 auf 5 Minuten verkürzte – mit einer einzigen Umgebungsvariable
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
WMCHealth hat den Refresh einer dbt-Pipeline von 72 auf fünf Minuten verkürzt, indem ein Modell per Umgebungsvariable `ENV_NRT` zwischen zwei Ausführungsmodi umgeschaltet wird: nur aktive Datensätze als Tabelle alle fünf Minuten oder der gesamte Datenbestand inkrementell über Nacht. Das Muster läuft aus einer einzigen Codebasis, senkt die mediane Laufzeit um 93,6 % (von 4.340 auf 278 Sekunden) und verarbeitet pro Near-Real-Time-Lauf über 99 % weniger Daten. Der eingeschränkte Umfang wird dank Inner-Join-Propagation ohne Zusatzaufwand durch den gesamten DAG weitergereicht.
WMCHealth nutzte ein einziges dbt-Modell für Analysen im Fünf-Minuten-Takt und ein vollständiges nächtliches Audit.
