Comment WMCHealth a ramené un pipeline dbt de 72 à 5 minutes grâce à une seule variable d'environnement
Traduit de l'original anglais par IA. Voir en anglais
WMCHealth a réduit le rafraîchissement d'un pipeline dbt de 72 minutes à cinq minutes en faisant basculer un modèle entre deux modes d'exécution via une seule variable d'environnement, `ENV_NRT` : uniquement les enregistrements actifs sous forme de table toutes les cinq minutes, ou le jeu de données complet en incrémental pendant la nuit. Le modèle fonctionne à partir d'une seule base de code, réduit le temps d'exécution médian de 93,6 % (de 4 340 à 278 secondes) et traite plus de 99 % de données en moins à chaque exécution quasi temps réel. Il s'appuie sur la propagation des inner joins pour répercuter gratuitement le périmètre réduit dans tout le DAG.
WMCHealth a utilisé un seul modèle dbt pour alimenter des analyses toutes les cinq minutes et un audit nocturne complet.
