Mise à l'échelle et exploitation d'un grand projet dbt sur Databricks : l'équipe data d'IFCO aborde performance, visibilité et débogage
Traduit de l'original anglais par IA. Voir en anglais
L'optimisation des modèles incrémentaux dbt grâce au liquid clustering, au dynamic file pruning et à des stratégies de fusion réfléchies a réduit le temps d'exécution des tâches principales d'IFCO de plus de 60 % et a permis de supprimer les rafraîchissements complets nocturnes. En diagnostiquant les plans de requêtes réellement exécutés et en orchestrant les modèles sous forme de tâches Databricks Jobs distinctes via l'outil open source databricks-dbt-factory, l'équipe a gagné en visibilité par modèle, en exécutions ciblées et en tests renforcés.
* Optimisation des modèles incrémentaux dbt afin que chaque exécution n'écrive que les lignes modifiées, en utilisant le liquid clustering, une stratégie de fusion réfléchie et le dynamic file pruning. Cela a réduit le temps d'exécution des tâches principales d'IFCO de plus de 60 % et a éliminé le rafraîchissement complet nocturne. * Diagnostic des modèles lents à partir du plan de requête réellement exécuté, et non du SQL compilé, car c'est là qu'apparaissent les véritables causes. IFCO a intégré ce diagnostic dans une compétence réutilisable exécutée sur chaque modèle. * Exécution du projet dbt sous forme d'une tâche par modèle sur Databricks Jobs avec l'outil open source databricks-dbt-factory, plutôt qu'en tant que tâche unique opaque. Cela offre une visibilité par modèle, des réexécutions ciblées et des tests obligatoires.