Aller au contenu
← Toutes les actus
Databricks Blog6 octobre 2026

Mise à l'échelle et exploitation d'un grand projet dbt sur Databricks : l'équipe data d'IFCO aborde performance, visibilité et débogage

Traduit de l'original anglais par IA. Voir en anglais

Résumé

L'optimisation des modèles incrémentaux dbt grâce au liquid clustering, au dynamic file pruning et à des stratégies de fusion réfléchies a réduit le temps d'exécution des tâches principales d'IFCO de plus de 60 % et a permis de supprimer les rafraîchissements complets nocturnes. En diagnostiquant les plans de requêtes réellement exécutés et en orchestrant les modèles sous forme de tâches Databricks Jobs distinctes via l'outil open source databricks-dbt-factory, l'équipe a gagné en visibilité par modèle, en exécutions ciblées et en tests renforcés.

* Optimisation des modèles incrémentaux dbt afin que chaque exécution n'écrive que les lignes modifiées, en utilisant le liquid clustering, une stratégie de fusion réfléchie et le dynamic file pruning. Cela a réduit le temps d'exécution des tâches principales d'IFCO de plus de 60 % et a éliminé le rafraîchissement complet nocturne. * Diagnostic des modèles lents à partir du plan de requête réellement exécuté, et non du SQL compilé, car c'est là qu'apparaissent les véritables causes. IFCO a intégré ce diagnostic dans une compétence réutilisable exécutée sur chaque modèle. * Exécution du projet dbt sous forme d'une tâche par modèle sur Databricks Jobs avec l'outil open source databricks-dbt-factory, plutôt qu'en tant que tâche unique opaque. Cela offre une visibilité par modèle, des réexécutions ciblées et des tests obligatoires.

Articles similaires

News

Architectures de référence Databricks interactives pour 70 secteurs

databricks-blog22h ago
News

Pourquoi PostgreSQL 19 a été livré en retard

databricks-blog1d ago
News

Genie ZeroOps, désormais en version bêta publique : un agent autonome qui corrige les data pipelines, nourri par les leçons de 80 000 incidents clients

databricks-blog1d ago
News

Précision de Genie One : pourquoi les agents curatés ont besoin d'un contexte gouverné

databricks-blog1d ago