Zum Inhalt springen
← Alle News
Databricks Blog6. Oktober 2026

Skalierung und Betrieb eines großen dbt-Projekts auf Databricks: Das Data-Team von IFCO über Performance, Transparenz und Debugging

Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen

Zusammenfassung

Durch das Tuning von dbt-Inkrementalmodellen mit Liquid Clustering, Dynamic File Pruning und gezielten Merge-Strategien konnte IFCO die Laufzeit seiner Core-Jobs um über 60 % senken und nächtliche Full Refreshes überflüssig machen. Dank der Diagnose realer Ausführungspläne und der Orchestrierung von Modellen als separate Databricks Jobs-Tasks über das Open-Source-Tool databricks-dbt-factory gewann das Team modellgenaue Transparenz, zielgerichtete Wiederholungen und erzwingbare Tests.

* Tuning von dbt-Inkrementalmodellen mit Liquid Clustering, einer gezielten Merge-Strategie und Dynamic File Pruning, sodass jeder Lauf nur die veränderten Zeilen schreibt. Dies reduzierte die Core-Job-Laufzeit von IFCO um über 60 % und machte nächtliche Full Refreshes überflüssig. * Diagnose langsamer Modelle anhand des tatsächlichen Ausführungsplans statt des kompilierten SQL, da dort die wahren Ursachen sichtbar werden. IFCO hat diese Diagnose in eine wiederverwendbare Skill verpackt, die bei jedem Modell ausgeführt wird. * Ausführung des dbt-Projekts als ein Task pro Modell auf Databricks Jobs mit der Open-Source-Lösung databricks-dbt-factory anstelle eines intransparenten Gesamt-Jobs. Dies sorgt für modellgenaue Transparenz, zielgerichtete Wiederholungen und erzwungene Tests.

Ähnliche Artikel

News

Interaktive Databricks-Referenzarchitekturen für 70 Branchen

databricks-blog23h ago
News

Warum PostgreSQL 19 verspätet veröffentlicht wurde

databricks-blog1d ago
News

Genie ZeroOps jetzt in der Public Beta: Ein autonomer Agent zur Reparatur von Datenpipelines mit Erkenntnissen aus 80.000 Kundenproblemen

databricks-blog1d ago
News

Genie One-Genauigkeit: Warum kuratierte Agenten einen governten Kontext benötigen

databricks-blog1d ago