So automatisierte WebstaurantStore mit Snowflake Cortex AI das dbt-Staging für über 700 Quellen in 90 Tagen

Das dreiköpfige Data-Engineering-Team von WebstaurantStore hat in 90 Tagen mehr als 700 Quellen angebunden – nach eigener Messung rund zehnmal schneller bei der Ingestion –, indem es das dbt-Staging von der Landing-Zone bis zur Bronze-Schicht ohne zusätzliches Personal automatisierte. Snowflake Cortex LLM-Funktionen schlagen aus den Metadaten älterer OLTP-Systeme gut lesbare Spaltennamen und fachliche Definitionen vor, die Engineers in einer Zwischentabelle prüfen. Die dbt-Jinja-Makros lesen aus dieser Tabelle statt aus der rohen KI-Ausgabe.