dbt Labs와 Fivetran, dbt 워크로드를 모델 단위로 데이터 레이크로 이전

팀은 Fivetran의 관리형 데이터 레이크, 의존하는 dbt 모델과 BI 대시보드를 그대로 유지하면서 Snowflake 네이티브 테이블을 Iceberg로 제자리에서 전환하는 "Move", 단순한 dbt 모델을 하나씩 더 저렴한 레이크 네이티브 컴퓨팅으로 옮기는 Lake Compute를 활용해 dbt 워크로드를 오픈 Iceberg 기반 데이터 레이크로 점진적으로 이전할 수 있습니다. Iceberg REST 카탈로그(Apache Polaris, Glue 또는 Unity Catalog 연동 지원)를 중심으로 설계되어 Snowflake, Databricks, BigQuery가 동일한 데이터를 공유할 수 있으며, 이 접근 방식으로 한 Snowflake 컴퓨팅 비용을 약 15~20% 절감했습니다. 대상은 발표자들이 전체 스택 지출의 약 75%로 추산한 수집과 변환입니다.