Sunday, October 4, 2026
지난 24시간 동안의 주요 활동은 ai_decide()를 통한 네이티브 SQL 기반 KI(인공지능) 의사결정 기능의 도입과 에이전틱 데이터 앱 운영화에 대한 논의를 중심으로 이루어졌습니다. 또한 데이터 엔지니어들은 Unity Catalog 간의 다중 카탈로그 동기화와 Delta 테이블의 스토리지 유지 관리 문제에도 주목했습니다.
1.Databricks ai_decide(), SQL 파이프라인에 인라인 분류 및 스코어링 내장
Databricks는 베타 버전으로 ai_decide()를 도입하여 SQL 쿼리 내에서 직접 분류, 확률 계산 및 라우팅을 실행하는 기술적 가이드를 제시했습니다. 실무자들은 이 함수를 Databricks SQL 워크플로 전반에서 분리된 LLM 추론 호출을 네이티브 엔진 내 의사결정 로직으로 대체할 수 있는 수단으로 평가하고 있습니다.
2.태스크 기반 비용 할당 요구와 함께 확대되는 에이전틱 데이터 앱
실무자들은 Databricks Apps, Lakeflow, Genie를 전용 에이전틱 데이터 엔지니어링 프레임워크와 결합하여 인터랙티브 데이터 앱을 구축하고 있습니다. 에이전트 배포가 성숙해짐에 따라 운영 초점은 단순한 토큰 추적에서 완료된 작업당 실제 연산 및 모델 비용을 산정하는 방향으로 빠르게 전환되고 있습니다.
출처
- Built a live Helsinki tram tracker on Databricks with Lakeflow, Lakebase, Genie and AppsCommunity · databricks-community · Oct 4
- Building A Data App with dashboard and agentic capabilities in dbxCommunity · reddit · Oct 4
- AltimateAI/altimate-codeProject · TypeScript · Oct 4
- How are you attributing agent cost per successful task, not just per token?Community · databricks-community · Oct 4
3.크로스 카탈로그 페더레이션과 VACUUM 오버헤드로 복잡해진 Lakehouse 스토리지
아키텍트들은 Polaris와 AWS Glue상의 Apache Iceberg를 Unity Catalog와 연결하기 위한 크로스 카탈로그 동기화 패턴을 구현하고 있습니다. 한편, 데이터 플랫폼 팀들은 Delta Lake 테이블 정리 작업 중 vacuum 루틴이 참조되지 않는 수백만 개의 파일을 식별했음에도 의외로 낮은 용량 회복률을 보이는 등 운영상의 마찰을 보고하고 있습니다.