Databricks는 새로 선보인 Governance Hub를 세 클라우드 모두에서 거의 같은 문구로 정의합니다. “Databricks 계정 전반의 거버넌스를 모니터링하기 위한 중앙화된 계정 수준 UI”라고 소개하며, “데이터 상태와 커버리지, AI 사용량과 지출, 비용 동인을 우선순위가 매겨진 인사이트 및 권장 사항과 함께 보여주는 통합 뷰”를 제공한다고 설명합니다. 실제로 보면, 관리자들이 그동안 직접 만들어 쓰던 바로 그 대시보드가 플랫폼의 일부로 제공되는 셈입니다.
이 수요는 이미 기록으로 남아 있기 때문에 그렇게 말할 수 있습니다. 지난 1월, Databricks 커뮤니티 포럼의 한 사용자가 정확히 이것, 핵심 거버넌스 지표를 한곳에 모아 보여주는 미리 만들어진 뷰를 요청했고, 같은 스레드의 다른 사용자는 자기 팀이 이미 그 대시보드를 Power BI로 직접 만들고 있다고 답했습니다. 워크스페이스를 몇 개 이상 운영하는 조직이라면, 주변의 누군가가 시스템 테이블과 선의를 재료 삼아 비슷한 대시보드를 이미 만들어 두었을 가능성이 큽니다. Governance Hub는 Databricks가 그 대시보드를 제품으로 만들어 내놓은 결과물입니다.
제공되는 내용을 담백하게 말하면 이렇습니다. 워크스페이스가 아니라 account console(계정 콘솔)에 있는 화면 하나이며, Data, AI, Cost 페이지에 더해 8월 중순부터는 Tags 페이지가 있습니다. AWS, Azure, GCP에서 Beta로 제공되고, 기본적으로 꺼져 있으며, 계정 관리자가 account console의 Previews 페이지에서 켭니다. 문서에는 활성화 후 데이터가 나타나기까지 최대 하루가 걸릴 수 있다는 경고가 있습니다. 누가 무엇을 보는지는 역할로 나뉩니다. 계정 관리자는 전체를 보고, 워크스페이스 관리자는 자신의 워크스페이스로 범위가 제한된 Cost 페이지를 보며, 메타스토어 관리자는 자기 메타스토어의 카탈로그에 대한 Data 페이지를 봅니다.
이 제품은 한동안 꾸준히 다듬어져 왔습니다. 늦어도 1월부터 Private Preview였고, 7월 22일에 Beta로 전환되었으며, 8월 13일에 Tags 페이지가 추가되었고, 8월 26일에 공식 출시 발표 글이 게시되었습니다.
네 개의 페이지, 그리고 각 페이지가 보여 주는 것
아래의 모든 타일은 문서에 명시된 이름 그대로이며, 각 페이지를 올바르게 읽는 데 도움이 되는 실용적인 세부 정보를 함께 정리했습니다. 클릭해서 하나씩 살펴보시기 바랍니다.
데이터 자산 전체를 숫자로 셉니다
“개체 접근, 자산 사용, 거버넌스 태그, 데이터 분류, 데이터 품질 모니터링을 포함한 데이터 자산 전반의 개요.” 타일은 카탈로그와 자산(테이블, 뷰, 모델, 볼륨, 함수) 수, 최근 30일간의 쿼리 볼륨, 그리고 태그, 분류, 품질 모니터링의 커버리지를 집계해 보여줍니다.
토큰 지출에도 자리가 생겼습니다
“Databricks 계정 전반의 AI 사용량과 지출을 한곳에서 보는 중앙화된 뷰.” 타일은 토큰 사용량, 가드레일이 적용되는 AI 트래픽 비중, Unity AI Gateway 예산, 그리고 최근 30일간의 활성 모델과 사용자를 다룹니다.
지출, 다만 정가(list price) 기준입니다
“비용 동인, 예산, 태깅 커버리지, 비용 권장 사항을 포함한 Databricks 전체 지출의 개요.” Explorer에서는 지출을 제품, 리소스, 워크스페이스, 태그별로 잘라 볼 수 있고, all-purpose 클러스터, DLT 파이프라인, 잡, 모델 서빙 엔드포인트, SQL 웨어하우스 단위까지 파고들 수 있습니다. 뷰는 기본적으로 최근 30일을 직전 기간과 비교해 보여줍니다.
가장 새로운 페이지이자 가장 제한된 페이지
8월 13일에 추가되었습니다. “최근 태그 할당, 거버넌스 태그 사용 현황, 공백을 메우기 위한 권장 사항을 포함해 계정 전반에서 태그가 어떻게 적용되는지 보여주는 개요.” 할당 내역은 최근 30일 치를 보여주며, 태그가 사용자, 데이터 분류, 태그 전파 중 어디에서 왔는지 기록합니다.
허브에서 할 수 있는 일
미리 알아 두면 좋은 설계상의 결정이 하나 있는데, 문서에 다음과 같이 그대로 명시되어 있습니다. “Governance Hub는 새로운 권한을 도입하지 않으며, 데이터나 리소스에 대한 접근을 관리하지도 않습니다.” 허브는 모니터링하고 권장 사항을 제시할 뿐이며, 실제 제어는 팀이 이미 관리하고 있는 곳, 즉 Unity Catalog 권한 부여, 분류 설정, 태깅에 그대로 남아 있습니다.
허브에서 수행할 수 있는 작업
- AI Gateway 예산: AI 페이지에서 임계값까지 포함해 편집하고 삭제할 수 있습니다.
- 예산 전반: 접근 권한 표와 Cost 페이지 설명에 따라, 자신의 워크스페이스로 범위가 제한된 상태에서 생성하고 관리할 수 있습니다.
- 거버넌스 태그: Data 페이지의 Manage 흐름에서 생성하고 값을 편집할 수 있습니다.
- 거버넌스 태그를 관리할 수 있는 사람을 정하는 계정 수준 권한: Permissions 탭에서 조정합니다.
이전과 마찬가지로 다른 곳에서 관리되는 항목
- 데이터에 대한 권한 부여와 회수: Unity Catalog에서.
- ABAC(속성 기반 접근 제어) 정책, 행 필터, 열 마스크: Unity Catalog에서 관리.
- 분류(카탈로그 단위로 활성화)와 품질 모니터링: 둘 다 허브 밖에서 켭니다.
- 권장 사항에 따른 조치: 각 항목이 적절한 위치로 연결해 줍니다.
핵심은 통합에 있습니다. 이전에는 동일한 텔레메트리가, 블로그의 표현을 빌리면 “시스템 테이블, 워크스페이스 수준의 뷰, 서드파티 도구에 흩어져” 있었습니다. 일관된 30일 기준을 갖춘 화면 하나는 거버넌스 질문에 답할 수 있는 사람을 바꿔 놓습니다. 이제 계정 관리자는 쿼리를 한 줄도 작성하지 않고 커버리지, 지출, 접근 패턴을 확인할 수 있고, 권장 사항 대기열은 데이터 스튜어드에게 바로 쓸 수 있는 작업 목록을 제공합니다.
앞으로 나올 것들
허브 속의 Genie. 출시 발표 글에서는 허브에 자연어로 질문하는 모습을 시연하며, “곧” Genie가 권장 태그를 적용하는 것과 같은 거버넌스 작업을 대신 수행할 수 있게 될 것이라고 밝히고 있습니다. 문서는 현재 이용할 수 있는 화면을 설명하고 있으며, Genie 경험은 Databricks가 다음 차례로 예고하는 부분입니다.
가격과 GA. 허브의 가격은 아직 발표되지 않았고, Beta를 벗어나는 날짜도 정해지지 않았습니다. 허브가 모니터링하는 기능 중 데이터 분류와 데이터 품질 이상 감지 두 가지는 자체 SKU로 과금되므로, 얼마나 넓게 활성화할지 계획할 때 이 비용을 함께 고려하는 것이 좋습니다.
새로 고침 주기. 문서에는 활성화 후 데이터가 로드되기까지 최대 하루가 걸릴 수 있다고 명시되어 있으며, 타일의 상시 새로 고침 주기는 아직 문서화되어 있지 않습니다.
우리라면 이번 분기에 이렇게 하겠습니다
Databricks 계정을 관리하고 있다면 켜 보시기 바랍니다. 옵트인 방식이고, 누구에게도 새로운 접근 권한을 부여하지 않으며, Access Summary와 태그 없는 지출의 드릴다운은 첫날부터 클릭해 볼 만한 가치가 있습니다.
분류와 품질의 분모를 실제 환경과 대조해 커버리지 수치가 무엇을 설명하는지 파악해 두고, Cost 페이지 한 달치를 청구서와 대조해 정가 기준이 실제로 어떤 수치인지 확인해 두시기 바랍니다.
권장 사항 대기열은 스튜어드십을 담당하는 사람을 위한 백로그 생성기로 활용해 보시기 바랍니다. 팀에서 이미 자체 제작한 거버넌스 대시보드를 운영하고 있다면, 태그, 분류, 품질, 예산, 지출은 허브에 맡기고, 자체 대시보드는 ABAC 커버리지나 감사 로그 분석처럼 그 대시보드만이 다루는 영역에 집중하도록 범위를 좁힐 수 있습니다.
이 글의 사실은 어디에서 왔는가
AWS, Azure, GCP의 Governance Hub 문서: 개요 페이지(8월 21일 업데이트, 모두 Beta 배지 표시)와 Data, AI, Cost 페이지(7월 22일 업데이트), 그리고 8월 13일에 추가된 Tags 페이지. 7월 22일(Beta), 8월 7일(태그 자동화), 8월 13일(Tags 페이지)의 릴리스 노트. Genie 시연과 로드맵 관련 표현이 담긴 8월 26일의 출시 발표 글 “Introducing Governance Hub”. 그리고 바로 이런 제품에 대한 수요와 Power BI 우회 방법이 모두 기록으로 남아 있는 1월의 커뮤니티 스레드.

