A Databricks define seu novo Governance Hub com quase as mesmas palavras nas três nuvens: “uma interface centralizada, no nível da conta, para monitorar a governança em toda a sua conta Databricks”, que oferece “uma visão unificada da saúde e da cobertura dos dados, do uso e do gasto com IA e dos direcionadores de custo, com insights e recomendações priorizados.” Na prática: este é o dashboard que os administradores viviam construindo por conta própria, agora entregue como parte da plataforma.
Sabemos disso porque a demanda está registrada. Em janeiro, alguém no fórum da comunidade Databricks pediu exatamente isso, uma visão pronta dos principais indicadores de governança em um só lugar, e outro usuário na thread respondeu que a própria equipe já estava construindo esse dashboard sozinha, no Power BI. Se a sua organização opera mais do que um punhado de workspaces, alguém perto de você provavelmente construiu um também, à base de system tables e boas intenções. O Governance Hub é a Databricks entregando esse dashboard como produto.
A versão direta do que você recebe: uma tela no account console, e não em um workspace, com páginas de Data, AI, Cost e, desde meados de agosto, Tags. Está em Beta na AWS, no Azure e no GCP, vem desativado por padrão, e um account admin o ativa na página Previews do account console. A documentação avisa que os dados podem levar até um dia para aparecer depois da ativação. Quem vê o quê é definido por papel: account admins veem tudo, workspace admins veem a página Cost restrita aos seus workspaces, e metastore admins veem a página Data para os catálogos do seu metastore.
O produto vem amadurecendo há algum tempo: Private Preview desde pelo menos janeiro, Beta desde 22 de julho, a página Tags adicionada em 13 de agosto e o post oficial de lançamento em 26 de agosto.
As quatro páginas e o que cada uma mostra
Cada tile abaixo tem o nome que aparece na documentação, junto com os detalhes práticos que ajudam a ler cada página corretamente. Clique para explorar.
Seu patrimônio de dados, contado
“Uma visão geral do seu patrimônio de dados, incluindo acesso a objetos, uso de ativos, governed tags, classificação de dados e monitoramento de qualidade de dados.” Os tiles contam catálogos e ativos (tabelas, views, modelos, volumes e funções), o volume de queries dos últimos 30 dias e a cobertura de tags, de classificação e de monitoramento de qualidade.
O gasto com tokens ganha endereço fixo
“Uma visão centralizada do uso e do gasto com IA em toda a sua conta Databricks.” Os tiles cobrem o uso de tokens, a fatia do tráfego de IA coberta por guardrails, os budgets do Unity AI Gateway e os modelos e usuários ativos em 30 dias.
O gasto, a preço de tabela
“Uma visão geral de todo o seu gasto com Databricks, incluindo direcionadores de custo, budgets, cobertura de tagging e recomendações de custo.” Um Explorer fatia o gasto por produto, recurso, workspace ou tags, com drill-down em all-purpose clusters, pipelines DLT, jobs, endpoints de model serving e SQL warehouses. As visões vêm por padrão com os últimos 30 dias contra o período anterior.
A página mais nova, e a mais restrita
Adicionada em 13 de agosto: “uma visão geral de como as tags são aplicadas em toda a sua conta, incluindo atribuições recentes de tags, uso de governed tags e recomendações para corrigir lacunas.” As atribuições mostram os últimos 30 dias e registram se uma tag veio de um usuário, da classificação de dados ou da propagação de tags.
O que você pode fazer a partir dele
Uma decisão de design que vale conhecer desde o início, direto da documentação: “O Governance Hub não introduz novas permissões, nem gerencia o acesso a dados ou recursos.” O hub monitora e recomenda; os controles subjacentes permanecem onde a sua equipe já os gerencia: nos grants do Unity Catalog, nas configurações de classificação e na atribuição de tags.
Ações disponíveis no hub
- Budgets do AI Gateway: editar e excluir na página AI, inclusive os thresholds.
- Budgets em geral: criar e gerenciar, com escopo restrito aos seus workspaces, conforme a tabela de acesso e a página Cost.
- Governed tags: criar e editar seus valores a partir do fluxo Manage da página Data.
- Permissões no nível da conta sobre quem pode gerenciar governed tags, na aba Permissions.
Gerenciado em outro lugar, como antes
- Concessões e revogações de acesso a dados: no Unity Catalog.
- Políticas de ABAC (controle de acesso baseado em atributos), filtros de linha, máscaras de coluna: gerenciados no Unity Catalog.
- Classificação (habilitada por catálogo) e monitoramento de qualidade: ambos são ativados fora do hub.
- Agir sobre as recomendações: cada uma traz um link para o lugar certo.
A consolidação é o ponto central. Antes disso, a mesma telemetria estava, nas palavras do próprio blog, “espalhada por tabelas de sistema, visualizações no nível do workspace e ferramentas de terceiros”. Uma única tela com uma janela consistente de 30 dias muda quem consegue responder a perguntas de governança: um admin de conta agora pode ver cobertura, gastos e padrões de acesso sem escrever uma única query, e as filas de recomendações dão aos data stewards uma lista de trabalho pronta.
O que ainda vem por aí
Genie no hub. O post de lançamento demonstra como fazer perguntas ao hub em linguagem natural e diz que “em breve” o Genie poderá executar ações de governança em seu nome, como aplicar uma tag recomendada. A documentação descreve as telas disponíveis hoje; a experiência com o Genie é o que a Databricks diz que vem a seguir.
Preços e GA. O preço do hub ainda não foi anunciado, e não há data definida para a saída do Beta. Dois dos recursos que ele monitora, a classificação de dados e a detecção de anomalias de qualidade de dados, são cobrados por meio de seus próprios SKUs, então leve isso em conta ao planejar em que escala habilitá-los.
Cadência de atualização. A documentação afirma que os dados podem levar até um dia para carregar após a habilitação; a frequência de atualização contínua dos tiles ainda não está documentada.
O que nós faríamos a respeito neste trimestre
Se você administra uma conta Databricks: ative o hub. Ele é opt-in, não concede nenhum acesso novo a ninguém, e os drill-downs de Access Summary e de gastos sem tag já valem o clique no primeiro dia.
Compare os denominadores de classificação e qualidade com o seu ambiente para saber o que os números de cobertura descrevem, e concilie um mês da página Cost com a sua fatura para que a base de preço de lista seja um número que você conhece.
Use as filas de recomendações como um gerador de backlog para quem for responsável pelo stewardship. Se a sua equipe já mantém um dashboard de governança feito em casa, o hub pode assumir tags, classificação, qualidade, orçamentos e gastos, e o seu próprio dashboard pode se concentrar nas áreas que só ele cobre, como cobertura de ABAC e análise de logs de auditoria.
De onde vêm esses fatos
A documentação do Governance Hub em AWS, Azure e GCP: as páginas de visão geral (atualizadas em 21 de agosto, todas com o selo Beta) e as páginas Data, AI e Cost (atualizadas em 22 de julho), além da página Tags adicionada em 13 de agosto. As notas de versão de 22 de julho (Beta), 7 de agosto (automações de tags) e 13 de agosto (página Tags). O post de lançamento “Introducing Governance Hub” de 26 de agosto, onde estão a demonstração do Genie e a linguagem do roadmap. E a thread de janeiro na comunidade em que a demanda por exatamente este produto e a solução alternativa com o Power BI estão ambas registradas.