A Databricks define seu novo Governance Hub com quase as mesmas palavras nas três nuvens: “uma interface centralizada, no nível da conta, para monitorar a governança em toda a sua conta Databricks”, que oferece “uma visão unificada da saúde e da cobertura dos dados, do uso e do gasto com IA e dos direcionadores de custo, com insights e recomendações priorizados.” Preciso, e ainda assim subestima o fato mais útil: este é o dashboard que os admins viviam construindo por conta própria.
Sabemos disso porque a demanda está registrada. Em janeiro, alguém no fórum da comunidade Databricks pediu exatamente isso, uma visão pronta dos principais indicadores de governança em um só lugar, e outro usuário na thread respondeu que a própria equipe já estava construindo esse dashboard sozinha, no Power BI. Se a sua organização opera mais do que um punhado de workspaces, alguém perto de você provavelmente construiu um também, à base de system tables e boas intenções. O Governance Hub é a Databricks entregando esse dashboard como produto.
A versão direta do que você recebe: uma tela no account console, e não em um workspace, com páginas de Data, AI, Cost e, desde meados de agosto, Tags. Está em Beta na AWS, no Azure e no GCP, vem desativado por padrão, e um account admin o ativa na página Previews do account console. A documentação avisa que os dados podem levar até um dia para aparecer depois da ativação. Quem vê o quê é definido por papel: account admins veem tudo, workspace admins veem a página Cost restrita aos seus workspaces, e metastore admins veem a página Data para os catálogos do seu metastore.
Uma coisa a saber antes do tour: este produto é mais velho que o próprio lançamento. O post do blog chegou em 26 de agosto com a palavra “inteligente” no título, mas o produto em si chegou ao Beta cinco semanas antes, e estava em Private Preview desde pelo menos janeiro. O que é genuinamente novo nesta semana é o marketing; a página extra chegou duas semanas antes dele.
As quatro páginas, e as letras miúdas de cada uma
Todos os tiles abaixo estão nomeados na documentação. As ressalvas também, o que conta a favor da Databricks: as letras miúdas existem, só estão espalhadas por quatro páginas de docs. Clique para explorar.
Seu patrimônio de dados, contado
“Uma visão geral do seu patrimônio de dados, incluindo acesso a objetos, uso de ativos, governed tags, classificação de dados e monitoramento de qualidade de dados.” Os tiles contam catálogos e ativos (tabelas, views, modelos, volumes e funções), o volume de queries dos últimos 30 dias e a cobertura de tags, de classificação e de monitoramento de qualidade.
O gasto com tokens ganha endereço fixo
“Uma visão centralizada do uso e do gasto com IA em toda a sua conta Databricks.” Os tiles cobrem o uso de tokens, a fatia do tráfego de IA coberta por guardrails, os budgets do Unity AI Gateway e os modelos e usuários ativos em 30 dias.
O gasto, a preço de tabela
“Uma visão geral de todo o seu gasto com Databricks, incluindo direcionadores de custo, budgets, cobertura de tagging e recomendações de custo.” Um Explorer fatia o gasto por produto, recurso, workspace ou tags, com drill-down em all-purpose clusters, pipelines DLT, jobs, endpoints de model serving e SQL warehouses. As visões vêm por padrão com os últimos 30 dias contra o período anterior.
A página mais nova, e a mais restrita
Adicionada em 13 de agosto: “uma visão geral de como as tags são aplicadas em toda a sua conta, incluindo atribuições recentes de tags, uso de governed tags e recomendações para corrigir lacunas.” As atribuições mostram os últimos 30 dias e registram se uma tag veio de um usuário, da classificação de dados ou da propagação de tags.
O que ele muda, e o que não muda
Os docs trazem uma frase que deveria enquadrar toda conversa sobre este produto: “O Governance Hub não introduz novas permissões, nem gerencia o acesso a dados ou recursos.” É uma camada de leitura. Você olha, ele recomenda, e depois você vai fazer o trabalho em outro lugar: nos grants do Unity Catalog, nas configurações de classificação, na sua disciplina de tagging.
O que ele pode mudar
- Budgets do AI Gateway: editar e excluir na página AI, inclusive os thresholds.
- Budgets em geral: criar e gerenciar, com escopo restrito aos seus workspaces, conforme a tabela de acesso e a página Cost.
- Governed tags: criar e editar seus valores a partir do fluxo Manage da página Data.
- Permissões no nível da conta sobre quem pode gerenciar governed tags, na aba Permissions.
O que fica onde estava
- Todo grant e revoke sobre dados: continua no Unity Catalog.
- Políticas de ABAC (controle de acesso baseado em atributos), row filters, column masks: não aparecem em lugar nenhum da documentação do hub.
- Classificação (habilitada por catálogo) e monitoramento de qualidade: ambos são ativados fora do hub.
- Todas as recomendações: somente leitura, em todas as páginas.
Isso é uma crítica? Nem tanto. Antes disso, a mesma telemetria estava, nas palavras do próprio blog, “espalhada por system tables, visões no nível do workspace e ferramentas de terceiros.” Colocar tudo em uma tela com um recorte consistente de 30 dias é genuinamente útil, e as filas de recomendações rendem boas listas de trabalho para um steward. Mas “governança inteligente no nível da conta” é como o post do blog o intitula, não uma descrição do que é entregue. O que é entregue é monitoramento.
Quatro coisas que a documentação não promete
Um preço. Nem o blog nem qualquer página dos docs diz se o Governance Hub custa alguma coisa, agora ou depois do Beta. Note que dois dos recursos que ele monitora têm, sim, seus próprios medidores de consumo: a classificação de dados e a detecção de anomalias de qualidade de dados são cobradas por meio de SKUs próprios, e os tiles de cobertura do hub apresentam percentuais baixos como lacunas, o que equivale a um convite para habilitar as duas. As duas são cobradas por uso.
A parte do Genie. O blog demonstra perguntas feitas ao hub em linguagem natural e diz que “em breve” o Genie executará ações de governança em seu nome. A documentação, conforme a atualização de 21 de agosto do overview, não menciona o Genie em momento algum. A interface de chat é uma afirmação do blog, e a parte agêntica está explicitamente no futuro. Planeje com base nas telas, não na promessa.
Uma cadência de atualização. A única afirmação sobre latência nos docs é que os dados podem levar até um dia para carregar após a ativação. O quão atualizados os tiles ficam depois disso não está documentado.
Uma data de GA. Nenhum cronograma é dado para a saída do Beta, e nada se diz sobre se um dia ele virá ativado por padrão. O padrão deste rollout até aqui, Beta silencioso primeiro e marketing depois, sugere acompanhar as release notes, e não o blog, para flagrar o momento em que isso mudar.
O que nós faríamos a respeito neste trimestre
Se você administra uma conta Databricks: ative-o. É opt-in, não concede a ninguém nenhum acesso novo, e o pior cenário é um dia de espera pelos dados e um conjunto de tiles pouco impressionante. Os drill-downs de Access Summary e de gasto sem tag valem o clique já no primeiro dia.
Depois, trate os tiles como afirmações a auditar, não como fatos a reportar. Confira os denominadores de classificação e de qualidade contra o seu patrimônio real. Concilie um mês da página Cost com a sua fatura, para que a diferença do preço de tabela seja um número que você conhece, e não uma surpresa em reunião de orçamento.
Use as filas de recomendações como um gerador de backlog para quem for responsável pela stewardship, porque é isso que elas são. E se a sua equipe mantém um daqueles dashboards caseiros de governança, não o aposente ainda: o hub cobre tags, classificação, qualidade, budgets e gasto, mas seu dashboard provavelmente também cobre as coisas que o hub não cobre, entre elas a cobertura de ABAC e as anomalias de audit log.
De onde vêm esses fatos
A documentação do Governance Hub na AWS, no Azure e no GCP: as páginas de overview (atualizadas em 21 de agosto, todas com o selo Beta) e as páginas Data, AI e Cost (atualizadas em 22 de julho), mais a página Tags adicionada em 13 de agosto. As release notes de 22 de julho (Beta), 7 de agosto (automações de tag) e 13 de agosto (página Tags). O post de lançamento “Introducing Governance Hub” de 26 de agosto, que é onde vivem a demonstração do Genie, o enquadramento “agêntico” e a linguagem de roadmap. E a thread de janeiro na comunidade em que a demanda por exatamente este produto, e a solução de contorno em Power BI, estão ambas registradas. Onde o blog e os docs discordam, dissemos isso e não ficamos do lado de nenhum dos dois.