Databricksは、新しいGovernance Hubを3つのクラウドすべてでほぼ同じ言葉で定義しています。すなわち “Databricksアカウント全体のガバナンスを監視するための、一元化されたアカウントレベルのUI”であり、 “優先度付きのインサイトとレコメンデーションを備えた、データの健全性とカバレッジ、AIの利用状況と支出、コストドライバーの統合ビュー”を提供するもの、という説明です。 実際のところ、これは管理者が自前で作り続けてきたダッシュボードが、プラットフォームの一部として提供されるようになったものです。
そう断言できるのは、需要が記録に残っているからです。1月、Databricksのコミュニティフォーラムに、まさにこれ、つまり主要なガバナンス指標を1か所にまとめた既製のビューを求める投稿がありました。同じスレッドでは別のユーザーが、自分のチームはすでにそのダッシュボードをPower BIで自作している最中だと答えています。ワークスペースを数個以上運用している組織なら、あなたの近くの誰かも、システムテーブルと善意を材料に、おそらく同じものを作っているはずです。Governance Hubは、そのダッシュボードをDatabricksが製品として出荷したものです。
手に入るものを平たく言えば、ワークスペースの中ではなく account console(アカウントコンソール)にある1つの画面で、Data、AI、Cost、そして8月中旬からはTagsの各ページで構成されています。AWS、Azure、GCPでBetaとして提供中で、デフォルトでは無効になっており、アカウント管理者がaccount consoleのPreviewsページから有効化します。ドキュメントには、有効化後にデータが表示されるまで最大1日かかる場合があるという注意書きがあります。誰に何が見えるかはロールで区切られています。アカウント管理者はすべてを見られ、ワークスペース管理者は自分のワークスペースにスコープされたCostページを、メタストア管理者は自分のメタストアのカタログを対象とするDataページを見られます。
この製品はしばらく前から成熟を重ねてきました。遅くとも 1 月には Private Preview となり、7 月 22 日に Beta へ移行、8 月 13 日に Tags ページが追加され、8 月 26 日に公式のローンチ記事が公開されました。
4 つのページと、それぞれに表示される内容
以下のタイルはいずれもドキュメントに名前が記載されており、各ページを正しく読み解くための実践的なポイントも併せてまとめています。クリックして順にご覧ください。
データ資産を数え上げる
“オブジェクトへのアクセス、資産の利用状況、ガバナンス対象タグ、データ分類、データ品質モニタリングを含む、データ資産の概要”です。タイルには、カタログ数と資産数(テーブル、ビュー、モデル、ボリューム、関数)、直近30日間のクエリ量、そしてタグ、分類、品質モニタリングの各カバレッジが表示されます。
トークン支出に定位置ができた
“Databricksアカウント全体にわたるAIの利用状況と支出の一元的なビュー”です。タイルは、トークン使用量、ガードレールでカバーされているAIトラフィックの割合、Unity AI Gatewayの予算、そして直近30日間のアクティブなモデルとユーザーをカバーします。
支出、ただし定価で
“コストドライバー、予算、タグ付けのカバレッジ、コストに関するレコメンデーションを含む、Databricksでの支出全体の概要”です。Explorerでは支出を製品別、リソース別、ワークスペース別、タグ別に切り分け、汎用クラスター、DLTパイプライン、ジョブ、モデルサービングエンドポイント、SQLウェアハウスまで掘り下げられます。ビューのデフォルトは直近30日間で、直前の期間との比較で表示されます。
最も新しく、最も制限が厳しいページ
8月13日に追加されました。“最近のタグ割り当て、ガバナンス対象タグの利用状況、そしてギャップを解消するためのレコメンデーションを含む、アカウント全体でのタグ適用状況の概要”です。割り当ての表示対象は直近30日間で、タグの由来がユーザーか、データ分類か、タグの伝播かも記録されます。
ハブからできること
事前に知っておく価値のある設計上の判断が 1 つあります。ドキュメントからそのまま引用します。 “Governance Hub は新しい権限を導入せず、データやリソースへのアクセスを管理することもありません。” ハブが担うのは監視と推奨です。実際の制御は、Unity Catalog の権限付与、分類設定、タグ付けといった、チームが既に管理している場所にそのまま残ります。
ハブ内で実行できる操作
- AI Gatewayの予算。AIページから、しきい値も含めて編集と削除ができます。
- 予算全般。アクセス権限表とCostページの記載によれば、自分のワークスペースにスコープした形で作成と管理ができます。
- ガバナンス対象タグ。DataページのManageフローから、作成と値の編集ができます。
- ガバナンス対象タグを誰が管理できるかを定めるアカウントレベルの権限。Permissionsタブから設定できます。
これまでどおり別の場所で管理するもの
- データに対する権限の付与と取り消し: Unity Catalog で行います。
- ABAC (属性ベースアクセス制御) ポリシー、行フィルター、列マスク: Unity Catalog で管理します。
- 分類(カタログ単位で有効化)と品質モニタリング。どちらもハブの外で有効にします。
- 推奨事項への対応: 各推奨事項から適切な場所へのリンクが用意されています。
この統合こそが要点です。これまで同じテレメトリーは、ブログ自身の言葉を借りれば “システムテーブル、ワークスペースレベルのビュー、サードパーティーツールに散在” していました。一貫した 30 日間の集計期間を持つ 1 つの画面によって、ガバナンスに関する問いに答えられる人が変わります。アカウント管理者はクエリを 1 本も書かずにカバレッジ、支出、アクセスパターンを確認できるようになり、推奨キューはデータスチュワードにすぐ使える作業リストを提供します。
今後の予定
ハブにおける Genie。 ローンチ記事では、自然言語でハブに質問するデモが紹介されており、“まもなく” Genie が推奨タグの適用のようなガバナンス操作をユーザーに代わって実行できるようになるとしています。ドキュメントに記載されているのは現時点で利用できる画面であり、Genie の体験は Databricks が次に提供するとしているものです。
価格と GA。 ハブの価格はまだ発表されておらず、Beta を終了する日程も決まっていません。ハブが監視対象とする機能のうち、データ分類とデータ品質の異常検知の 2 つはそれぞれ独自の SKU で課金されるため、どの範囲まで有効化するかを計画する際にはこの点を織り込んでください。
更新頻度。 ドキュメントには、有効化後にデータの読み込みに最大 1 日かかる場合があると記載されています。タイルの継続的な更新頻度については、まだドキュメント化されていません。
私たちなら、この四半期にこうします
Databricks アカウントを管理しているなら、まず有効化しましょう。オプトイン方式で、誰にも新しいアクセス権を与えることはなく、Access Summary とタグ未設定支出のドリルダウンは初日にクリックする価値があります。
分類とデータ品質の分母を自社環境と照らし合わせて、カバレッジの数値が何を表しているのかを把握してください。あわせて Cost ページの 1 か月分を請求書と突き合わせ、定価ベースの金額を実感のある数字にしておきましょう。
推奨キューは、スチュワードシップを担う担当者のバックログ生成源として活用しましょう。チームが自作のガバナンスダッシュボードをすでに運用している場合は、タグ、分類、品質、予算、支出をハブに任せ、自作ダッシュボードは ABAC のカバレッジや監査ログ分析など、そこでしかカバーできない領域に絞り込むことができます。
これらの事実の出どころ
AWS、Azure、GCP の各版の Governance Hub ドキュメント: 概要ページ (8 月 21 日更新、いずれも Beta バッジ付き)、Data、AI、Cost の各ページ (7 月 22 日更新)、そして 8 月 13 日に追加された Tags ページ。7 月 22 日 (Beta)、8 月 7 日 (タグ自動化)、8 月 13 日 (Tags ページ) のリリースノート。Genie のデモとロードマップに関する記述が掲載されている、8 月 26 日のローンチ記事 “Introducing Governance Hub”。そして、まさにこの製品への要望と Power BI による回避策の両方が記録に残っている、1 月のコミュニティスレッド。
