← ニュース一覧
Databricks Blog2026年6月10日
モデルに適応するAI Servingプラットフォーム
英語原文から AI が翻訳しました。 英語版を見る
要約
Databricksは、scikit-learnから70BのLLMまで、モデルのリソース要件に手動設定なしで自動適応する完全マネージド型のAI Servingプラットフォームを提供開始しました。セルフマネージド環境からの移行により、インフラコストを最大90%削減し、p99レイテンシーのオーバーヘッドを10ms未満に抑えることが可能です。
* 概要:CPUコア1つの2 MBのscikit-learn分類器から、8基のGPU上のファインチューン済み70B LLMまで、設定なしであらゆるモデルを本番稼働させる完全マネージドプラットフォーム。 * 解決する課題:カスタムモデルはリソースプロファイルやトラフィックパターンが大きく異なるため、単一の静的設定では対応できません。本プラットフォームは自動適応により、すべてのノードの効率を維持しながら低レイテンシーを実現します。 * 成果:300K+ QPS、p99レイテンシーのオーバーヘッド10ms未満を達成し、セルフマネージド環境から移行した顧客のインフラコストを最大90%削減。