本文へスキップ
← ニュース一覧
Databricks Blog2026年5月8日

Genie Codeにおける従来の機械学習の評価を改善するためのMemAlignの使用

英語原文から AI が翻訳しました。 英語版を見る

要約

オープンソースのMLflowフレームワークであるMemAlignは、主要な側面でLLMジャッジのエラーを74〜89%削減することにより、Genie Codeにおける従来の機械学習の評価を大幅に改善しました。このアライメントは、約50のラベル付き例で達成され、LLMジャッジと人間の専門家の間のギャップを埋めるために、セマンティックメモリとエピソードメモリの両方の重要性を示しています。

* Genie Codeは自然言語プロンプトから完全なMLノートブックを生成します。私たちは、モデルトレーニング、データ補完、特徴量エンジニアリングなどの側面でその品質を評価するために9つのLLMジャッジを構築しました。 * 人間によるアノテーションにより、ジャッジが3点スケールで最大0.68 MAEで専門家と意見が異なることが明らかになりました。MLflowのオープンソースアライメントフレームワークであるMemAlignは、わずか約50のラベル付き例を使用してこのギャップを埋めました。 * 最もアライメントが悪かった3つの側面では、MemAlignはジャッジのエラーを74〜89%削減し、追跡調査では、セマンティックメモリとエピソードメモリの両方が結果に不可欠であることが示されました。

関連記事

News

Unity Gateway Insightsの発表

databricks-blog10h ago
News

MicrosoftエコシステムにおけるGenieの最新情報:Copilot Cowork、チャット、Microsoft Teams、Excelの統合

databricks-blog16h ago
News

AUMOVIOがDatabricks Unity GatewayでAIアクセスを共通化した方法

databricks-blog18h ago
News

Databricksのクラスターレート制限を7.5倍に引き上げた方法

databricks-blog1d ago