← ニュース一覧
Databricks Blog2026年5月8日
Genie Codeにおける従来の機械学習の評価を改善するためのMemAlignの使用
英語原文から AI が翻訳しました。 英語版を見る
要約
オープンソースのMLflowフレームワークであるMemAlignは、主要な側面でLLMジャッジのエラーを74〜89%削減することにより、Genie Codeにおける従来の機械学習の評価を大幅に改善しました。このアライメントは、約50のラベル付き例で達成され、LLMジャッジと人間の専門家の間のギャップを埋めるために、セマンティックメモリとエピソードメモリの両方の重要性を示しています。
* Genie Codeは自然言語プロンプトから完全なMLノートブックを生成します。私たちは、モデルトレーニング、データ補完、特徴量エンジニアリングなどの側面でその品質を評価するために9つのLLMジャッジを構築しました。 * 人間によるアノテーションにより、ジャッジが3点スケールで最大0.68 MAEで専門家と意見が異なることが明らかになりました。MLflowのオープンソースアライメントフレームワークであるMemAlignは、わずか約50のラベル付き例を使用してこのギャップを埋めました。 * 最もアライメントが悪かった3つの側面では、MemAlignはジャッジのエラーを74〜89%削減し、追跡調査では、セマンティックメモリとエピソードメモリの両方が結果に不可欠であることが示されました。