10万以上のラベルに対応するドキュメント分類のスケールアップ

英語原文から AI が翻訳しました。 英語版を見る

* 生体医学的エンティティのリンク、ベンダーの正規化、企業の重複排除など、10万以上のラベルからなる大規模な分類体系にテキストをマッピングすることは、本番環境でよくある課題です。しかし、正規表現、トレーニング済みの分類器、LLMの直接呼び出しでは、コスト、メンテナンス、コンテキスト制限の面でいずれも困難が伴います。 * 私たちのソリューションは、ベクトル検索とDatabricksのAI Classify関数を組み合わせたものです。ドキュメントごとに候補ラベルのショートリストを取得し、分類体系全体からではなく、そのショートリストの中からAI Classify関数に選択させます。 * これらユースケースにわたる3つのベンチマークにおいて、SQLネイティブのベクトル検索とAI Classifyの組み合わせは、最もコスト効率に優れたフロンティアモデルと比較して、トークンコストを約100分の1に抑えながら、精度で5ポイント上回りました。