スポット修正から測定可能な改善へ:ai_extract と MLflow Prompt Registry で文書抽出の精度を高める
英語原文から AI が翻訳しました。 英語版を見る
ai_extract の精度向上には、問題に合った対策を選ぶことが重要です。フィールド単位のルールにはスキーマの説明、文書単位のロジックにはプロンプト、構造の複雑さには precision mode、エラーの診断には citations を使います。プロンプトとスキーマは MLflow Prompt Registry でバージョン管理し、エイリアスでデプロイやロールバックを行い、本番への昇格前に人手でレビューされた正解データと候補を比較します。この評価と修正のループの多くを Genie Code が自動化します。
* **すべてを自分で行う必要はありません:** [Genie Code for document processing](https://docs.databricks.com/aws/en/large-language-models/genie-code-document-processing) は、このワークフローの中核を自動化します。ラベル付きデータに対してフィールドごとに抽出をスコアリングし、スキーマと指示の修正案をレビュー可能な差分として提示し、評価を再実行して修正前後の結果を示します。 * **適切な手段で ai_extract の精度を高める:** フィールド単位のルールにはスキーマの説明、文書単位のロジックにはプロンプト、構造の複雑さには precision mode、エラーの診断には citations を使います。 * **MLflow Prompt Registry でプロンプトとスキーマをバージョン管理する:** 抽出ロジックをバージョン管理されたアーティファクトとして追跡し、パイプラインのコードを編集する代わりにエイリアスで変更のデプロイやロールバックを行います。 * **昇格前に変更を評価する:** 固定された、人手でレビューされた正解データと候補を比較し、精度、カバレッジ、実行ごとのばらつきを追跡します。