임시방편 수정에서 측정 가능한 개선으로: ai_extract와 MLflow Prompt Registry로 문서 추출 정확도 높이기
영어 원문을 AI가 번역했습니다. 영어로 보기
문제에 맞는 해법을 선택하면 ai_extract 정확도를 높일 수 있습니다. 필드 단위 규칙에는 스키마 설명, 문서 단위 로직에는 프롬프트, 구조적 복잡성에는 precision mode, 오류 진단에는 citations를 사용합니다. 프롬프트와 스키마는 MLflow Prompt Registry에서 버전 관리하고, 별칭(alias)으로 배포하거나 롤백하며, 승격 전에 사람이 검토한 정답 데이터와 후보를 비교합니다. 이 평가-수정 루프의 상당 부분은 Genie Code가 자동화합니다.
* **모든 것을 직접 할 필요는 없습니다:** [Genie Code for document processing](https://docs.databricks.com/aws/en/large-language-models/genie-code-document-processing)은 이 워크플로의 핵심을 자동화합니다. 레이블이 지정된 데이터를 기준으로 필드별 추출 점수를 매기고, 스키마와 지침 수정안을 검토 가능한 diff로 제안하며, 평가를 다시 실행해 수정 전후 결과를 보여줍니다. * **적절한 방법으로 ai_extract 정확도 개선:** 필드 단위 규칙에는 스키마 설명, 문서 단위 로직에는 프롬프트, 구조적 복잡성에는 precision mode, 오류 진단에는 citations를 사용합니다. * **MLflow Prompt Registry로 프롬프트와 스키마 버전 관리:** 추출 로직을 버전이 지정된 아티팩트로 추적하고, 파이프라인 코드를 수정하는 대신 별칭으로 변경 사항을 배포하거나 롤백합니다. * **승격 전에 변경 사항 평가:** 사람이 검토한 고정 정답 데이터와 후보를 비교하면서 정확도, 커버리지, 실행 간 편차를 추적합니다.