← 전체 뉴스
Databricks Blog2026년 5월 8일
Genie Code에서 전통적인 기계 학습 평가 개선을 위한 MemAlign 사용
영어 원문을 AI가 번역했습니다. 영어로 보기
요약
오픈 소스 MLflow 프레임워크인 MemAlign은 주요 차원에서 LLM 심사위원 오류를 74-89% 줄임으로써 Genie Code에서 전통적인 기계 학습 평가를 크게 개선했습니다. 이 정렬은 약 50개의 레이블이 지정된 예제로 달성되었으며, LLM 심사위원과 인간 전문가 간의 격차를 줄이는 데 의미론적 및 에피소드 기억 모두의 중요성을 보여줍니다.
* Genie Code는 자연어 프롬프트에서 전체 ML 노트북을 생성합니다. 우리는 모델 훈련, 데이터 보간 및 특징 엔지니어링과 같은 차원에서 품질을 평가하기 위해 9개의 LLM 심사위원을 구축했습니다. * 인간 주석 결과, 심사위원은 3점 척도에서 최대 0.68 MAE로 전문가와 의견이 일치하지 않는 것으로 나타났습니다. MLflow의 오픈 소스 정렬 프레임워크인 MemAlign은 약 50개의 레이블이 지정된 예제만 사용하여 이 격차를 줄였습니다. * 가장 정렬이 좋지 않은 세 가지 차원에서 MemAlign은 심사위원 오류를 74-89% 줄였으며, 후속 연구에서는 의미론적 및 에피소드 기억 모두가 결과에 필수적임을 보여주었습니다.