Verwendung von MemAlign zur Verbesserung der Bewertung von traditionellem maschinellem Lernen in Genie Code
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
MemAlign, ein Open-Source-MLflow-Framework, verbesserte die Bewertung von traditionellem maschinellem Lernen in Genie Code erheblich, indem es den LLM-Richterfehler in wichtigen Dimensionen um 74-89% reduzierte. Diese Ausrichtung wurde mit ~50 gelabelten Beispielen erreicht und demonstriert die Bedeutung sowohl des semantischen als auch des episodischen Gedächtnisses, um die Lücke zwischen LLM-Richtern und menschlichen Experten zu schließen.
* Genie Code generiert vollständige ML-Notebooks aus natürlicher Sprache – wir haben neun LLM-Richter entwickelt, um deren Qualität in Dimensionen wie Modelltraining, Datenimputation und Feature Engineering zu bewerten. * Menschliche Annotationen zeigten, dass die Richter mit Experten um bis zu 0,68 MAE auf einer 3-Punkte-Skala nicht übereinstimmten. MemAlign, ein Open-Source-Ausrichtungsframework in MLflow, schloss diese Lücke mit nur ~50 gelabelten Beispielen. * Bei den drei am schlechtesten ausgerichteten Dimensionen reduzierte MemAlign den Richterfehler um 74-89%, und eine Folgestudie zeigte, dass sowohl das semantische als auch das episodische Gedächtnis für das Ergebnis unerlässlich sind.