Extreme Effizienz durch spezialisierte GPU-Kernel-Generierung
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
Die automatisierte GPU-Kernel-Generierung hat Qwen 3.5 122B-Kernel hervorgebracht, die 1,8- bis 5,2-mal schneller sind als die besten in vLLM verfügbaren Implementierungen. Um diese Effizienzsteigerungen zu erreichen, müssen uneingeschränkte Agenten-Exploration und ein strenges äußeres Verifikationssystem kombiniert werden, um Messfehler abzufangen und reale Beschleunigungen zu validieren.
* Neue Kernel-Entwürfe sind günstig und lassen sich einfach parallel erzeugen. Vertrauen hingegen nicht. Das System macht nur so schnell Fortschritte, wie wir diese Entwürfe prüfen können. * Eine Zahl, die miraculös schnell erscheint, ist oft ein Messfehler: Restarbeit von einem vorherigen Durchlauf, ein Vergleich, bei dem beide Seiten nicht dasselbe taten, oder ein Kernel, der nur unter einer versteckten Annahme gut aussieht. * Kontext ist ein Kompromiss und kein Haufen, den man maximieren muss. Mehr Text gibt dem Modell mehr Spielraum, aber es kostet mehr, und zusätzliche Notizen erleichtern es dem nächsten Versuch, abzudriften. Zu wenig Text verhindert, dass die Schleife vorankommt. * Ein Agent, der frei explorieren kann, schreibt bessere Kernel. Ein strenges äußeres System muss das Feedback definieren und entscheiden, was freigegeben werden darf. Ein gutes Design erfordert beides. * Generierte einzelne Qwen 3.5 122B-Kernel waren 1,8- bis 5,2-mal schneller als die besten in vLLM verfügbaren Implementierungen.