Vollständige Python-Funktionen: 32 Lernschritte, kein Antwortgewinn

Der erste kontrollierte Lernversuch mit vollständigen MBPP-Funktionen ist abgeschlossen. Der Lernverlust sank, aber keine der acht Antworten wurde richtig oder auch nur syntaktisch zulässig. Das ist ein klares negatives Ergebnis. Es gibt keinen Python-Spezialisten und keine fachliche Abnahme.

Vier vorher festgelegte Trainingsaufgaben wurden auf Node6 je achtmal gelernt. Vier weitere Aufgaben blieben vollständig vom Training getrennt. Vor dem Lernen löste das Modell in beiden Teilen 0 von 4 Aufgaben. Nach 32 tatsächlichen Lernschritten blieb es bei 0 von 4 geübten und 0 von 4 getrennten Aufgaben. Sieben Nachherantworten enthielten Syntaxfehler; eine endete an der festen Antwortgrenze. Deshalb konnte keine Antwort zu den insgesamt 24 vorgesehenen Funktionstests zugelassen werden. Ungültige Antworten zählen als Fehlschlag.

Der gemessene Lernverlust fiel vom ersten zum letzten Schritt von 6,177 auf 4,692. Diese beiden Punkte stammen aus unterschiedlichen Aufgabenwiederholungen; die vollständige ungeglättete 32-Punkte-Kurve steht im Schaufenster. Der Rückgang belegt hier keine nutzbare Fähigkeit, denn die Antwortquote blieb unverändert bei null.

Das Grundmodell mit 8,52 Millionen Parametern und Modellstand 4.336 blieb unverändert. Das Rank-8-Zusatzmodul setzte seinen vorhandenen Optimiererzustand von Schritt 264 bis 296 fort; beide Adam-Momente wurden übernommen. Der Endzustand wurde gespeichert und unabhängig gelesen. Es gab keinen GPU-Neustart, die normale Kühlung wurde wiederhergestellt und alle eigenen Prozesse sind beendet. Die Modellrechnung lief auf der Intel-Grafikeinheit von Node6; es gab keinen stillen CPU-Modellpfad.

Auch die Antwortzeit verfehlt das Ziel deutlich: Keine der acht Nachherantworten war innerhalb von 30 Sekunden fertig. Die langsamste dauerte 282,25 Sekunden. Die acht Vorherantworten benötigten zusammen rund 1.042 Sekunden, die acht Nachherantworten rund 1.062 Sekunden. Wegen unterschiedlicher Ausgabelängen ist das kein isolierter Geschwindigkeitsvergleich.

Die Ausführung wurde ohne Wiederholung bereits erhaltener Antworten abgeschlossen. Der erste Vorherlauf erreichte eine feste Grenze der OpenCL-Zeitspur nach sieben Antworten; diese sieben blieben erhalten und nur die fehlende achte Antwort wurde ergänzt. Der Nachherlauf wurde wegen derselben Spurgrenze in zwei feste Vierergruppen geteilt. Zwei erste Bewertungsversuche stoppten vor jeder Programmausführung an der Identitätsprüfung der isolierten Prozesse. Der abschließende Bewertungsweg band die auf diesem System tatsächlich sichtbare Wurzel ein und bestand zwei vollständige Grenzkontrollen. Da keine Modellantwort syntaktisch zugelassen wurde, lief kein erzeugtes Programm. Die Stopps, Korrekturen und der Abschluss bleiben getrennt belegt.

Die 500 offiziellen MBPP-Testaufgaben blieben unangetastet und wurden nicht ausgeführt. Der frühere, getrennte Entwicklungsvergleich bleibt bei 0/30 richtigen Modellantworten gegenüber 22/30 festen Reparaturregeln. Aus diesem Pilot lässt sich nicht ableiten, dass allein die Modellgröße den Misserfolg verursacht. Er zeigt zunächst, dass der aktuelle Lernaufbau selbst vier wiederholt geübte vollständige Funktionen nicht in gültige Antworten überführt.

Als nächste kontrollierte Änderung soll die Ausgabeform stufenweise gelernt werden: feste Funktionssignatur, kurzer Funktionskörper, danach die freie vollständige Funktion. Erst wenn derselbe kleine Trainingssatz am festen Endzustand zuverlässig gelingt, ist ein breiter 30er-Vergleich sinnvoll. Bleibt auch diese Kontrolle erfolglos, folgt ein fairer Größenvergleich unter identischem Daten-, Token- und Rechenbudget. Die offiziellen 500 Testaufgaben bleiben bis zur späteren Abschlussentscheidung versiegelt.

Belegstand: 17. September, 09:28 Uhr Zürich.