Lerndiagnose: Das Modell lernt das Antwortende, nicht den Inhalt

Für alle 114 Lernschritte der breiten MBPP-Runde wurden die bereits gespeicherten GPU-Vorhersagen erneut rein lesend ausgewertet. Es fand keine neue Modellrechnung statt. Aufgaben, Zieltexte und Einzelvorhersagen blieben privat.

Erster und zweiter Durchgang

| Messung vor dem jeweiligen Lernschritt | Erster Durchgang | Zweiter Durchgang | |---|---:|---:| | Richtige Ziel-Token | 87/567 | 107/567 | | Richtiger erster Ziel-Token | 1/57 | 1/57 | | Richtiges Antwortende | 25/57 | 40/57 | | Vollständiges Ziel unter Vorgabe der vorherigen Ziel-Token | 0/57 | 0/57 | | Mittlerer Verlust | 5,637 | 4,612 |

Die Trefferquote über alle Ziel-Token stieg von 15,3 auf 18,9 Prozent. Der klare Gewinn liegt beim Beenden der Antwort. Beim ersten inhaltlichen Zieltoken gab es dagegen keinen Fortschritt. Keine vollständige Lernantwort wurde auf Rang eins vorhergesagt, selbst wenn für jeden folgenden Schritt die richtigen vorherigen Zieltoken vorgegeben wurden.

Diese Lehrerführung ist leichter als freies Antworten. Sie misst den Zustand jeweils vor dem Lernschritt und der zweite Durchgang noch nicht den endgültigen Modellstand. Trotzdem passt der Befund genau zur freien Prüfung danach: sehr kurze, häufiger syntaktisch gültige Ausgaben, aber 0/18 Aufgaben und 0/54 Tests.

Konsequenz

Eine weitere identische Runde würde vor allem das bereits beobachtete Kurz- und Beendigungsverhalten verstärken. Der nächste begründete Versuch muss die Zuordnung sichtbarer Bezeichner zu einer gebundenen Rückgabe ausdrücklich und getrennt trainieren. Danach wird dieselbe Fähigkeit zuerst auf geübten, dann auf weiterhin unbekannten Entwicklungsaufgaben geprüft.

Ob 8,52 Millionen Parameter grundsätzlich zu klein sind, ist damit noch nicht bewiesen. Belegt ist jetzt, dass das bisherige Ziel und nur zwei Begegnungen je Aufgabe den entscheidenden ersten Inhaltstoken nicht verbessert haben. Ein Größenvergleich wird erst fair, wenn beide Modelle dasselbe korrigierte Bindungscurriculum erhalten.

Die 500 offiziellen MBPP-Testaufgaben blieben unberührt. Der Hauptvergleich bleibt 0/30 Modellantworten gegenüber 22/30 festen Regeln. Kein Spezialist ist abgenommen.

Belegstand: 17. September 2026, 14:49 Uhr Zürich.