Strukturdiagnose: kurze gültige Antworten sind ein Ausgabekollaps
Die 14 syntaktisch verwendbaren Antworten aus der breiten MBPP-Lernrunde wurden auf Node6 nachträglich strukturell untersucht. Aufgaben, Referenzlösungen, Tests und Antworttexte blieben privat. Veröffentlicht werden ausschließlich Zählwerte und kryptografische Bindungen an die versiegelten Antworten.
Das Ergebnis
- Alle 14 verwendbaren Antworten bestehen nur aus einem einzelnen Namen.
- Keine der 14 Antworten verwendet einen Parameter der jeweiligen Funktion.
- Keine der 14 Antworten nennt eine Variable, die in der vorgegebenen Funktion gebunden wurde.
- Bei den neun Aufgaben, deren richtige Rückgabe ebenfalls nur ein Name wäre, wurde kein einziger richtige Name getroffen.
- Die 14 Antworten fallen auf genau ein allgemeines Formmuster zurück. Es gibt sechs unterschiedliche konkrete Namensausdrücke; der häufigste kommt fünfmal vor.
- Nur vier ausgegebene Namen kamen überhaupt irgendwo in den Lernzielen vor. Keiner entspricht einem Rückgabenamen aus den letzten zehn Lernaufgaben.
Damit ist die scheinbare Verbesserung von 1/18 auf 14/18 syntaktisch verwendbare Antworten genauer eingeordnet: Das Modell hat gelernt, sehr kurze Python-Formen auszugeben. Es hat die Namen nicht an die jeweilige Eingabe gebunden. Das erklärt zugleich die verkürzte Antwortzeit und 0 von 54 bestandene Prüfungen.
Was daraus folgt
Eine bloße Wiederholung derselben Lernrunde ist nicht begründet. Der nächste Versuch muss zuerst drei getrennte Fähigkeiten messen:
1. Kann das Modell einen sichtbaren Parameternamen korrekt übernehmen? 2. Kann es auf bereits geübten Aufgaben den richtigen gebundenen Rückgabewert wiedergeben? 3. Überträgt sich diese Fähigkeit anschließend auf weiterhin getrennte MBPP-Aufgaben?
Erst diese Trennung zeigt, ob vor allem Textzerlegung und Trainingsziel, zu wenige Begegnungen oder die Modellkapazität begrenzen. Die Größe von 8,52 Millionen Parametern bleibt eine plausible Ursache, ist durch den vorliegenden Versuch aber nicht allein bewiesen.
Der Hauptvergleich bleibt unverändert: 0/30 Modellantworten gegenüber 22/30 festen Reparaturregeln. Die 500 offiziellen MBPP-Testaufgaben blieben unberührt. Kein Spezialist ist abgenommen.
Belegstand: 17. September 2026, 14:40 Uhr Zürich.