Reparaturtraining: 192 von 192 Schritten gesichert

Node6 hat 192 neue Lernschritte in 4 vollständigen Abschnitten gespeichert und unabhängig geprüft. Die Kurve zeigt alle 192 tatsächlich gemessenen Fehlermaße dieser Runde. Grundmodell und Textzerlegung bleiben fest, beide internen Lernstatistiken werden fortgesetzt.

Die Übungen enthalten jetzt unterschiedliche falsche Berechnungen. Bisher standen dort überwiegend Platzhalter wie return None. Die richtigen Übungsantworten wurden nicht geändert. Es bleiben 24 eigene Übungsprobleme mit Varianten; die 30 Entwicklungsantworten wurden nicht als Lernlösungen verwendet. Die Schrittweite beträgt unverändert 0,0005.

Die 192 Schritte verteilen sich auf 8 ausgewählte Einträge je Übungsproblem. Jeder ausgewählte Eintrag wurde in dieser Runde einmal verwendet. Damit ist noch nicht geprüft, ob das Modell die 24 Probleme bei wiederholtem Üben zuverlässig lernen kann. Die Zahl der Schritte allein belegt weder ausreichendes Training noch eine zu kleine Modellgröße.

Bei einer zusätzlichen Prüfung auf dem Mini wurde ein Fehler in den Übungstexten bestätigt: 36 von 576 Varianten nennen teilweise noch die ursprünglichen Variablen, obwohl diese im Code umbenannt wurden. 11 der 192 für diesen Versuch gewählten Beispiele sind betroffen; in den bislang geprüften Abschnitten sind es 11. Die korrigierte Fassung wurde auf dem Mini erstellt und geprüft. Ausschließlich diese 36 Beschreibungen änderten sich; Code, Fehlerbeispiele, richtige Antworten und Reihenfolge blieben gleich. Das ist eine Datenkorrektur für den nächsten Versuch, keine neue Modellleistung. Diese Lernrunde verwendet ihren ursprünglichen Datensatz und wird vollständig bewertet. Ob und wie stark die unpassenden Namen zum Misserfolg beitragen, ist noch nicht gemessen.

An den bislang geprüften Zwischenständen stimmen 0/8 freie Übungsantworten exakt mit ihrer Lernlösung überein. 1/8 bestehen syntaktisch aus einer einzelnen Rückgabeanweisung; 0 sind leer. Die Antworten stammen aus unterschiedlichen Zwischenständen und geübten Aufgaben. Eine gültige Form allein beweist kein korrektes Programmverhalten. Die früheren 4/4 bekannten Kontrollantworten gehören zu einem anderen Versuch und bleiben getrennt.

Dabei wurden nur 1 von 8 abgefragten Übungseinträgen in dieser Reparaturrunde vor ihrer jeweiligen Prüfung als Lerneingabe verwendet. Die übrigen Einträge gehören zu bekannten Übungsproblemen, waren zu diesem Zeitpunkt aber nicht Teil der ausgewählten Lernfolge. Diese Aussage betrifft die Einträge dieser Runde; sie belegt keine Unbekanntheit gegenüber allen früheren Trainingsdaten oder inhaltlich ähnlichen Varianten. Die Zwischenprüfungen ersetzen daher keinen gezielten Test, ob der fertige Adapter dieselben tatsächlich trainierten Eingaben beherrscht.

Die gespeicherten Lernvorhersagen der ersten 96 Schritte wurden zusätzlich ausgewertet. Dabei war jeweils der richtige bisherige Antwortteil vorgegeben. Im zweiten Abschnitt waren 351 von 969 Inhaltsbausteinen richtig. Keine der 96 Vorhersagefolgen war vollständig richtig. Auch bei den 44 Übungen des zweiten Abschnitts ohne den gefundenen Namensfehler waren es nur 337 von 899 Inhaltsbausteinen. Die Lernlücke zeigt sich damit auch außerhalb der sieben betroffenen Übungszeilen in den ersten 96 Schritten. Das misst Vorhersagen während des Lernens an wechselnden Modellständen und Beispielen; es ist keine Prüfung des fertigen Adapters und keine Erfolgsquote auf neuen Aufgaben. Die Auswertung brauchte keine neue Modellrechnung. Sie belegt weder die alleinige Ursache noch, dass das Modell zu klein ist.

Der letzte vollständige praktische Vergleich bleibt bei 0/30, feste Regeln bei 22/30. Die überarbeitete Runde hat noch keinen neuen vollständigen 30-Aufgaben-Nachweis. Alle vorgesehenen Lernabschnitte sind abgeschlossen. Der vollständige Vergleich wurde am 16. September um 08:05 Uhr Zürich auf Node8 gestartet. Alle 30 Aufgaben verwenden denselben geprüften Endadapter; jede erste Antwort wird gezählt. Ein laufender Vergleich ist noch kein neues Ergebnis. Fehlende, ungültige oder abgeschnittene Antworten zählen als Fehlschlag.

Mit festen Regeln sind von uns geschriebene Reparaturprogramme gemeint: Sie erkennen bestimmte Fehler und setzen vorher festgelegte Korrekturen ein. Sie lernen diese Regeln nicht durch Training. Ihr Ergebnis auf denselben 30 Aufgaben ist der Vergleichsmaßstab für den zusätzlichen Nutzen des Modells. Die früheren 252/252 betreffen andere, einfachere Abschreib- und Auswahl-Aufgaben.

Die geprüften Abschnitte endeten mit normaler Kühlung und ohne GPU-Neustart. Der neue Graph wird nicht an die frühere 576-Punkte-Kurve angehängt: Die Eingaben unterscheiden sich, und der Ausgangsadapter stammt aus der Vier-Aufgaben-Fortsetzung. Die früheren Kurven und 121 gemessenen Landschaftspunkte bleiben erhalten.

Ist das Modell zu klein? Das ist noch nicht belegt. TinyStories zeigt, dass sehr kleine Modelle auf gezielt begrenzten Daten zusammenhängende Geschichten lernen können. Das ist kein Nachweis für Python-Reparaturen oder unsere Hardware. [TinyStories, Einleitung und Abschnitt 4](https://arxiv.org/html/2305.07759v2).

Die ursprüngliche LoRA-Arbeit untersucht die Anpassung bereits vortrainierter Modelle. Ihre Ergebnisse belegen nicht, dass unsere bisherige eigene Basis bereits genügend Python gelernt hat. Ein kontrollierter Vergleich zwischen dem Training der ganzen Basis und dem Zusatzmodul bleibt deshalb wichtig. [LoRA, Zusammenfassung](https://arxiv.org/abs/2106.09685).

Auch Lernen bekannter Beispiele und Übertragung auf neue Beispiele können zeitlich auseinanderliegen. Das wurde bei kleinen mathematischen Aufgaben beobachtet; es ist keine Zusage, dass bloß längeres Training unseren Python-Versuch erfolgreich macht. Unsere Schlussfolgerung: Nach dem vollständigen 30-Aufgaben-Vergleich bei weiterem Misserfolg das wiederholte Lernen eines festen, breiteren Übungssatzes messen, bevor wir eine größere Basis als Lösung voraussetzen. [Grokking, Abschnitte 3.1 bis 3.3](https://arxiv.org/html/2201.02177v1).

Weiterhin 0/4 Spezialisten abgenommen und 15 Prozent grobe Entwicklungseinschätzung. Die automatische Auswahl und Neuverteilung nach dem Ant-Colony-Ansatz ist weiterhin offen. Gesicherte Rechenschritte sind noch kein Nachweis nützlicher neuer Antworten.