Vier feste Python-Übungen: vollständiges Training und Zusatzmodul verglichen

Nach jeweils 24 Lernschritten wurden dieselben vier geübten Antworten selbstständig erzeugt und unverändert geprüft. Beim vollständigen Training stimmen 3/4 Antworten exakt mit der Lernlösung überein; beim LoRA-Zusatzmodul 3/4. Die fehlerhafte Aufgabe ist jeweils eine andere: Das Zusatzmodul löst die vierte Übung, scheitert dafür an der dritten; beim vollständigen Training ist es umgekehrt. Zwei Übungen gelingen beiden. Das ist ein enger Lerntest auf bekannten Beispielen. Die getrennten 30 Entwicklungsaufgaben wurden in diesem Versuch nicht erneut beantwortet: Ihr letzter vollständiger Stand bleibt 0/30, gegenüber 22/30 mit festen Regeln.

„Vier feste Übungen“ heißt: Vier vorhandene kurze Python-Aufgaben samt Lösungen bleiben unverändert. Jede wird sechsmal geübt. Wir prüfen damit, ob das Modell diese Beispiele überhaupt lernen und danach selbstständig ausgeben kann. Die Lösungen der getrennten Entwicklungs- und Abschlussaufgaben werden dafür nicht verwendet.

Beide Varianten begannen beim gleichen effektiven Modellstand auf Node8. Die Ausgangsvorhersagen wurden an allen 60 erwarteten Antwortpositionen verglichen, einschließlich der vier Abschlusszeichen. Die größte Zahlenabweichung zwischen den beiden Darstellungen lag bei 0,00006101 und innerhalb der vorab festgelegten Toleranz. Die Varianten liefen nacheinander auf derselben Intel-Grafikeinheit; dadurch unterscheidet sich die Hardware nicht.

Das Fehlermaß umfasst alle 60 Antwortpositionen einschließlich Abschlusszeichen; kleiner ist besser. Die Inhaltszählung umfasst 56 Positionen. Bei diesen Vorher-/Nachher-Messungen bleibt der jeweilige Modellstand fest. Anders als bei freier Ausgabe wird dabei der richtige bisherige Antwortteil vorgegeben. Die freien Antworten am Schluss erhalten nur die Aufgabe. Vor dem Lernen wurden keine freien Antworten erzeugt; eine neue Vorher-/Nachher-Quote frei gelöster Aufgaben wird deshalb nicht behauptet.

Vollständiges Training verändert in einer separaten Kopie alle 8.524.032 Modellwerte. Das Zusatzmodul verändert 315.392 zusätzliche Werte; seine Basis bleibt fest. Die Lernraten waren 0,0001 und 0,002, beide Varianten starteten mit neu auf null gesetzten Lernstatistiken. Das sind zwei erste Konfigurationen mit gleichem Schrittbudget. Sie wurden nicht jeweils optimal abgestimmt. Ein allgemeiner Vorteil eines Verfahrens oder eine Größenuntergrenze des Modells lässt sich daraus nicht ableiten.

Beim vollständigen Training werden drei bekannte Antworten jetzt exakt wiedergegeben. Die vierte enthält einen Python-Syntaxfehler: Ihre ersten acht Antwortbausteine stimmen noch, danach weicht sie ab. Das wurde an der unveränderten gespeicherten Antwort untersucht, ohne neue Modellrechnung oder Programmausführung. Das widerlegt für diese Beispiele die Befürchtung, dass unser Modell überhaupt nichts lernen könne. Es beweist weder allgemeine Python-Fähigkeit noch bessere Antworten auf unbekannten Aufgaben. Gemessen wurde die unveränderte Textfolge einschließlich Antwortende; in diesem Kontrollversuch wurden keine zusätzlichen Verhaltenstests der Programme ausgeführt.

Beide vollständigen Lernzustände samt Lernstatistiken sind gespeichert und unabhängig geprüft. Alle acht ersten Antworten zählen, auch die fehlerhaften. Die Prozesse sind beendet, die normale Kühlung ist bestätigt und die ursprünglichen Modelldateien blieben unverändert. Eine leere Systemmeldung unterbrach zwischenzeitlich den lokalen Beobachter. Außerdem musste der Schreibschutz der bereits fertig gespeicherten vollständigen Kopie ergänzt werden. Die Originaldatei wurde vorher und nachher anhand ihrer Prüfsumme verglichen. Es gab keinen erneuten Modellversuch und keine veränderten Antworten.

Als Nächstes wird die Lernrate des Zusatzmoduls begrenzt abgesenkt und an demselben gesicherten Stand weitergeübt. Geprüft wird, ob dann alle vier Antworten gleichzeitig stimmen, ohne bereits gelernte Beispiele wieder zu verlieren. Die noch fehlerhafte Antwort des vollständigen Trainings scheitert bereits an der Python-Syntax. Erst danach zählt erneut der Vergleich auf den 30 getrennten Python-Entwicklungsaufgaben. Mehr Rechner oder weniger Speicherbedarf ersetzen diesen Qualitätsnachweis nicht.

Die Hauptlernkurve der vorherigen gemischten Runde bleibt bei ihren 576 originalen Messpunkten. Die Kontrollmessungen mit vier wiederholten Übungen stehen hier separat, weil sie andere Daten verwenden. Alle früheren Berichte und 121 Landschaftspunkte bleiben erhalten. Weiterhin 0/4 abgenommene Spezialisten, grobe Entwicklungseinschätzung 15 Prozent.