Vier gelernte Antworten, weiterhin 0/30 andere Aufgaben

Der neue vollständige Vergleich ist abgeschlossen: Das Python-Zusatzmodul löst 0/30 Entwicklungsaufgaben, feste Reparaturregeln lösen weiterhin 22/30. Die zuvor gemessenen 4/4 exakt wiedergegebenen Übungsantworten bleiben richtig. Das Modell hat diese vier Beispiele gelernt; es überträgt das Gelernte bisher nicht erfolgreich auf die 30 anderen Aufgaben.

Alle 30 unveränderten ersten Antworten wurden auf Node8 erzeugt und unabhängig geprüft. Keine erfüllt das geforderte Antwortformat: 27 enthalten Syntaxfehler, zwei sind leer, eine enthält nicht die geforderte einzelne Rückgabeanweisung. Alle 30 zählen als Fehlversuch. Deshalb gab es keinen zugelassenen Kandidaten für die anschließenden Programmausführungen. Das bestehende Bewertungsverfahren wurde vollständig durchgeführt und unabhängig nachgeprüft; Lösungen wurden nicht nachgebessert.

Eine konkrete Lücke in den bisherigen Übungen

Der Vergleich der vorhandenen Eingaben zeigt: Alle 576 bisherigen Übungszeilen enthalten als fehlerhafte Rückgabe nur einen festen Platzhalter, etwa return None oder return 0. Die 30 Entwicklungsaufgaben enthalten dagegen bereits vorhandene, aber falsche Berechnungen. Sie verlangen Reparieren statt bloßes Ersetzen eines Platzhalters. Auch die Aufgabenbeschreibungen und Eingabelängen unterscheiden sich.

Diese Lücke ist an den tatsächlichen Daten belegt. Sie ist ein plausibler Mitgrund für den fehlenden Übertrag; sie beweist noch nicht, dass damit sämtliche Fehler erklärt sind. Insbesondere folgt aus dem Ergebnis weder, dass unser Modell sicher zu klein ist, noch, dass seine Größe für das gesamte Ziel ausreicht.

Der nächste begrenzte Lernversuch

Für dieselben 24 selbst verfassten Übungsprobleme wurden 72 unterschiedliche fehlerhafte Implementierungen vorbereitet. Jede verwendete Fehlerausgabe wurde durch tatsächliche Ausführung bestätigt; die richtigen Übungslösungen wurden gegen eine getrennt formulierte Prüfung kontrolliert. Die richtigen Antwortfolgen bleiben gegenüber dem bisherigen Übungssatz unverändert. Die 30 Entwicklungsantworten wurden dafür weder gelesen noch als Lernlösungen übernommen.

Es stehen 576 Übungszeilen mit 564 unterschiedlichen Kombinationen aus Aufgabe und Antwort bereit. Darin stecken 232 unterschiedliche fehlerhafte Rückgabeanweisungen. Das sind Varianten von 24 Problemen, keine 576 unabhängigen Aufgaben und keine Abschlussprüfung.

Auf Node6 wurde genau ein neuer Lernversuch gestartet: vier Abschnitte mit jeweils 48 Schritten, insgesamt höchstens 192 zusätzliche Schritte. Er setzt den Zustand fort, der die vier bekannten Antworten richtig wiedergibt, einschließlich beider interner Lernstatistiken. Grundmodell, Textzerlegung und Schrittweite beim Lernen bleiben fest. Die vorhandenen Grenzen für Laufzeit, Speicher und Kühlung gelten weiter. Zum hier festgehaltenen Start liegt noch kein Ergebnis dieses Versuchs vor.

Nach dem geprüften Abschluss folgt wieder der vollständige Vergleich auf allen 30 getrennten Entwicklungsaufgaben. Erst mehr richtige erste Antworten zeigen praktischen Lernfortschritt. Das Bestehen der Übungsdatenprüfung zählt dafür nicht.

Speicher und Verlauf

Die Vorbereitung der Auswertung hatte vor ihrer ersten Programmausführung wegen zu knapper Speicherreserve angehalten. Vier ältere Lernmessdateien und zwei ältere Gradientenmessdateien wurden innerhalb des Clusters auf Node1 archiviert. Jede Datei wurde anhand ihrer vollständigen Prüfsumme in der Kopie bestätigt, bevor das entsprechende Duplikat auf Node6 entfernt wurde. Modelle, Antworten, Abschlussbelege und Systemprotokolle blieben erhalten. Anschließend wurde die unveränderte Auswertung abgeschlossen.

Die bisherige Lernkurve behält ihre 576 ursprünglichen Messpunkte; die neue Runde mit anderen Aufgabeneingaben wird damit nicht vermischt. 121 gemessene Landschaftspunkte, frühere Berichte und die getrennten Vier-Aufgaben-Kontrollen bleiben erhalten. Weiterhin 0/4 abgenommene Spezialisten und 15 Prozent grobe Entwicklungseinschätzung. Eine automatische Versuchsauswahl nach dem Ant-Colony-Ansatz ist weiterhin nicht umgesetzt.