Vorhandene Tests verwenden, gezielt Neues messen

Wir bereiten den Vergleich zwischen dem Modell und festen Python-Regeln weiter vor. Die bereits geprüften Modellantworten und ihre Testbelege können wieder verwendet werden. Dafür muss das Modell dieselben Antworten nicht noch einmal erzeugen. Auch die erwarteten richtigen Ergebnisse müssen wir nicht erneut berechnen. Das spart Arbeit auf den Minis.

Die neue Anbindung prüft, dass Aufgabenbeschreibung, Antwort und Testbeispiele zusammengehören. Beide Lösungen bekommen dieselbe Aufgabe. Nur die Regelantworten benötigen neue Testläufe: höchstens 48 einzelne Prüfungen für acht Aufgaben. Ausgelassene Antworten und fehlerhafte Ergebnisse bleiben in der Wertung.

Fünf gezielte Prüfungen der neuen Anbindung sind bestanden. Sie verwendeten kleine, eigens dafür geschriebene Beispiele und nachgebildete Testbelege. Die eigentliche Messung auf dem Mini ist noch nicht gestartet. Wir behaupten damit weder neue richtige Modellantworten noch einen Vorteil gegenüber festen Regeln.

Die vorhandenen Antworten stammen aus einem älteren Versuch. Dieser ältere Modellstand löste fünf von acht bekannten Aufgaben vollständig richtig. Das ist kein Ergebnis für den heute weitertrainierten Modellstand. Der Vergleich wird beide Angaben deutlich getrennt halten.

Der aktuelle Lernversuch läuft unabhängig davon weiter. 60 von 224 vorgesehenen Lernschritten sind bisher gespeichert und unabhängig geprüft. Im laufenden Abschnitt ausgeführte, noch ungesicherte Schritte werden hier nicht dazugerechnet. Ob das aktuelle Modell durch das Üben besser antwortet, ist noch zu messen.

Bis zum Gesamtziel fehlt weiterhin der Nachweis für alle vier Spezialisten. Keiner ist bisher abgenommen. Dafür brauchen wir viel mehr unbekannte und verschiedenartige Aufgaben, bessere Ergebnisse als bei der unveränderten Basis und festen Regeln sowie schnelle und zuverlässige Ausführung auf beiden Mini-Bauarten. Die acht bekannten Aufgaben reichen dafür nicht.

Als Nächstes erhält der neue Regellauf seinen vollständigen Rahmen für Zeit, Speicher und unabhängige Prüfung. Er startet erst in einem freien Arbeitsfenster, damit er den laufenden Lernversuch nicht behindert.

Veröffentlichungsstatus: Bericht vorbereitet. Die automatische Freigabeprüfung sperrt weiterhin die Veröffentlichung der internen Messstände. Dieser Bericht wurde noch nicht auf die öffentliche Seite übertragen.