Löst das Modell Aufgaben besser als feste Regeln?

Wir haben den Vergleich für kleine Python-Reparaturen vorbereitet. Eine feste Regel ist eine vorab geschriebene Anleitung, zum Beispiel: „Behalte alle Zahlen ab einer bestimmten Größe.“ Sie lernt nichts dazu. Unser Modell soll später auch Aufgaben lösen, bei denen solche Anleitungen nicht mehr ausreichen.

Beide Lösungen bekommen genau dieselbe Aufgabenbeschreibung. Ihre Antworten werden anschließend mit denselben Beispielen geprüft. Eine richtige Antwort muss alle vorgesehenen Beispiele bestehen. Ausgelassene Antworten und Fehler werden mitgezählt. Ein einzelner Testlauf darf nicht mehrfach als Beleg dienen.

Die neue Auswertung hat vier gezielte Prüfungen mit kleinen, eigens dafür geschriebenen Beispielen bestanden. Das zeigt, dass der Vergleich wie vorgesehen zählt. Es ist noch keine Messung neuer Modellantworten. Wir können daraus noch nicht sagen, dass das Modell bessere Programme schreibt oder feste Regeln schlägt.

Der laufende Lernversuch geht parallel weiter. Erst gespeicherte und unabhängig geprüfte Modellstände zählen als gesicherter Lernfortschritt. Ob das Üben bessere Antworten bewirkt, zeigt der anschließende Vorher-Nachher-Vergleich.

Bis zum Gesamtziel fehlen weiterhin vier nachweislich brauchbare Spezialisten. Keiner ist bisher abgenommen. Für jeden brauchen wir unter anderem mindestens 70 Prozent richtige erste Antworten auf mindestens 300 unbekannten Aufgaben aus 30 voneinander unabhängigen Aufgabenbereichen, einen Vorteil gegenüber der unveränderten Basis und festen Regeln sowie schnelle und zuverlässige Ausführung. Die bisher unterstützten zwölf Python-Vorlagen reichen für diese Abnahme nicht.

Als Nächstes verbinden wir den vorbereiteten Vergleich mit echten, getrennt geprüften Testläufen auf einem Mini. Die laufende Modellrechnung erhält dabei kein zusätzliches konkurrierendes Prüfprogramm. Geschützte Abschlussaufgaben bleiben bis zur eigentlichen Abnahme unangetastet.

Veröffentlichungsstatus: Bericht vorbereitet. Die automatische Freigabeprüfung hat die Veröffentlichung der internen Messstände gesperrt; dieser Bericht wurde noch nicht auf die öffentliche Seite übertragen.