MBPP: 77 Lernbeispiele und 21 Validierungsaufgaben geprüft

Das kleine Python-Paket hat jetzt eindeutige Funktionsschnittstellen und tatsächlich ausgeführte Referenztests. Für einen begrenzten Lernversuch bleiben 77 Trainingsbeispiele und 21 getrennte Validierungsaufgaben. Es gab noch kein Training mit diesem Paket und keine neuen Modellantworten.

Die erste Längenprüfung hatte 83 Lern- und 22 Validierungskandidaten ergeben. Nach Ergänzung der geforderten Funktionsnamen und Parameter und Prüfung des ausführbaren Aufgabenformats passen 78 beziehungsweise 21 Kandidaten in die bestehenden Grenzen: höchstens 256 Textbausteine insgesamt und 64 für die vollständige Antwort einschließlich Abschlusszeichen. Nichts wurde abgeschnitten. Das Modell erhält Beschreibung und Schnittstelle; die Prüftests stehen nicht im Prompt.

Wir haben diese 99 Kandidaten auf Node6 mit ihren mitgelieferten Lösungen ausgeführt. Bei jeder Aufgabe wurde außerdem eine absichtlich falsche Variante geprüft, die immer einen leeren Rückgabewert liefert. 1 Kandidat wurde ausgeschlossen: Seine drei Tests bestanden, aber eine Syntaxwarnung führte zum Abbruch der Prozessauswertung. Dieser Fall wurde nicht erneut ausgeführt und zählt nicht zum qualifizierten Lernpaket. Insgesamt wurden 298 Referenztests und 298 Tests der falschen Varianten ausgewertet. Eine erkannte einfache Fehlervariante beweist nicht, dass die Tests alle möglichen Programmfehler entdecken.

205 isolierte Prozesse sind abgeschlossen und ihre gespeicherten Ergebnisse anschließend nachgeprüft. Davon sind 204 Prozessbelege vollständig bestätigt; der eine warnungsbedingt ausgeschlossene Prozess bleibt als Fehlerbeleg erhalten. Dazu gehören positive und negative Kontrollen sowie Grenzen für Laufzeit, Speicher und Ausgabemenge. Die Nachprüfung wertet die gespeicherten Belege aus; sie startet die Programme nicht erneut. Die ersten Vorbereitungsversuche waren vor der Datensatzprüfung an Datei- und Verzeichnisprüfungen angehalten worden. Ihre Fehlerbelege bleiben erhalten; der erfolgreiche Ablauf nutzt die bereits geprüfte Verzeichnisidentitätskontrolle.

Die Programmkörper wurden strukturell mit den bisherigen 576 Übungszeilen und den 30 Entwicklungsaufgaben verglichen. Dabei wurden in den Kandidaten keine Übereinstimmungen gefunden. Das ist eine Prüfung auf ähnliche Codeform, kein Beweis für semantisch unabhängige Aufgabenfamilien. 500 offizielle MBPP-Testaufgaben bleiben vom Training getrennt und wurden hier nicht ausgeführt. Rohprogramme und Lösungen bleiben auf den Minis; veröffentlicht werden nur zusammengefasste Ergebnisse.

Als Nächstes braucht der Python-Versuch einen Ablauf für vollständige Funktionen. Der bisherige Reparaturprüfer erwartet einzelne Rückgabeanweisungen und passt nicht unverändert zu MBPP. Danach soll ein kleiner fester Trainingssatz wiederholt gelernt und am unveränderten Endzustand geprüft werden: zuerst dieselben geübten Eingaben, anschließend getrennte Validierungsaufgaben. Der bisherige Vergleich auf 30 Entwicklungsaufgaben bleibt separat erhalten. MBPP ersetzt nicht die unabhängige Spezialistenabnahme.

Die letzte Modellleistung bleibt 0/30, die festen Reparaturregeln lösen 22/30. Die bisherigen 192 Verlustmessungen und 121 Landschaftspunkte bleiben unverändert. Weiterhin sind 0 von 4 Spezialisten abgenommen; die grobe redaktionelle Einschätzung bleibt bei 15 Prozent. Ob die Modellgröße ausreicht, entscheidet erst ein kontrollierter Lernvergleich.

Quelle: MBPP von Google Research, Austin et al. 2021, Datenlizenz CC-BY-4.0; festgelegte Revision f46ca8374b4cddef97ca4208ad986049d74d296a. https://github.com/google-research/google-research/tree/master/mbpp · https://huggingface.co/datasets/google-research-datasets/mbpp

Belegstand: 17. September, 07:30 Uhr Zürich.