Kleines MBPP-Paket vorbereitet: 83 Lern- und 22 Validierungskandidaten

Wir haben zusätzliches Python-Material vorbereitet. Die Modellleistung ist unverändert: zuletzt 0 von 30 Aufgaben richtig, feste Regeln 22 von 30. Mit dem neuen Paket wurde noch nicht trainiert.

MBPP liefert Beschreibungen, Python-Lösungen und Tests. Seine 974 Aufgaben sind offiziell in 374 Trainingsaufgaben, 90 Validierungsaufgaben, 500 Testaufgaben und zehn Beispiele für die Aufgabenaufforderung aufgeteilt. Die 427 bereinigten Fassungen sind Varianten bestehender Aufgaben und zählen nicht zusätzlich. Herkunft und Version des Pakets sind festgehalten.

Wir haben auf einem Mini unseren unveränderten Tokenizer verwendet. Er zerlegt Text in die kleinen Bausteine, mit denen das Modell arbeitet. Ähnliche Codeformen wurden über die Aufteilungsgrenzen hinweg erkannt; geschützte Aufgaben haben Vorrang. Danach bleiben 325 Trainingsaufgaben und 87 Validierungsaufgaben. Davon passen 257 beziehungsweise 67 mit vollständiger Aufgabenaufforderung und Lösung in insgesamt 256 Textbausteine. Mit der bisherigen zusätzlichen Grenze von 64 Antwortbausteinen bleiben 83 Trainings- und 22 Validierungskandidaten. Kein Beispiel wurde abgeschnitten.

Die 500 Testaufgaben bleiben separat zurückgehalten. Ihre Strukturmerkmale wurden zum Ausschluss ähnlicher Lernaufgaben genutzt; keine Testlösung wurde an das Modell übergeben. Dateibindungen, Trennung und Längengrenzen wurden anschließend unabhängig anhand des gespeicherten Pakets geprüft. Die automatische Gruppierung beweist noch keine unabhängigen Aufgabenfamilien für die Spezialistenabnahme.

Die Kandidaten sind noch nicht trainingsbereit. Referenzprogramme und ihre Tests wurden hier nicht ausgeführt. Vor dem Training müssen Überschneidungen mit unseren bisherigen Aufgaben, benötigte Bibliotheken und eindeutige Funktionsschnittstellen geprüft werden. Außerdem verlangt MBPP vollständige Funktionen; der bisherige Python-Prüfer erwartet einzelne Reparaturanweisungen. Der Versuch braucht ein ausdrücklich festgelegtes, passendes Aufgabenformat. Nach Ergänzung der Schnittstellen wird die Länge erneut gemessen.

StarCoderData und CodeSearchNet wurden als mögliche spätere Ergänzungen geprüft, aber nicht heruntergeladen. StarCoderData enthält viel Quellcode zum Vortraining und verlangt eigene Zugangsschritte. CodeSearchNet verbindet Funktionen mit Beschreibungen; für unseren Verhaltenstest wären zusätzliche Prüfungen nötig. Zuerst wird das kleine Paket fachlich qualifiziert.

Mehr geeignete Beispiele können einen gezielteren Lernversuch ermöglichen. Sie garantieren weder Python-Verständnis noch, dass unsere Basis mit 8,52 Millionen Parametern ausreicht. Entscheidend bleiben richtige erste Antworten auf getrennten Aufgaben vor und nach dem Training. Die bisherigen 192 Verlustmessungen bleiben erhalten.

Weiterhin 0 von 4 Spezialisten abgenommen, grobe redaktionelle Einschätzung unverändert 15 Prozent. Es gab bei dieser Vorbereitung keine Modellrechnung und keinen neuen Modelllauf.

Quellen: https://github.com/google-research/google-research/tree/master/mbpp · https://huggingface.co/datasets/google-research-datasets/mbpp · https://huggingface.co/datasets/bigcode/starcoderdata · https://github.com/github/CodeSearchNet

Belegstand: 17. September, 06:32 Uhr Zürich.