Ausgangsmessung abgeschlossen: bereit für die nächste Lernrunde

Gesamtziel: vier brauchbare Spezialisten. Davon sind weiterhin 0 von 4 abgenommen. Wir entwickeln gerade die gemeinsame kleine Modellbasis. Der nächste entscheidende Schritt ist, mit weiterem Training mehr Aufgaben richtig zu lösen.

Was haben wir gemacht?

Wir haben acht festgelegte Aufgabenpakete auf dem Mini durchgerechnet. Dabei wurden die Fehler des Modells und die daraus entstehenden Lernrichtungen berechnet. Die Gewichte – also das gespeicherte Gelernte – blieben bei diesen Messungen gleich. So haben wir einen sauberen Ausgangspunkt für den späteren Vergleich.

Zuvor haben wir zwei Softwarefehler behoben: eine falsche Zuordnung des Messlaufs und eine fehlerhafte Ergebnisablage. Die bestehende Installation wurde anschließend lesend bestätigt. Bereits gültige Hardwareprüfungen wurden weiterverwendet.

Was ist dabei herausgekommen?

Zum Einordnen: Die vorherigen geprüften Antworttests dieses Entwicklungsversuchs ergaben 11 richtige Antworten bei 64 unbekannten Entwicklungsaufgaben, 10 bei 64 Aufgaben aus dem Übungssatz und 0 bei 28 gesonderten Kopieraufgaben. Diese Zahlen gehören zur Ausgangslage vor dem jetzt geplanten Training. Sie sind keine Abschlussprüfung der vier Spezialisten.

Was kann das Modell dadurch besser?

Die Ausgangsmessung hat das Modell noch nicht verbessert. Wir können jetzt zuverlässig vergleichen, ob die nächste Lernrunde seine Fehler verringert. Ob daraus tatsächlich bessere Antworten entstehen, prüfen wir danach gesondert. Die bisherigen Antworttests zeigen, dass noch viel Arbeit am Inhalt nötig ist.

Was fehlt bis zum Gesamtziel?

Die vier Spezialisten für Python, TypeScript/Vite, Rust und Proxmox/Linux stehen noch aus. Jeder muss mindestens 70 Prozent von mindestens 300 unbekannten Aufgaben aus mindestens 30 unabhängigen Aufgabenfamilien richtig beantworten. Er muss die gemeinsame Basis deutlich verbessern und einen belegten Vorteil gegenüber einer guten einfachen Regellösung zeigen.

Dazu kommen wiederholbare Ergebnisse in drei Trainingsläufen, schnelle Antworten auf beiden Mini-Jahrgängen, zuverlässiges Speichern und Wechseln der Spezialisten, acht Stunden stabiler Betrieb und die geprüfte Erweiterung um weitere Rechner. Die geschützten Abschlussaufgaben bleiben bis zur späteren Abnahme ungeöffnet. Aus dieser Softwarekorrektur und Ausgangsmessung ergibt sich kein höherer Fortschrittsprozentsatz und kein belegter Termin für die Fertigstellung.

Was kommt als Nächstes?

Der erste Abschnitt mit neuen Lernschritten ist noch nicht gestartet. Seine Vorbereitung hielt bei einer aktuellen Prüfung von Temperatur, Auslastung und Speicher an. Die genaue auffällige Einzelgröße wurde beim Stopp nicht gespeichert. Eine spätere lesende Prüfung bestätigte ausreichenden Speicher, 57 bis 59 °C und keinen laufenden Modellprozess. Es wurden noch keine Trainingsdateien angelegt. Wir prüfen eine begrenzte Wartephase vor dieser Startprüfung. Die bisherigen Grenzen bleiben erhalten; der angehaltene Versuch bleibt dokumentiert.

Geplant sind 224 Lernschritte in acht Abschnitten mit je 28 Schritten. Nach jedem Abschnitt wird der vollständige Modellstand gespeichert und geprüft. Nach der Lernrunde wiederholen wir die festgelegten Fehlermessungen und prüfen bekannte sowie unbekannte Aufgaben. Erst diese Ergebnisse zeigen den Nutzen.

Messdetails für Interessierte

Der mittlere gemessene Fehlerwert der acht Pakete beträgt 6,2452. Dieser Wert ist keine Erfolgsquote. Ein niedrigerer Wert auf exakt denselben Aufgaben wäre ein Lernsignal; richtig gelöste Aufgaben bleiben der entscheidende Nutzenmaßstab. Es handelt sich um Messungen am eigenen Basismodell, nicht um die Abnahme eines LoRA-Spezialisten. Die acht Pakete sind auch kein neues zweidimensionales Gitter von Modellvarianten, wie es eine Verlustlandschaft zeigen würde.

Redaktionsstatus: vollständiger lokaler Veröffentlichungsentwurf. Die automatische Freigabeprüfung hat die öffentliche Veröffentlichung interner Forschungszahlen am 12. September gesperrt. Dieser Entwurf wurde nicht veröffentlicht; die Sperre wird weder durch eine automatische Aktualisierung noch durch diesen Bericht umgangen.