Bestehende Benchmarks messen die Lösungsrate und die Token-Ausgabe/-Kosten, bestrafen jedoch nicht überschüssigen Code, der es auf lange Sicht schwieriger macht, mit einer Codebasis zu arbeiten. Ich wollte dies messen, da es für Langzeitprojekte am wichtigsten ist …
Open-Weights verringern den Preisdruck und erweitern den Zugang, wodurch sich die Build-vs-Buy-Mathematik für das gesamte Ökosystem ändert.
Zusammenfassungen werden nur zu Informationszwecken aggregiert – folgen Sie dem Quelllink für die vollständige Geschichte. Demo-Einträge dienen der Veranschaulichung.