
Coding-Agenten erfüllen 70 % der Anforderungen, schließen aber nur 26 % der Aufgaben ab
Eine der Aufgaben in einem neuen Coding-Benchmark von Alibaba wirkt fast langweilig: den Betrag von einem Beleg übernehmen und jede Summe in der App aktualisieren, die davon abhängt. Die Zahl abzulesen ist einfach. Der schwierige Teil ist „jede“. Ein Agent kann die Hauptsumme korrigieren, ein abhängiges Feld unverändert lassen und trotzdem etwas zurückgeben, das fertig aussieht.
Genau dieses Muster ist die eigentliche Erkenntnis von Co-Design Bench, einem Paper, das am 26. Oktober 2026 von Forschern aus Alibabas Token Hub-Gruppe, Fudan, Zhejiang, CUHK, Shanghai Jiao Tong und NTU auf arXiv veröffentlicht wurde und breite Aufmerksamkeit bekam, nachdem The Decoder darüber berichtet hatte am 8. November. Der beste der zehn getesteten Modell-Endpunkte, GPT-6 Astra, erfüllte im Durchschnitt 69,9 % der Akzeptanzkriterien pro Aufgabe. Vollständig erfüllte er nur 26,4 % der Aufgaben.
Beide Zahlen stammen aus denselben Durchläufen. Zusammengenommen sagen sie: Der Agent erledigt meist den Großteil der Arbeit und lässt mindestens eine Sache offen. Dem Paper zufolge blieb bei 73,6 % der Aufgaben mindestens ein Kriterium übrig, das nicht vollständig erfüllt wurde.
Was tatsächlich getestet wurde
Die 273 Aufgaben wurden aus 37.463 deduplizierten Anfragen aus 26.314 realen Coding-Sessions von Nutzern kuratiert. Die Forschenden bevorzugten bewusst Anfragen mit einer Vorgeschichte von Problemen: Nutzer, die dieselbe Anfrage zwei- oder dreimal umformulierten, weiter nachhakten oder eine Änderung zurückrollten. Expertinnen und Experten verfeinerten anschließend jede Anfrage und hinterlegten versteckte Akzeptanzkriterien, insgesamt 2.331, also etwa achteinhalb pro Aufgabe.
Es gab zwei Tracks. Lokalisierte Änderungen, teils mit Bild, Audio, Video oder Dokument als Eingabe, und Repository-Änderungen, die koordinierte Anpassungen über eine Codebasis hinweg erfordern. Der zweite Track war deutlich schwieriger: Der beste Endpunkt löste 41,0 % der lokalisierten Aufgaben und 17,9 % der Repository-Aufgaben vollständig. Alle zehn Endpunkte schnitten bei Repository-Änderungen, die drei oder vier Arten von Änderungen kombinierten, schlechter ab als bei solchen mit ein oder zwei.
Jedes Modell lief im selben Harness, Claude Code, mit denselben Prompts und Tools. Ein KI-Richter testete jede fertige App im Browser und prüfte den Quellcode, und ein zweiter KI-Prüfer stellte jedes positive Urteil infrage.
Die Einschränkungen sind ebenso wichtig wie die Ergebnisse. Jede Anfrage war fest vorgegeben, sodass die Agenten keine klärende Frage stellen oder auf halbem Weg eine Korrektur erhalten konnten. Die Richter sind Modelle und können falsch liegen. Und die Aufgaben wurden ausgewählt, weil sie bereits Probleme verursacht hatten. Wie es eine sorgfältige Zusammenfassung auf DEV formuliert: 26,4 % sollte man nicht als „Agenten scheitern an drei von vier Alltagsaufgaben“ zitieren.
Wo die Kosten verborgen sind
Das ist unsere Lesart, nicht die des Papers: Der teure Teil der Arbeit mit Coding-Agenten sind die letzten 30 %, weil sie auf den ersten Blick unsichtbar sind. Eine Änderung, die sieben von acht Anforderungen erfüllt, wirkt in einer Demo fertig. Das fehlende achte Kriterium fällt später auf, meistens bei einer Summe, die nicht mehr aufgeht, oder auf einem Bildschirm, den niemand noch einmal geprüft hat.
Der Benchmark konnte diese Lücke nur sehen, weil jemand die Kriterien vorab aufgeschrieben hatte. Genau diesen Teil überspringen Unternehmen häufig. Eine Anfrage wie „Füge dem Rechnungsformular ein Rabattfeld hinzu“ bringt fünf oder sechs unausgesprochene Erwartungen mit: wo es erscheint, wie gerundet wird, was mit der Umsatzsteuer passiert, ob sich alte Rechnungen ändern, was im PDF steht. Die anfragende Person kennt sie. Der Agent nicht, und die prüfende Person auch nicht, sofern sie nirgendwo dokumentiert sind.
Auch das Tool um das Modell herum zählt
Das Paper ließ außerdem zwei Modelle durch drei verschiedene Harnesses laufen. Bei Repository-Änderungen erzielte Qwen3.8-27B in einem Harness 0,560 und in einem anderen 0,749, bei denselben Aufgaben. Der Abstand zwischen zwei Modellen änderte sich je nach Harness um bis zu 16,2 Prozentpunkte, und bei lokalisierten Änderungen kehrte sich das Harness-Ranking zwischen den beiden Modellen vollständig um.
Für alle, die ein Tool auswählen, ist das eine praktische Warnung. Ein öffentliches Leaderboard vergleicht Modelle in einem bestimmten Setup. Was Ihr Team nutzen wird, ist ein Modell innerhalb eines konkreten Produkts, mit dessen eigener Art, Dateien zu lesen, Code auszuführen und zu entscheiden, wann es fertig ist. Der einzige Vergleich, der wirklich etwas aussagt, ist genau diese Kombination mit Ihren eigenen Aufgaben.
Was wir in der Praxis ändern würden
Wenn ein Team bereits Coding-Agenten nutzt oder kurz davorsteht, verweist der Benchmark auf ein paar Gewohnheiten, die wenig kosten:
- Schreiben Sie die Akzeptanzkriterien vor der Anfrage auf. Fünf bis zehn kurze, prüfbare Zeilen pro Aufgabe. Sie helfen dem Agenten, und sie machen aus „sieht gut aus“ eine Checkliste.
- Teilen Sie Anfragen auf, die mehrere Arten von Änderungen berühren. Der Leistungsabfall bei Repository-Änderungen mit drei bis vier Änderungstypen ist das klarste Signal in den Daten. Zwei kleine Anfragen lassen sich leichter prüfen als eine große.
- Lassen Sie den Agenten fragen. Der Benchmark verbot klärende Fragen. Echte Arbeit muss das nicht. Tools, die anhalten und bei einer mehrdeutigen Anforderung nachfragen, sind mehr wert, als ihr Leaderboard-Wert vermuten lässt.
- Prüfen Sie das laufende Ergebnis, nicht die Zusammenfassung. Der Benchmark-Richter öffnete die App in einem Browser. Wer nur die Beschreibung des Agenten liest, was geändert wurde, prüft das Selbstvertrauen des Agenten.
- Messen Sie Ihre eigene Volltrefferquote. Nehmen Sie zwanzig reale Anfragen aus dem letzten Monat, führen Sie sie aus und zählen Sie, wie viele Ergebnisse ohne menschliche Nachbesserung vollständig korrekt waren. Diese Zahl, nicht der Durchschnitt, sagt Ihnen, wie viel Prüfzeit Sie einplanen müssen.
Nichts davon macht die Agenten weniger nützlich. 70 % der Anforderungen bei schwierigen, realen Anfragen zu erfüllen, bedeutet, dass viel Arbeit erledigt wurde. Es bedeutet nur, dass sich die Aufgabe der Person in der Schleife vom Codeschreiben hin dazu verschiebt, zu definieren, was „fertig“ bedeutet, und es zu prüfen.
Wenn Ihr Team mit Coding-Agenten startet und diese Gewohnheiten von der ersten Woche an aufbauen möchte, ist das Teil dessen, was wir in unserem KI-Training für technische Teams behandeln.


