Coding-Agenten erfüllen 70 % der Anforderungen, schließen aber nur 26 % der Aufgaben ab
AI Tools & Software

Coding-Agenten erfüllen 70 % der Anforderungen, schließen aber nur 26 % der Aufgaben ab

5 Min. Lesezeit
Teilen:

Eine der Aufgaben in einem neuen Coding-Benchmark von Alibaba wirkt fast langweilig: den Betrag von einem Beleg übernehmen und jede Summe in der App aktualisieren, die davon abhängt. Die Zahl abzulesen ist einfach. Der schwierige Teil ist „jede“. Ein Agent kann die Hauptsumme korrigieren, ein abhängiges Feld unverändert lassen und trotzdem etwas zurückgeben, das fertig aussieht.

Genau dieses Muster ist die eigentliche Erkenntnis von Co-Design Bench, einem Paper, das am 26. Oktober 2026 von Forschern aus Alibabas Token Hub-Gruppe, Fudan, Zhejiang, CUHK, Shanghai Jiao Tong und NTU auf arXiv veröffentlicht wurde und breite Aufmerksamkeit bekam, nachdem The Decoder darüber berichtet hatte am 8. November. Der beste der zehn getesteten Modell-Endpunkte, GPT-6 Astra, erfüllte im Durchschnitt 69,9 % der Akzeptanzkriterien pro Aufgabe. Vollständig erfüllte er nur 26,4 % der Aufgaben.

Beide Zahlen stammen aus denselben Durchläufen. Zusammengenommen sagen sie: Der Agent erledigt meist den Großteil der Arbeit und lässt mindestens eine Sache offen. Dem Paper zufolge blieb bei 73,6 % der Aufgaben mindestens ein Kriterium übrig, das nicht vollständig erfüllt wurde.

Was tatsächlich getestet wurde

Die 273 Aufgaben wurden aus 37.463 deduplizierten Anfragen aus 26.314 realen Coding-Sessions von Nutzern kuratiert. Die Forschenden bevorzugten bewusst Anfragen mit einer Vorgeschichte von Problemen: Nutzer, die dieselbe Anfrage zwei- oder dreimal umformulierten, weiter nachhakten oder eine Änderung zurückrollten. Expertinnen und Experten verfeinerten anschließend jede Anfrage und hinterlegten versteckte Akzeptanzkriterien, insgesamt 2.331, also etwa achteinhalb pro Aufgabe.

Es gab zwei Tracks. Lokalisierte Änderungen, teils mit Bild, Audio, Video oder Dokument als Eingabe, und Repository-Änderungen, die koordinierte Anpassungen über eine Codebasis hinweg erfordern. Der zweite Track war deutlich schwieriger: Der beste Endpunkt löste 41,0 % der lokalisierten Aufgaben und 17,9 % der Repository-Aufgaben vollständig. Alle zehn Endpunkte schnitten bei Repository-Änderungen, die drei oder vier Arten von Änderungen kombinierten, schlechter ab als bei solchen mit ein oder zwei.

Jedes Modell lief im selben Harness, Claude Code, mit denselben Prompts und Tools. Ein KI-Richter testete jede fertige App im Browser und prüfte den Quellcode, und ein zweiter KI-Prüfer stellte jedes positive Urteil infrage.

Die Einschränkungen sind ebenso wichtig wie die Ergebnisse. Jede Anfrage war fest vorgegeben, sodass die Agenten keine klärende Frage stellen oder auf halbem Weg eine Korrektur erhalten konnten. Die Richter sind Modelle und können falsch liegen. Und die Aufgaben wurden ausgewählt, weil sie bereits Probleme verursacht hatten. Wie es eine sorgfältige Zusammenfassung auf DEV formuliert: 26,4 % sollte man nicht als „Agenten scheitern an drei von vier Alltagsaufgaben“ zitieren.

Wo die Kosten verborgen sind

Das ist unsere Lesart, nicht die des Papers: Der teure Teil der Arbeit mit Coding-Agenten sind die letzten 30 %, weil sie auf den ersten Blick unsichtbar sind. Eine Änderung, die sieben von acht Anforderungen erfüllt, wirkt in einer Demo fertig. Das fehlende achte Kriterium fällt später auf, meistens bei einer Summe, die nicht mehr aufgeht, oder auf einem Bildschirm, den niemand noch einmal geprüft hat.

Der Benchmark konnte diese Lücke nur sehen, weil jemand die Kriterien vorab aufgeschrieben hatte. Genau diesen Teil überspringen Unternehmen häufig. Eine Anfrage wie „Füge dem Rechnungsformular ein Rabattfeld hinzu“ bringt fünf oder sechs unausgesprochene Erwartungen mit: wo es erscheint, wie gerundet wird, was mit der Umsatzsteuer passiert, ob sich alte Rechnungen ändern, was im PDF steht. Die anfragende Person kennt sie. Der Agent nicht, und die prüfende Person auch nicht, sofern sie nirgendwo dokumentiert sind.

Auch das Tool um das Modell herum zählt

Das Paper ließ außerdem zwei Modelle durch drei verschiedene Harnesses laufen. Bei Repository-Änderungen erzielte Qwen3.8-27B in einem Harness 0,560 und in einem anderen 0,749, bei denselben Aufgaben. Der Abstand zwischen zwei Modellen änderte sich je nach Harness um bis zu 16,2 Prozentpunkte, und bei lokalisierten Änderungen kehrte sich das Harness-Ranking zwischen den beiden Modellen vollständig um.

Für alle, die ein Tool auswählen, ist das eine praktische Warnung. Ein öffentliches Leaderboard vergleicht Modelle in einem bestimmten Setup. Was Ihr Team nutzen wird, ist ein Modell innerhalb eines konkreten Produkts, mit dessen eigener Art, Dateien zu lesen, Code auszuführen und zu entscheiden, wann es fertig ist. Der einzige Vergleich, der wirklich etwas aussagt, ist genau diese Kombination mit Ihren eigenen Aufgaben.

Was wir in der Praxis ändern würden

Wenn ein Team bereits Coding-Agenten nutzt oder kurz davorsteht, verweist der Benchmark auf ein paar Gewohnheiten, die wenig kosten:

  • Schreiben Sie die Akzeptanzkriterien vor der Anfrage auf. Fünf bis zehn kurze, prüfbare Zeilen pro Aufgabe. Sie helfen dem Agenten, und sie machen aus „sieht gut aus“ eine Checkliste.
  • Teilen Sie Anfragen auf, die mehrere Arten von Änderungen berühren. Der Leistungsabfall bei Repository-Änderungen mit drei bis vier Änderungstypen ist das klarste Signal in den Daten. Zwei kleine Anfragen lassen sich leichter prüfen als eine große.
  • Lassen Sie den Agenten fragen. Der Benchmark verbot klärende Fragen. Echte Arbeit muss das nicht. Tools, die anhalten und bei einer mehrdeutigen Anforderung nachfragen, sind mehr wert, als ihr Leaderboard-Wert vermuten lässt.
  • Prüfen Sie das laufende Ergebnis, nicht die Zusammenfassung. Der Benchmark-Richter öffnete die App in einem Browser. Wer nur die Beschreibung des Agenten liest, was geändert wurde, prüft das Selbstvertrauen des Agenten.
  • Messen Sie Ihre eigene Volltrefferquote. Nehmen Sie zwanzig reale Anfragen aus dem letzten Monat, führen Sie sie aus und zählen Sie, wie viele Ergebnisse ohne menschliche Nachbesserung vollständig korrekt waren. Diese Zahl, nicht der Durchschnitt, sagt Ihnen, wie viel Prüfzeit Sie einplanen müssen.

Nichts davon macht die Agenten weniger nützlich. 70 % der Anforderungen bei schwierigen, realen Anfragen zu erfüllen, bedeutet, dass viel Arbeit erledigt wurde. Es bedeutet nur, dass sich die Aufgabe der Person in der Schleife vom Codeschreiben hin dazu verschiebt, zu definieren, was „fertig“ bedeutet, und es zu prüfen.

Wenn Ihr Team mit Coding-Agenten startet und diese Gewohnheiten von der ersten Woche an aufbauen möchte, ist das Teil dessen, was wir in unserem KI-Training für technische Teams behandeln.

Frequently asked questions

Was ist Co-Design Bench?

Ein Coding-Agent-Benchmark, der am 26. Oktober 2026 von Forschern aus Alibabas Token Hub-Gruppe und mehreren Universitäten auf arXiv veröffentlicht wurde. Er umfasst 273 Aufgaben, die aus 37.463 Anfragen in 26.314 realen Coding-Sessions von Nutzern kuratiert wurden, und wird anhand von 2.331 versteckten Akzeptanzkriterien bewertet.

Wie gut schnitt der beste Coding-Agent ab?

Der beste Endpunkt, GPT-6 Astra, erfüllte im Durchschnitt 69,9 % der Akzeptanzkriterien pro Aufgabe, aber nur 26,4 % der Aufgaben vollständig. Bei Repository-weiten Änderungen löste er 17,9 % vollständig.

Heißt das, dass Coding-Agenten an drei von vier Alltagsaufgaben scheitern?

Nein. Die Aufgaben wurden ausgewählt, weil sie Nutzern bereits Probleme bereitet hatten, Agenten konnten keine klärenden Fragen stellen, und die Bewertung erfolgte durch KI-Richter. Das Ergebnis zeigt, dass Agenten bei schwierigen Anfragen oft eine Anforderung unerledigt lassen, nicht eine alltägliche Fehlerquote.

Wie sollte ein Team einen Coding-Agenten evaluieren?

Testen Sie die konkrete Kombination aus Tool und Modell mit etwa 20 Ihrer eigenen aktuellen Anfragen, mit vorab formulierten Akzeptanzkriterien, und zählen Sie, wie viele Ergebnisse ohne menschliche Korrekturen vollständig richtig waren. Das Paper zeigt, dass allein der Harness den Wert eines Modells erheblich verschieben kann.

Ähnliche Artikel

Abschaltungen von KI-Modellen werden Monate im Voraus angekündigt. Wer in Ihrem Unternehmen liest sie?

Microsoft hat am 19. November sieben Azure OpenAI-Modelle aus dem Betrieb genommen; weitere Abschaltungen folgen am 30. November, 11. Dezember und 11. Januar. Die Termine sind öffentlich. Was vielen Unternehmen fehlt, ist eine Person, die weiß, welches Modell jede KI-Integration aufruft und was passiert, wenn es wegfällt.

20. Nov. 2026

ChatGPT for Sales kann Ihr CRM aktualisieren. Legen Sie zuerst die Schreibregeln fest

OpenAIs ChatGPT for Sales ermöglicht es Vertriebsteams, Anrufe vorzubereiten und CRM-Datensätze direkt aus einem Chat zu aktualisieren. Laut HubSpots eigener Dokumentation gelten die benutzerdefinierten Validierungsregeln nicht für diese Aktualisierungen. Entscheiden Sie daher, was ChatGPT schreiben darf, bevor jemand das Plugin installiert.

19. Nov. 2026

Microsofts Autopilot-Agent entscheidet selbst, wann er Sie fragt

Microsofts neuer Autopilot-Agent in Copilot arbeitet ohne Prompts und fragt nur dann nach Freigabe, wenn seine eigene Prüfung eine Aktion außerhalb Ihrer Anfrage erkennt. Vorerst ist er nur in den USA verfügbar, doch seine Regeln zeigen, worauf sich Unternehmen in Bulgarien vorbereiten sollten: verantwortliche Owner, präzisere Briefings, Ausgabenlimits und eine DSGVO-Prüfung.

18. Nov. 2026