KI-Agenten stehen vor einem Multi-Agent-Sicherheitstest
Google DeepMind und vier Partnerorganisationen haben am 11. Juni 2026 einen Forschungsfonds in Höhe von 10 Millionen US-Dollar angekündigt, um zu untersuchen, was passiert, wenn große Zahlen von KI-Agenten online miteinander interagieren. Die Bedeutung ist nicht theoretisch: Sobald Agenten den Anweisungen anderer Agenten folgen können, können vertraute Internetprobleme wie Betrug, Prompt Injection und Cyberangriffe schneller und in größerem Maßstab auftreten. Laut Bericht des MIT Technology Review vom 11. Juni sieht DeepMind nur ein kurzes Zeitfenster, bevor dies zu einem Mainstream-Problem bei der Bereitstellung wird.
Google DeepMind finanziert Multi-Agent-Sicherheitsforschung
Die Koalition umfasst Google DeepMind, Schmidt Sciences, ARIA, die Cooperative AI Foundation und Google.org. Ihr gemeinsamer Punkt ist unkompliziert: Es gibt noch kein etabliertes Fachgebiet für die Multi-Agent-Sicherheitsforschung, obwohl große Labore die Veröffentlichung von Agenten beschleunigen. Rohin Shah, der bei DeepMind die AGI-Sicherheits- und Alignmentsarbeit leitet, sagte dem Technology Review, dass „das Hauptproblem darin besteht, dass es noch nicht wirklich ein Forschungsfeld für Multi-Agent-Sicherheit gibt“.
Das ist relevant, weil sich der Markt von der Frage, ob KI-Agenten Aufgaben erledigen können, hin zur Frage verschoben hat, was passiert, wenn viele von ihnen in derselben Umgebung arbeiten. Google hatte bereits auf der I/O 2026 agentenbasierte Tools in den Vordergrund gestellt, sodass diese Finanzierungsankündigung weniger wie abstrakte Warnung und mehr wie Vorsorge vor einem möglichen Vorfall klingt. Das Signal ähnelt der kürzlichen Anleitung von Anthropic zum Aufbau effektiver KI-Agenten: Die Branche geht nun davon aus, dass das Bereitstellungsrisiko im Systemverhalten und nicht nur in der Modellqualität liegt.
Warum Single-Agent-Tests den echten Fehlermodus verpassen
Das Testen eines einzelnen Agenten isoliert kann beruhigende Ergebnisse liefern, während das Verhalten, das in der Produktion relevant ist, weiterhin übersehen wird. James Fox von Schmidt Sciences argumentierte, dass Forscher realistische Sandbox-Umgebungen brauchen, weil große Systeme sich nicht wie eine einfache Summe ihrer Teile verhalten. In Multi-Agent-Szenarien erweitert sich die Risikooberfläche durch Koordination, Fehlinterpretation, kaskadierende Prompts und Rückkopplungsschleifen.
Das ist das operative Problem hinter der Ankündigung. Ein Workflow, der in einer Demo stabil aussieht, kann versagen, wenn Dutzende Automatisierungen gleichzeitig Anfragen stellen, Kontext übergeben oder gemeinsame Dokumente lesen. Das Problem liegt weniger in einer einzelnen irrationalen Ausgabe, sondern in der Interaktionsdichte. Die Forschung zu emergenter Kooperation und Konflikten in Agentengesellschaften wurde bereits seit mehreren Jahren vorangetrieben, einschließlich Arbeiten aus dem Stanford-Projekt Smallville, aber die Unternehmensbereitstellung bewegt sich schneller als die Testdisziplin.
Für Unternehmensteams, die maßgeschneiderte KI-Agenten entwickeln, ist die praktische Implikation, dass Benchmark-Ergebnisse und Single-Agent-Piloten nicht mehr ausreichen. Simulation, Berechtigungsdesign und Beobachtbarkeit müssen früher im Release-Zyklus eingebunden werden. Deshalb werden Implementierungsmuster wie KI-gestützte Geschäftsprozessautomatisierung zunehmend weniger nur um Aufgabenorchestrierung und mehr um sicherheitsorientierte Kontrolle darüber, wie KI-Automatisierungsagenten interagieren.
Die praktischen Bedrohungen sind alte Internetprobleme in Agentenmaßstab
Die unmittelbarsten Risiken in der DeepMind-Warnung sind keine Science-Fiction-Szenarien. Es sind hochskalierte Versionen aktuellen Missbrauchs: Phishing, Betrugsoperationen, Prompt Injection und laterale Bewegung über vernetzte Systeme. Shahs Rahmen ist nützlich, weil er die Ablenkung durch ferne AGI-Debatten entfernt und sich auf das konzentriert, was Betreiber bereits erkennen können.
Prompt Injection ist das klarste Beispiel. Traditionelle Software folgt in der Regel festen, von Entwicklern geschriebenen Pfaden. Agentische Systeme hingegen lesen, schlussfolgern, improvisieren und rufen Tools auf. Wie Rafael Angel, CTO von Akeyless, im Technology Review-Bericht sagte, kann ein Agent „durch einen einzigen Satz, der in einem Dokument vergraben ist, das er lesen sollte, gekapert werden“. Das ist ein sehr anderes Bedrohungsmodell als regelbasierte Automatisierung.
Die Cybersicherheitsgemeinschaft hat bereits begonnen, sich anzupassen. Zero-Trust-Architektur, die von NIST skizziert und nun auch in KI-Bereitstellungsanleitungen aufgegriffen wird, wird relevanter, wenn die Unternehmens-KI-Sicherheit davon ausgehen muss, dass jeder Tool-Aufruf, jedes Dokument und jede Agent-zu-Agent-Nachricht versteckte Anweisungen enthalten könnte. Der Kompromiss ist offensichtlich: Reichere Autonomie schafft nützlichere Systeme, erhöht aber auch die Anzahl der Stellen, an denen ein Fehler beginnen kann.
Warum diese Warnung wichtig ist, bevor Agenten den Mainstream erreichen
Das Timing von DeepMind ist bemerkenswert. Shah schlug vor, dass es möglicherweise nur noch Monate dauern könnte, bis Agenten-Bereitstellungsvolumen diese Risiken materiell schwerer ignorierbar machen. Das passt zum breiteren Muster im Jahr 2026: Anbieter liefern Agentenprodukte aus, bevor Standard-Betriebskontrollen vollständig aufgeholt haben.
Der Markt spaltet sich entlang dreier Linien. Erstens behandeln einige Unternehmen die KI-Agentenentwicklung noch als Produktivitätsexperiment. Zweitens fangen sicherheitsorientierte Organisationen an, das Agentenverhalten als ein Problem des Unternehmensrisikomanagements zu modellieren. Drittens gestaltet eine kleinere Gruppe die KI-Integrationsarchitektur um die Annahme herum, dass Agenten unvorhersehbar interagieren werden. Die dritte Gruppe wird wahrscheinlich die Betriebsnorm setzen.
Das ist auch der Punkt, an dem die Warnung über Technologieunternehmen hinaus relevant wird. In professionellen Dienstleistungen und Cybersicherheitsteams überprüfen Agenten zunehmend Dokumente, leiten Anfragen weiter, entwerfen Antworten und lösen nachgelagerte Aktionen aus. Sobald diese Systeme anfangen, an andere Systeme zu delegieren, werden Fehlermodi eher organisatorisch als technisch. Ein schlechter Prompt bleibt nicht mehr lokal; er kann sich durch eine Kette von Genehmigungen, Dateien und Anwendungen bewegen.
Ein nützlicher Vergleich ist die frühe Cloud-Sicherheitsära. Das Kernproblem war nicht, dass Cloud-Infrastruktur unbrauchbar war. Es war, dass viele Organisationen sie übernommen haben, bevor Identität, Logging und Konfigurationsdisziplin ausgereift waren. Das KI-Risikomanagement scheint sich nun in dieselbe Richtung zu bewegen, nur ist das Verhalten der Software weniger deterministisch.
Was Unternehmens-KI-Teams aus dieser Nachricht lernen sollten
Die unmittelbare Lehre ist nicht, alle Bereitstellungen zu verlangsamen. Es ist, die Einheit der Analyse zu ändern. Unternehmen sollten Systeme von KI-Agenten bewerten, nicht einzelne Agenten, und sie sollten diese Systeme unter realistischer Arbeitslast, adversarialen Eingaben und Übergabebedingungen testen.
Das bedeutet drei konkrete Veränderungen. Erstens: Agenteninteraktionen vor der Produktion in einer Sandbox testen und Cross-Agent-Anweisungen in Testfälle einbeziehen. Zweitens: Least-Privilege-Zugriff und Genehmigungsschwellen für die Tool-Nutzung anwenden, insbesondere dort, wo Agenten externe Inhalte lesen oder finanzielle, rechtliche oder kundenorientierte Aktionen auslösen können. Drittens: Mehrschritt-Verhalten über die Zeit hinweg überwachen, anstatt nur zu prüfen, ob eine einzelne Antwort korrekt aussah.
Hier können aktuelle Standards helfen, auch wenn sie das Problem nicht vollständig lösen. Das NIST AI Risk Management Framework und ISO/IEC 42001 drängen Organisationen beide zu Governance-, Monitoring- und Rechenschaftspraktiken, die sich für Agenten-Bereitstellungen besser eignen als einmalige Modellevaluationen. Die Einschränkung ist, dass keines der beiden Frameworks einem Team genau sagt, wie sich Tausende interagierender Agenten in einer Live-Umgebung verhalten werden. Simulation und operative Kontrollen müssen diese Lücke weiterhin schließen.
Das Nächste, auf das man achten sollte, ist, ob die Multi-Agent-Sicherheit zu einer eigenständigen Disziplin innerhalb von Unternehmens-KI-Programmen wird, anstatt eine Teilmenge des Modelltests zu bleiben. Wenn große Labore weiterhin Agentenprodukte ausliefern und gleichzeitig separate Sicherheitsforschung finanzieren, ist das ein Zeichen dafür, dass die Implementierungsherausforderung die heutigen Kontrollen überholt hat. Für Unternehmensteams ist die zu schließende Lücke nicht mehr, ob KI-Agenten nützlich handeln können, sondern ob sie gemeinsam handeln können, ohne ein Sicherheitschaos zu verursachen.
Martin Kuvandzhiev
CEO and Founder of Encorp.io with expertise in AI and business transformation