AI агентите са изправени пред тест за безопасност в многоагентна среда
Google DeepMind и четири партньорски организации обявиха на 11 юни 2026 г. изследователски фонд от 10 млн. долара, за да проучат какво се случва, когато голям брой AI агенти започнат да взаимодействат онлайн. Значението не е теоретично: щом агентите могат да следват инструкции от други агенти, познати интернет проблеми като измами, prompt injection и кибератаки могат да се усилят по-бързо и в по-голям мащаб. Според репортаж на MIT Technology Review от 11 юни, DeepMind вижда само кратък прозорец, преди това да се превърне в масов проблем при внедряване.
Google DeepMind финансира изследвания за безопасност в многоагентна среда
Коалицията включва Google DeepMind, Schmidt Sciences, ARIA, the Cooperative AI Foundation и Google.org. Общата им теза е ясна: все още няма зряла дисциплина за изследване на безопасността в многоагентна среда, въпреки че водещите лаборатории ускоряват пускането на агенти. Rohin Shah, който ръководи работата на DeepMind по AGI safety и alignment, казва пред Technology Review, че “the main issue is that there just isn’t really a field of research for multi-agent safety yet.”
Това има значение, защото пазарът вече премина от въпроса дали AI агентите могат да изпълняват задачи към въпроса какво става, когато много от тях работят в една и съща среда. Google вече постави акцент върху agent-based инструменти на I/O 2026, така че това финансиране звучи по-малко като абстрактна предпазливост и повече като подготовка преди инциденти. Сигналът е сходен с последните насоки на Anthropic за защита на AI агенти чрез zero-trust принципи: индустрията вече приема, че рискът при внедряване е в поведението на системата, а не само в качеството на модела.
Защо тестовете с един агент пропускат реалния механизъм на отказ
Тестването на един агент в изолация може да даде успокояващи резултати, но въпреки това да пропусне поведението, което има значение в продукционна среда. James Fox от Schmidt Sciences посочва, че на изследователите са им нужни реалистични sandboxes, защото големите системи не се държат като проста сума от отделните си части. В многоагентна среда повърхността на риска се разширява чрез координация, погрешни интерпретации, каскадни промптове и feedback loops.
Това е и оперативният проблем зад обявлението. Работен процес, който изглежда стабилен в демо, може да се провали, когато десетки автоматизации едновременно изпращат заявки, предават контекст или четат споделени документи. Проблемът е по-малко в един ирационален резултат и повече в плътността на взаимодействията. Изследванията върху възникващо сътрудничество и конфликти в общества от агенти се развиват от няколко години, включително в работата по проекта Smallville на Stanford, но корпоративното внедряване се движи по-бързо от дисциплината по тестване.
За корпоративните екипи, които изграждат custom AI agents, практическото следствие е, че benchmark резултати и пилотни проекти с един агент вече не са достатъчни. Симулирането, дизайнът на разрешенията и observability трябва да влязат по-рано в цикъла на внедряване. Именно затова модели за внедряване като AI Business Process Automation все по-малко са само въпрос на оркестрация на задачи и все повече на security-first контрол върху начина, по който AI automation agents взаимодействат.
Практическите заплахи са старите интернет проблеми, но в мащаба на агентите
Най-непосредствените рискове в предупреждението на DeepMind не са научна фантастика. Това са мащабирани версии на познати злоупотреби: phishing, измамни операции, prompt injection и lateral movement през свързани системи. Подходът на Shah е полезен, защото премахва разсейването от далечните дебати за AGI и насочва вниманието към неща, които операторите вече разпознават.
Prompt injection е най-ясният пример. Традиционният софтуер обикновено следва фиксирани пътища, написани от разработчици. Agentic системите обаче четат, разсъждават, импровизират и извикват инструменти. Както Rafael Angel, CTO на Akeyless, казва в материала на Technology Review, един агент “can be hijacked by a single sentence buried in a document it was asked to read.” Това е съвсем различен модел на заплаха спрямо rule-based автоматизация.
Общността по киберсигурност вече започна да се адаптира. Zero-trust архитектурата, описана от NIST и вече отразена в насоките за внедряване на AI, става още по-релевантна, когато корпоративната AI сигурност трябва да приема, че всяко извикване на инструмент, документ и съобщение между агенти може да носи скрити инструкции. Компромисът е очевиден: по-богатата автономност създава по-полезни системи, но също така увеличава броя на местата, откъдето може да започне отказ.
Защо това предупреждение има значение, преди агентите да станат масови
Таймингът на DeepMind е показателен. Shah предполага, че може да остават само месеци, преди обемът на внедряванията на агенти да направи тези рискове осезаемо по-трудни за игнориране. Това съвпада с по-широката картина през 2026 г.: доставчиците пускат agent продукти, преди стандартните оперативни контроли да са ги настигнали напълно.
Пазарът се разделя по три линии. Първо, някои компании все още третират разработката на AI агенти като експеримент за продуктивност. Второ, организациите с фокус върху сигурността започват да моделират поведението на агентите като проблем на enterprise risk management. Трето, по-малка група преработва архитектурата за AI интеграция, изхождайки от предположението, че агентите ще взаимодействат непредвидимо. Именно третата група вероятно ще зададе оперативната норма.
Тук предупреждението става релевантно и извън технологичните компании. В екипите по професионални услуги и киберсигурност агентите все по-често преглеждат документи, насочват заявки, подготвят отговори и задействат последващи действия. Щом тези системи започнат да делегират към други системи, механизмите на отказ стават по-скоро организационни, отколкото чисто технически. Лошият промпт вече не остава локален; той може да се придвижи по верига от одобрения, файлове и приложения.
Полезно сравнение е ранният период на cloud security. Основният проблем не беше, че cloud инфраструктурата е неизползваема. Проблемът беше, че много организации я възприеха, преди дисциплината по идентичност, логове и конфигурации да е зряла. AI risk management сега изглежда върви в същата посока, с тази разлика, че поведението на софтуера е по-малко детерминирано.
Какво трябва да извлекат корпоративните AI екипи от тази новина
Непосредственият извод не е да се забавят всички внедрявания. Той е да се промени единицата на анализ. Компаниите трябва да оценяват системи от AI агенти, а не отделни агенти, и да тестват тези системи при реалистично натоварване, adversarial inputs и условия на предаване между агенти.
Това означава три конкретни промени. Първо, симулирайте взаимодействията между агенти преди продукционна среда и включвайте cross-agent инструкции в тестовите сценарии. Второ, прилагайте least-privilege достъп и прагове за одобрение при използване на инструменти, особено когато агентите могат да четат външно съдържание или да задействат финансови, правни или клиентски действия. Трето, наблюдавайте многостъпковото поведение във времето, вместо да проверявате само дали един отговор е изглеждал коректен.
Тук могат да помогнат и настоящите стандарти, дори да не решават проблема изцяло. NIST AI Risk Management Framework и ISO/IEC 42001 насочват организациите към практики за управление, мониторинг и отчетност, които са по-подходящи за внедряване на агенти, отколкото еднократната оценка на модел. Ограничението е, че нито една от тези рамки не казва на екипа как точно ще се държат хиляди взаимодействащи агенти в реална среда. Тази празнина все още трябва да се запълни чрез симулации и оперативни контроли.
Следващото, което си струва да се следи, е дали безопасността в многоагентна среда ще се превърне в самостоятелна дисциплина в корпоративните AI програми, а не просто в подмножество на model testing. Ако водещите лаборатории продължат да пускат agent продукти, докато паралелно финансират отделни изследвания по безопасност, това е знак, че предизвикателството при внедряването вече изпреварва днешните контроли. За корпоративните екипи разликата, която трябва да затворят, вече не е дали AI агентите могат да действат полезно, а дали могат да действат заедно, без да създадат сериозен проблем със сигурността.
Martin Kuvandzhiev
CEO and Founder of Encorp.io with expertise in AI and business transformation