AI откриването на измами навлиза във фазата на scam bot-овете
Почти 50% от участниците в теста са изпълнили искане на AI chatbot в симулация на измама, докато под 20% са направили същото при човешки измамници, според скорошен материал на Wired за университетско изследване. За enterprise екипите, които се фокусират върху AI fraud detection, тази разлика е по-важна от шокиращото заглавие: тя подсказва, че най-лесно мащабируемата част от измамата вече може да е изграждането на доверие, а не финалната стъпка по плащането. Това преформулира защитата от измами — от разпознаване на съмнителен език към откриване на съмнителни модели на взаимодействие през различни канали.
AI fraud detection вече има проблем с доверието, не само с съдържанието
Изследователският екип от Amrita Vishwa Vidyapeetham, Ca' Foscari University of Venice, University of Melbourne и Ben Gurion University of the Negev тества дали generative AI chatbot може да се справя по-ефективно от хората с фазата на изграждане на отношения в измама. В симулацията изглежда точно това се е случило.
Важното число не е само разликата в изпълнението. Важен е и времевият хоризонт зад нея. При т.нар. pig-butchering измами най-дългият етап често е седмици или месеци обикновен разговор, преди да се появи каквото и да е финансово искане. Това съвпада много добре с това, в което съвременните AI conversational agents са силни: последователност, търпение, превод и неограничена евтина ангажираност.
Според обобщението на изследването от Wired bot-ът е писал в продължение на седмица на 22 участници, преди да ги помоли да изтеглят приложение или да играят онлайн игра като индикатор за поддаване на измамата. Почти половината са изпълнили искането на bot-а. По-малко от един на пет е изпълнил искането на човешкия измамник. Участниците са отчели и по-високи нива на доверие към bot-а.
Това е важно, защото много enterprise detection stack-ове все още дават голяма тежест на съдържанието: забранени фрази, признаци за spoofing, очевидни сигнали за спешност и език, свързан с плащания. Тези контроли продължават да са важни, но са проектирани за края на измамата, не за подгряващата фаза.
Три числа, които променят модела за измами
- 22 участници са използвани в експеримента, обобщен от Wired, което дава на изследователите контролиран начин да сравнят представянето на bot и човек.
- Близо 50% са изпълнили искането на AI chatbot след седмица разговори за изграждане на доверие.
- Под 20% са изпълнили искането на човешкия измамник при същите условия.
Тези данни не означават, че всеки сценарий за измама вече е напълно автоматизиран. Те обаче подсказват, че AI risk analytics трябва да се измести към sequence-level мониторинг: как се изгражда доверие, как се сменят каналите и кога разговорът започва да насочва потребителя извън платформата.
Както изследователят от Ben Gurion University Yisroel Mirsky казва пред Wired, опасението е, че bot може да поеме изцяло първия етап на измамата в мащаб, а след това да предаде разговора на човек едва във финалната стъпка. Този хибриден модел е важен от оперативна гледна точка. Той позволява на операторите на измами да запазят скъпия човешки труд само там, където safeguards на доставчиците или по-фината социална манипулация все още имат значение.
Защо long-con измамите пасват необичайно добре на AI chatbot development
Повечето защити срещу измами са изградени за кратки атаки с висок сигнал: phishing имейли, внезапни account takeover опити, аномалии при плащания или фалшива support комуникация. Long-con измамите работят различно. Те започват с на пръв поглед безобиден разговор и след това натрупват доверие бавно.
Това прави категорията особено релевантна за екипите по AI chatbot development и AI trust and safety. Един способен модел не трябва да е брилянтен, за да помогне на измамник. Нужно е само да бъде достатъчно последователен за достатъчно дълго време, да помни детайли, да адаптира тона и да избягва очевидни червени флагове.
По-широкият контекст на изследването подсилва тази теза. Wired съобщава, че изследователите са интервюирали 145 бивши участници в измамни операции, включително оцелели от trafficking в scam compounds в Камбоджа, Мианмар и Лаос, за да разберат как реално функционират тези измамни процеси. Изводът им е по-малко свързан с зрелищна измама и повече с логиката на производство: по-голямата част от труда е обикновен разговор.
За лидерите по сигурността това означава, че някои сигнали за откриване може да отслабнат първи:
| Signal type | Old value | New risk in agentic scams |
|---|---|---|
| Obvious scam keywords | High | Lower, because early messages stay benign |
| Message volume spikes | Medium | Lower, because bots can throttle naturally |
| Grammar and tone errors | High | Much lower with LLM assistance |
| Cross-channel handoffs | Medium | Higher, because handoff timing becomes a key clue |
| Behavior over time | Medium | Much higher, because the sequence is the attack |
Тук започва значение да има и практичният път за внедряване. Екипите, които оценяват AI fraud detection for payments, трябва да мислят отвъд transaction scoring и да включат conversation telemetry, подкани за инсталиране на приложения и маркери за human handoff в workflow-а.
Икономиката на мащаба се измества към хибридни измамни операции
Историята с труда тук е също толкова важна, колкото и историята с модела. Традиционните измамни операции изискваха хора, които да поддържат много на брой, но с ниска ефективност разговори за дълги периоди. Ако AI поеме първите 70% до 90% от този workflow, икономиката се подобрява, дори ако хората все още затварят финалната стъпка.
Това има три последствия за enterprise AI security екипите.
Първо, обемът на измамите може да нарасне без съответно увеличение на персонала. Малък оператор може да води повече паралелни разговори, в повече географии, на по-добър английски и с по-малко грешки от умора.
Второ, регионалното триене намалява. Качеството на превода, местният small talk и последователността на персонажите преди бяха ограничения. С generative системите те се превръщат в автоматизируеми функции.
Трето, ескалацията става по-трудна за засичане. Ако bot предаде разговора на човек едва при финалната инвестиционна или платежна стъпка, организациите може да класифицират събитието като нормално sales, support или peer взаимодействие, докато не стане твърде късно.
Затова safeguards само на ниво модел не са достатъчни. Подходът на OpenAI към безопасността и изследванията на Anthropic в областта на безопасността са важни, но изводът от изследването е, че атакуващите може умишлено да структурират процесите си така, че да заобикалят тези guardrails почти до самия край. Затова защитниците имат нужда от контроли на workflow ниво, а не само на model ниво.
Какво трябва да обновят първо fraud екипите и fintech платформите
За екипите в AI for fintech, плащания и marketplace, първата промяна е концептуална: атаката вече може да не е лошо съобщение. Тя може да е добър разговор с лоша крайна цел.
Това променя и точката, от която трябва да започне мониторингът.
Fraud екипите трябва да приоритизират:
- модели на разговор, които остават нискорискови с дни, а след това рязко преминават към инсталиране на приложения или език за инвестиции
- повтарящи се подканвания за преместване от чата в платформата към криптирани или по-слабо наблюдавани канали
- нишки за изграждане на доверие, които показват необичайно висока отзивчивост в нетипични часове или в много едновременни акаунти
- signatures за handoff, при които стилът на съобщенията, латентността или намерението се променят рязко близо до точката на конверсия
- customer service и support процеси, при които bot-ове или агенти могат да бъдат имитирани с по-висока убедителност от преди
Това е важно и за AI customer service екипите. С разгръщането на все повече легитимни support bot-ове в enterprise среда, потребителите се обучават да приемат полираните автоматизирани разговори като нещо нормално. Това не означава, че организациите трябва да забавят автоматизацията като цяло. Означава, че обучението на клиентите и контролите срещу измами трябва да се развиват паралелно.
Полезна краткосрочна тактика е да се комбинират съществуващите модели за риск при плащания и акаунти с interaction-risk scoring. Вместо да се пита дали едно конкретно съобщение изглежда подозрително, въпросът трябва да е дали цялата последователност изглежда инженерно режисирана. В много организации това днес е тема от roadmap-а за 2025 или 2026 г.; това изследване подсказва, че трябва да се премести по-близо до непосредствения triage.
Трендът е ясен: по-доброто scam писане беше предупреждението, agentic scam orchestration е същинската промяна
По-големият тренд в AI fraud detection не е, че bot-овете пишат по-добри съобщения. Той е, че bot-овете вече могат да управляват по-голяма част от измамния workflow с убедителна емоционална последователност. Изследването, за което Wired съобщава, все още е един експеримент с ограничена извадка, но числата са достатъчно силни, за да наложат промяна в защитните допускания.
За enterprise екипите практичният извод е ясен: филтрите за съдържание остават необходими, но вече не са достатъчни. Следващото предимство в контрола ще дойде от мониторинг на поведението във времето, особено във фазата на изграждане на доверие, при смяната на канала и при финалния human handoff.
Martin Kuvandzhiev
CEO and Founder of Encorp.io with expertise in AI and business transformation