AI trust and safety се проваля на нивото на рефералите
Масовите социални платформи не само хостват последиците от вредното синтетично съдържание. Според нов материал на обобщението на WIRED за доклада на Institute for Strategic Dialogue те също така помагат на потребителите да откриват инструментите, които го създават. Ключовото число е над 5,7 милиона посещения, пренасочени от социални мрежи към nudify сайтове между декември 2025 г. и март 2026 г., като само YouTube формира 1,82 милиона от тези реферали. На практика това означава, че AI trust and safety се проваля по-рано във веригата, отколкото много policy екипи измерват: при откриването, препоръките и изходящото насочване.
Социалните платформи насочват потребители към nudify сайтове
Докладът на Institute for Strategic Dialogue, Mapping the Nudify Tools Ecosystem, променя рамката на темата за синтетичното сексуално насилие. Проблемът не е само, че онлайн се появяват интимни изображения без съгласие. Проблемът е, че обичайни повърхности на платформите изглежда насочват потребителите към инструменти, които ги генерират.
Според WIRED изследването на ISD разглежда 10-те най-използвани приложения и сайтове за създаване на експлицитни deepfake материали без съгласие и начина, по който хората ги откриват. Социалните платформи са довели над 5,7 милиона посещения в периода на изследването. YouTube води с 1,82 милиона посещения, или над 30%, а X формира над 1,3 милиона.
Това е важно, защото проблемът с рефералите е структурно различен от стандартния проблем с премахването на съдържание. Една платформа може да сваля отделни примери за злоупотреба и въпреки това да продължава да захранва търсенето, ако резултатите от търсене, препоръките, видеата на създатели, описанията, промо кодовете или изходящите линкове продължават да вършат насочването.
С други думи, AI content moderation е само един слой от контролната архитектура. Системите за дистрибуция са също толкова важни.
Защо това е провал в AI trust and safety, а не просто spam проблем
Пазарът все по-ясно разделя инцидентите с вреден AI в две категории: риск от генерирано съдържание и риск от дистрибуция. Този случай попада изцяло във втората категория.
Публичните политики на YouTube, както са обобщени от WIRED, вече забраняват нежеланата сексуализация и се прилагат както за външни линкове, така и за съдържание в самата платформа. Именно затова изводът на ISD е по-показателен от поредния пример за вредно съдържание, което е минало през филтрите. Пропускът изглежда оперативен, а не само текстуален. Policy език има; прилагането му във всички повърхности не изглежда изчерпателно.
Не ставаше дума само за това, че YouTube е пасивен източник на реферален трафик. В много случаи платформата е улеснявала и използването на тези инструменти, казва пред WIRED Мелани Смит от ISD.
Този цитат насочва към по-широк проблем в AI risk management. Екипите по trust and safety често изграждат контролите около крайния артефакт: изображението, видеото, акаунта, публикацията. Но провалите в discoverability възникват по-нагоре по веригата. Search заявки като undress app, recommendation системи, които продължават да показват сходни видеа, и линкове в описанията удължават веригата на злоупотреба, без платформата изобщо да трябва да хоства крайното вредно изображение.
Практическият извод е, че измерването на инциденти трябва да се разшири. Броят на премахванията е полезен, но недостатъчен. По-силен модел за контрол измерва реферален трафик, повтарящи се клъстери от ключови думи, целеви домейни, модели на линкване на ниво creator и честота на повторна поява след enforcement.
За екипи, които формализират тези контроли, подход, базиран на управление и governance, като AI risk management solutions for businesses, е по-подходящ, защото проблемът обхваща policy, мониторинг, review workflows и escalation thresholds, а не само една moderation опашка.
Как обичайните механизми за откриване вършат тази работа
Един от най-важните детайли в материала е колко неособен изглежда пътят на откриване. Потребителите не са зависели само от fringe форуми. Докладът сравнява масовите платформи с места като 4chan, като отбелязва, че значителна част от рефералите идват именно от големи социални повърхности.
Според WIRED много от видеата са се появявали при търсения по ключови думи като undress app или nudify app. Някои са правели ревюта на конкретни инструменти. Други са включвали промо кодове или са пращали потребителите към външни сайтове. Тази комбинация е важна, защото показва как AI moderation tools могат да пропуснат злоупотреба, когато са настроени за откриване на експлицитно съдържание, но не и на инструктивно или промоционално съдържание.
Тук дизайнът на платформата усилва проблема. Търсенето, препоръките, монетизацията на създатели, линкването навън и системите за репутация на акаунти често се управляват от различни вътрешни екипи. Но потребителят ги преживява като единен поток. Човек може да премине от заявка към видео, от описание към външна дестинация за секунди.
Сравнителният ъгъл тук е показателен. Един fringe форум може да е по-слабо модериран, но и с по-ниска ефективност на дистрибуцията. Масовата платформа добавя reach, search volume, recommendation инфраструктура и потребителско доверие. Това я прави по-ценна като gateway.
Това не е уникално за синтетично сексуално съдържание. Подобни динамики вече се наблюдават при екстремизъм, разпространение на malware и промотиране на измами. Изследвания на Stanford Internet Observatory и policy работа по NIST’s AI Risk Management Framework подсилват една и съща теза: вредите се разпространяват чрез системи, а не само чрез изолирани активи.
Какво ни казва приходният модел за стимулите на платформите
Икономиката зад nudify инструментите прави пропуска в enforcement още по-съществен. WIRED съобщава, че някои услуги позволяват генериране на изображения за едва $1 на изображение, а по-ранни публикации сочат, че категорията може да генерира общо до $36 милиона приходи.
Ниската цена на изображение не означава нисък риск. Тя означава висок обем на конверсия. Ако разходите за привличане на потребители се понижават чрез безплатен реферален трафик от масови платформи, бизнес моделът се подобрява дори когато цените остават ниски. Това е класически модел в икономиката на злоупотребата: ниска единична цена, висока повторяемост, минимални разходи за дистрибуция.
За платформените оператори това е важно за enterprise AI security и за приоритизацията на policy. Злоупотреба, която изглежда маргинална на ниво съдържание, може да стане съществена, когато има предвидимо насочване, мащабируеми плащания и широко търсене. За училища, медийни компании и платформи с user-generated content вторичните ефекти са сериозни: вреди за жертвите, риск за рекламодателите, правна експозиция и натоварване на moderation екипите нарастват едновременно.
Има и аспект на AI data security. Дори когато една платформа никога не съхранява крайното генерирано изображение, тя може все пак да обработва история на търсения, съобщения, изходящи кликове и сигнали, свързани с силно чувствителни категории злоупотреба. Това поставя governance въпроси за retention, достъп на reviewer-и, handling на доказателства и ескалация между екипи.
Какво трябва да прави по-добрата moderation оттук нататък
Най-ясният извод от този случай е, че платформите трябва да управляват веригата на рефералите, а не само обекта на съдържанието.
Първо, enforcement трябва да обхваща изходящите линкове и монетизираните call to action елементи със същата сериозност, с която се третират експлицитните качвания. Ако едно видео промотира nudify инструмент, предлага код и насочва потребители извън платформата, то е част от пътя на злоупотребата, дори самото видео да не е експлицитно.
Второ, платформите се нуждаят от cross-surface review. Search заявки, recommendation клъстери, повтарящи се целеви домейни и поведението на creator-и трябва да се преглеждат заедно, а не в отделни опашки. Това е проблем на governance дизайна също толкова, колкото и на инструментите.
Трето, екипите се нуждаят от прагове за повтарящи се модели. Една изолирана публикация може да изглежда двусмислена. Петдесет видеа, насочващи към един и същ клас дестинации, вече не са двусмислени. Именно тук AI governance става оперативна, а не абстрактна.
Четвърто, обучението остава критично. Екипите по moderation, собствениците на policy, правните reviewers и trust-and-safety операциите се нуждаят от общи playbook-и за синтетично сексуално съдържание, индикатори за реферали и критерии за ескалация. Компромисът е реален: по-широкото откриване може да повиши false positives за легитимно съдържание, свързано със сексуално здраве или новини. Но твърде тясното откриване оставя очевидни пропуски в насочването.
За по-големите social media и digital media компании по-зрелият operating model е тези случаи да се третират като мрежова злоупотреба, а не като изолирани policy нарушения. Това е по-близко до утвърдените практики във fraud и security operations, където откриването на модели често е по-важно от отделния елемент.
Изводът за trust-and-safety екипите
Изводите на ISD са важни, защото показват, че платформеният проблем се е изместил нагоре по веригата. Централният въпрос вече не е само дали вредно AI-генерирано съдържание се появява в дадена платформа. Въпросът е дали масовите системи помагат на потребителите да откриват, да се доверяват и да достигат до инструментите, които го произвеждат.
За лидерите в trust and safety това променя и приоритетите за мониторинг: реферален трафик към рискови домейни, повтарящи се промоционални модели и пробиви по пътя от търсене към линк. Платформи, които измерват само премахванията, могат да отчитат подобрение, докато дистрибуционните им системи продължават да насочват потребителите към вреда.
FAQ
Какво означава AI trust and safety в този случай?
Тук това се отнася до контролите, които платформите използват, за да спрат откриването, препоръчването или линкването към вредно AI-свързано съдържание или инструменти. Проблемът в този случай не е само самото експлицитно съдържание, а системите, които помагат на потребителите да намират nudify инструменти.
Защо това е нещо повече от moderation проблем?
Защото наличните данни сочат към търсене, препоръки и пътища за споделяне на линкове. Една публикация може да бъде премахната, докато същата платформа продължава да изпраща трафик към същата вредна дестинация чрез сходно съдържание и изходящи линкове.
Коя платформа е най-големият източник на реферали?
Според доклада на ISD, цитиран от WIRED, YouTube е най-големият източник на реферали, с 1,82 милиона посещения към nudify сайтове в разглеждания период.
Martin Kuvandzhiev
CEO and Founder of Encorp.io with expertise in AI and business transformation