Извличане на chain of thought: какво трябва да питат екипите по сигурност сега
Изследователи от University of Tübingen, Max Planck Institute, MATS Research и Snyk твърдят, че са открили практичен начин да изведат наяве скритото разсъждение на водещи модели. Това превръща извличането на chain of thought в нещо повече от изследователско любопитство. В моята работа това променя модела на заплаха за всеки екип, който пуска AI функционалности през API, защото рискът вече не е ограничен до крайните отговори. Според материала на Wired за изследването, по същия път може да се стигне и до чувствителни данни като пароли или API ключове.
Какво всъщност показа новото изследване за извличане на chain of thought?
Кратката версия: изследователите демонстрират, че скрити следи от разсъждение понякога могат да бъдат възстановени при големи моделни семейства, дори когато доставчиците са възнамерявали тези следи да останат скрити. Статията е достъпна на stolen-thoughts.com, а екипът е тествал модели, достъпвани през API от OpenAI, Anthropic и Google.
Това, което привлече вниманието ми, не беше заглавието за копиране на модели. Беше оперативният детайл. Изглежда, че пътят на атаката разчита на това криптираното разсъждение да се доставя до клиента поради причини, свързани с производителността, а след това да бъде сондирано чрез свързани по-малки модели. Ако този модел на проектиране е широко разпространен, тогава следите от разсъждение на AI моделите стават част от изложената повърхност, а не просто вътрешен детайл на имплементацията.
Изследователите също така съобщават, че методът в някои случаи е успял да възстанови чувствителна информация, включително данни, подобни на идентификационни данни за достъп. Участието на Snyk е важно тук, защото това не е просто лабораторно любопитство; темата засяга сигурността на приложенията, логването и дизайна на API границите.
All major frontier model providers we tested share this vulnerability, Alexander Panfilov said, according to Wired.
Защо криптираното скрито разсъждение създава реална повърхност за атака?
Виждал съм как екипи приемат, че ако chain of thought на модела не се визуализира в интерфейса, той на практика е поверителен. Това допускане е твърде оптимистично. Ако токените на разсъждение се предават, кешират, логват или преминават през клиентска среда за изпълнение, те стават достъпни за проверка по същия начин, както много други чувствителни полезни товари.
Разликата спрямо обичайното LLM prompt leakage е важна. Prompt leakage обикновено означава, че системен prompt, извлечен контекст или резултат от инструмент се изплъзва в изхода. Тук случаят е различен: самото скрито разсъждение може да бъде възстановено заради начина, по който доставчикът структурира инференса и моделните семейства. Това означава, че пътят за изтичане може да съществува, дори когато вашата собствена prompt хигиена е на добро ниво.
При една клиентска ангажираност по-рано тази година установихме, че model gateway съхранява debug payloads за 14 дни по подразбиране. Никой не ги смяташе за високорискови, защото потребителят никога не ги вижда. Точно такъв тип пропуск това изследване прави по-труден за пренебрегване.
Ако вече третирате поведението на моделите в продукционна среда като постоянен проблем на надеждността, тук една AI DevOps workflow automation service започва да се вписва естествено: не като маркетингов щрих, а като начин да се стандартизират контролите върху логовете, разделянето на средите и реакцията при инциденти от страната на модела.
Как по-малките модели могат да разкрият разсъждението на по-големия модел?
Идеята Mini-Me в изследването е едновременно умна и неудобна. Много доставчици предлагат голям водещ модел и един или повече по-малки негови варианти. Големият модел обикновено е по-добре подравнен, по-скъп и по-малко склонен директно да разкрива вътрешности. По-малката версия може да споделя достатъчно структура или тренировъчна линия, така че когато получи криптираната следа, да възпроизведе или разкрие скритото разсъждение по-охотно.
Това съвпада с онова, което много от нас виждат на практика. По-малките модели често се провалят по по-буквални начини. Следват странни инструкции твърде охотно, дават по-нестабилни откази и показват междинно поведение, което водещият модел потиска. По-ниската цена и по-ниската латентност идват с по-малък запас по отношение на безопасността.
Статията посочва Moonshot AI's Kimi K3 като модел, който е показал осезаема близост до скритото разсъждение на Claude Opus 4.8 и GPT 5.6 Sol при някои prompt-и. Но е важно и това, че DeepSeek и Inkling на Thinking Machines не са показали същия модел. Този компромис е важен, защото сходството е индикация за риск, а не доказателство за причинност.
Доказва ли това дистилация на разсъждение от американски frontier модели?
Не, и точно тук голяма част от отразяването ще стане небрежно. Самите изследователи изрично казват, че не могат причинно да установят дистилация. Сходните изходи и сходните модели на разсъждение могат да подкрепят хипотеза, но не затварят случая.
Въпреки това работата променя тежестта на доказване в един важен смисъл. Досега някои доставчици можеха да твърдят, че скритото разсъждение е достатъчно добре изолирано, за да направи мащабната дистилация на разсъждение непрактична. Това изследване отслабва това спокойствие. Ако скритото разсъждение може да се извлича в мащаб, тогава моделната дистилация се превръща в по-конкретен оперативен и търговски риск.
Политическият фон вече е шумен. Reuters съобщи, че OpenAI е повдигнала въпроси пред американски законодатели относно DeepSeek през февруари 2026 г. CNBC съобщи, че Anthropic е направила подобен аргумент по отношение на Alibaba през юни 2026 г. Това изследване не решава тези спорове, но добавя правдоподобен технически път, който екипите по сигурност вече трябва да имат предвид.
Какво трябва първо да проверят AI екипите по сигурност в продукционна среда?
Бих започнал с четири въпроса, в този ред:
- Къде се генерират и предават следите от разсъждение? Попитайте доставчика дали скритото разсъждение изобщо достига до клиента, gateway-а, браузъра, мобилното приложение или edge runtime средата.
- Какво се логва по подразбиране? Проверете логовете на приложението, APM следите, прихващането на payload-и в model gateway, инструментите за поддръжка и аналитичните събития.
- Кои по-малки свързани модели съществуват в същия стек? Ако доставчикът предлага mini варианти, тествайте дали могат да бъдат използвани за разкриване на скрито разсъждение или вградени тайни.
- Могат ли тайни да се появят някъде в prompt-ите или в изходите на инструментите? API ключове, пароли, bearer tokens, подписани URL адреси и сурови клиентски данни не бива никога да могат да се възстановяват чрез следите от разсъждение на AI модела.
Бих добавил и red-team сценарий конкретно за извличане на разсъждение. Повечето екипи тестват jailbreak-и и токсични изходи. Много по-малко екипи тестват cross-model probing или replay на криптирани следи.
За базов контролен език NIST AI Risk Management Framework е полезна, защото насърчава екипите да картографират, измерват и управляват специфичните за модела рискове, вместо да третират AI като обикновен SaaS.
Какво трябва да прегледат веднага доставчиците на модели и платформените екипи?
Първо, прегледайте дали скритото разсъждение изобщо трябва да се изпраща извън доверената граница на изпълнение. Ако трябва, намалете жизнения цикъл, обхвата и наблюдаемостта му. Криптирането на payload не е достатъчно, ако свързани компоненти все още могат да го декодират или смислено да го интерпретират.
Второ, прегледайте архитектурата на sibling моделите. Удобството да се предлагат малки, средни и големи варианти може да въведе слабост на ниво семейство, ако един член може да помогне за извличането на вътрешностите на друг. Бих искал да видя adversarial тестове върху цялото семейство, а не върху един модел наведнъж.
Трето, третирайте това като проблем на сигурността на приложенията, колкото и като моделeн проблем. Изследователската перспектива на Snyk е релевантна, защото пътят на експлоатация засяга API, клиенти, библиотеки и подразбиращи се настройки за разработчици. На практика пробивът рядко се случва вътре в безупречна схема на бяла дъска. Случва се в glue code.
Какво трябва да питат купувачите доставчиците преди следващото внедряване?
Бих поискал директни отговори по пет теми:
- Изпраща ли се скритото разсъждение към клиента или към среда, контролирана от клиента?
- Съхраняват ли се следите от разсъждение в логове, аналитични системи или инструменти за поддръжка?
- Тествали ли сте по-малки свързани модели за атаки с cross-model extraction?
- Могат ли клиентите да изключат видимостта, съхранението или debug прихващането на следите от разсъждение?
- Какъв е процесът при инцидент, ако бъде засечено LLM prompt leakage или изтичане на разсъждение?
Ако доставчикът не може да отговори ясно, бих маркирал това внедряване като по-високорисково, особено при enterprise software, киберсигурност и AI infrastructure случаи на употреба, където идентификационни данни и вътрешни архитектурни детайли редовно попадат в контекстните прозорци.
Моят неочевиден извод е следният: много екипи се фокусират върху това дали моделът отговаря правилно, докато реалният оперативен въпрос е какво системата е трябвало да изложи, за да отговори толкова бързо. Съкратените пътища за производителност, обработката на следи и дизайнът на моделното семейство могат тихо да определят рисковия ви профил месеци преди да започне прегледът по сигурност.
Какво очаквам да се случи оттук нататък?
Очаквам доставчиците да казват две неща едновременно през следващите няколко месеца: първо, че проблемът е ограничен или отстранен в конкретни имплементации; второ, че скритото разсъждение трябва да остане недостъпно по причини, свързани с безопасността и интелектуалната собственост. И двете твърдения може да са частично верни, но нито едно не премахва нуждата от тестове в продукционна среда.
За купувачите извличането на chain of thought вече трябва да е в списъка за проверка преди пускане, редом с prompt injection, съхранението на данни и контролите върху tool calls. Непосредственият индикатор, който трябва да се следи, не е дали една шумна теза за дистилация ще се задържи. Въпросът е дали доставчиците на модели могат да покажат с техническа конкретика, че скритото разсъждение и тайните не преминават граници, които те не контролират.
Martin Kuvandzhiev
CEO and Founder of Encorp.io with expertise in AI and business transformation