Отказ от AI обучение: един ред в robots.txt, три различни резултата

Накратко: На 30 октомври 2026 г. Google, Microsoft и OpenAI обявиха, че ще зачитат общ маркер в robots.txt, __usage_ai-training, с който сайтът заявява едно предпочитание за AI обучение към няколко доставчици наведнъж. Редът е един и същ навсякъде, но ефектът не е. При Microsoft той засяга само обучението. При Google отказ без изрично правило за Google-Extended се тълкува като забрана за Google-Extended, а това изважда съдържанието и от grounding (цитиране на източници в реално време) в Gemini Apps. Компаниите, за които е важно да бъдат цитирани в AI отговори, трябва да решат отделно въпроса за обучението и въпроса за видимостта, преди първият доставчик да започне да чете маркера на 1 февруари 2027 г.

Ключови факти

• Сигналът: т.нар. policy token, който се изписва на реда User-Agent в обикновена група на robots.txt. Дефиниран е в индивидуален IETF Internet-Draft на Кевин Кели от Anthropic, в който изрично пише, че документът не е одобрен от IETF, а срокът му изтича на 3 май 2027 г. (IETF Datatracker).
• Заместващият знак не важи: според проекта група User-Agent: * не трябва да се тълкува като съвпадение с маркера. Сайт, който блокира всички ботове със заместващ знак, не е заявил предпочитание за AI обучение по този механизъм.
• Google: планира да поддържа сигнала през 2027 г. и ще третира отказ чрез общия маркер като забрана за Google-Extended, освен ако за Google-Extended няма отделно правило (Google Search Central).
• Microsoft: започва да прилага новите предпочитания за обучение и grounding при обхождане от 1 февруари 2027 г. и спира да чете NoArchive и NoCache като AI предпочитания след 1 март 2027 г. (Microsoft Bing Blog).
• OpenAI: заявява, че ще зачита общия сигнал за „основно обучение на генеративни AI модели“ и цели да го въведе „през следващите месеци“, като досегашните ѝ правила за краулъри остават в сила (OpenAI).

Какво всъщност казва новият сигнал

Досега компания, която не иска сайтът ѝ да се използва за AI обучение, трябваше да изброи поотделно краулъра или контролния маркер на всеки доставчик в robots.txt и да поддържа списъка актуален при всяко ново име. Общият маркер заменя този списък с една група:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Според проекта този пример изразява нежелание за AI обучение върху целия сайт, с изключение на папката с прессъобщения. За всеки, който редактира файла, са важни два детайла.

Първо, маркерът е заявление за използване, а не за достъп. Проектът казва ясно, че той не е указание за обхождането. Правилата за конкретни краулъри продължават да действат както досега. Блокирането на краулър и отказът от обучение остават две различни действия.

Второ, „обучение“ има тясно значение. Проектът заимства дефиницията на работната група AI Preferences в IETF: използване на съдържание за промяна на научените параметри на генеративен AI модел. Използването на страница в момента на отговора, за да се обоснове отговорът с източник, не променя параметрите на модела, следователно не е обучение по тази дефиниция. Точно тук доставчиците се разминават.

Трима доставчици, три тълкувания на един и същ ред

Microsoft разделя двете употреби изрично. AI Training е общото предпочитание в robots.txt, с допълнителна възможност да се промени за отделна страница чрез meta таг или HTTP хедър. AI Grounding е отделно предпочитание само на ниво страница с три стойности: Allow, Disallow и новата DisallowExtended, която оставя съдържанието в собствените продукти на Microsoft като Copilot и Microsoft 365, но го изважда от grounding услугите, продавани на трети страни. Microsoft дава пример със забранено обучение и разрешен grounding, при който съдържанието може да участва в генерираните отговори, без да се използва за обучение на модели. Компанията предупреждава също, че ограничаването на grounding ще намали значително видимостта в AI отговорите и че нито един от изборите не гарантира включване, трафик или заплащане.

Google свързва общия маркер със съществуващия си контрол. Ако сайтът откаже обучение чрез маркера и не споменава Google-Extended, Google планира да го третира така, сякаш Google-Extended е забранен. Според документацията на Google за краулърите Google-Extended обхваща както обучението на бъдещи модели Gemini, така и grounding в Gemini Apps и Grounding with Google Search във Vertex AI. Той не влияе на включването в Google Search и не е фактор за класиране. В съобщението си Google добавя, че сайтовете, които изрично разрешават Google-Extended, могат да се появяват в отговорите и да получават кликове чрез grounding в Gemini Apps.

OpenAI пое ангажимент да зачита сигнала, но все още не е публикувала подробности за прилагането. Формулировката „основно обучение на генеративни AI модели“ оставя отворен въпроса колко тясно ще се тълкува отказът, а OpenAI обещава допълнителна информация.

Практическият резултат: едни и същи три реда в robots.txt могат да означават „без обучение, но с цитиране“ при Microsoft и „без обучение и без grounding в Gemini“ при Google, освен ако файлът не съдържа и изрично правило за Google-Extended.

Обучението не е grounding: компромисът за GEO

За компаниите, които инвестират в оптимизация за генеративни търсачки (GEO), това разграничение е в основата на решението. Обучението оформя общите знания на бъдещите модели. Grounding определя кои страници ще бъдат извлечени и цитирани с линк в отговора, който клиентът чете днес. Производител, банка или онлайн магазин, който иска страниците му за продукти и услуги да се цитират в AI отговори, има различен интерес от издател, който продава архива си.

Общ отказ, добавен от добронамерен уеб екип, може тихо да намали видимостта в отговорите на Gemini, когато Google започне да чете маркера. Съществува и обратният риск. Microsoft посочва, че щом открие нови предпочитания AI Training или AI Grounding на даден сайт, ще пренебрегне останалите тагове NoArchive и NoCache. Сайт, който е разчитал на NoCache, за да стои извън отговорите на Copilot, и после добави само общия маркер за обучение, може да загуби ограничението за grounding, ако не публикува и предпочитания за grounding на ниво страница.

Нито един от двата сценария не е катастрофа. И двата се избягват с изрично решение вместо с копиран фрагмент код.

Защо това е важно според правилата на ЕС

Google свързва плана си с Кодекса за добри практики за AI модели с общо предназначение на ЕС, като посочва, че кодексът признава robots.txt за основен начин уеб издателите да изразяват машинночетими предпочитания. Главата за авторското право в кодекса дава на доставчиците на модели начин да изпълнят задължението по AI Act да имат политика за спазване на авторското право в ЕС. За европейските компании това превръща robots.txt в нещо повече от технически файл: това е мястото, където се очаква запазването на права да бъде четимо от машини.

Две уговорки запазват реалистичната картина. Маркерът е доброволен сигнал без официален статут в IETF, а самата OpenAI описва участието си като „доброволно усилие“. Освен това предпочитанието важи за съдържанието към момента на извличането му, така че не казва нищо за страници, събрани преди добавянето на реда.

Пет решения, които да вземете преди февруари 2027 г.

1. Решете обучението и AI видимостта като два отделни въпроса. Запишете отговора на всеки: могат ли публичните страници да обучават генеративни модели и трябва ли да бъдат цитирани в AI отговори? Различните части на сайта могат да имат различни отговори.
2. Прегледайте текущия robots.txt и meta таговете. Избройте всяко правило, свързано с AI: GPTBot, Google-Extended, NoArchive, NoCache и всеки списък с доставчици, добавен от CDN. Проверете дали се приема, че правило със заместващ знак покрива AI обучението. Според проекта не го покрива.
3. Ако искате отказ от обучение, но и присъствие в отговорите на Gemini, заявете го изрично. Google прилага своето тълкуване само когато Google-Extended не е посочен, затова файлът трябва да има собствена група за Google-Extended, която отразява избраната позиция, вместо да разчита само на общия маркер.
4. Планирайте прехода при Microsoft, ако използвате NoArchive или NoCache. Временните предпочитания за grounding в Bing Webmaster Tools се отварят на 15 декември 2026 г., а старите тагове спират да се зачитат като AI предпочитания след 1 март 2027 г.
5. Засега запазете правилата за конкретни доставчици. Google и OpenAI посочват, че съществуващите им контроли продължават да работят заедно с общия маркер. Премахването им, преди всички доставчици да са въвели маркера, създава празнина.

Кой трябва да отговаря за решението

Това не е задача само за уеб екипа. Изборът засяга маркетинга (видимост в AI), правния отдел (авторско право и лицензиране) и IT (как се публикуват robots.txt и хедърите). Без конкретен отговорник файлът обикновено отразява онзи, който го е редактирал последен. Решението трябва да стои там, където са и останалите решения за AI политиката: кратка писмена позиция, един отговорник и дата за преглед, когато Google и OpenAI публикуват подробностите за прилагането. Работата на Encorp.ai по AI governance помага на компаниите да изградят точно такава политика, от предпочитанията за използване на съдържание до вътрешните правила за AI.

Следваща стъпка: включете „предпочитания за AI обучение и AI видимост“ в дневния ред на следващата среща между маркетинг, правен отдел и IT и договорете писмена позиция преди 1 февруари 2027 г. Ако външен поглед би помогнал, свържете се с Encorp.ai за кратък преглед на текущия robots.txt и AI политиката.