Cloudflare ввела маркировку Accountable («Ответственный») для операторов ботов, чтобы владельцы сайтов могли лучше контролировать использование своего контента.
Для получения статуса оператор бота обязан дать возможность отказаться от обучения ИИ на материалах сайта, отказаться от попадания контента в ИИ-сводки поиска и обеспечить прозрачность на уровне URL — видно, какие страницы доступны для обучения и как они отображаются в поиске.
Apple, Google и Microsoft уже согласились соответствовать этим критериям, хотя часть функций пока в разработке.
Cloudflare делит ботов на четыре категории: поисковые, обучающие ИИ, ИИ-агенты и боты смешанного типа, работающие одновременно и для индексации, и для обучения.
Теперь в настройках появилась опция «Disallow AI Training» — для ботов со статусом Accountable. При её включении бот обязуется использовать данные только для поиска, но не для обучения ИИ.
Остальные опции остались прежними: полный доступ, полная блокировка или запрет доступа только к рекламным страницам. Для пользовательских ИИ-агентов отдельного запрета пока нет — единого стандарта для них не существует.
Ранее сайты сталкивались с дилеммой: одни и те же боты собирали данные и для поиска, и для обучения ИИ. Запрет на обучение приводил к исключению сайта из поискового индекса.
Файл robots.txt не решал проблему — директивы носят лишь рекомендательный характер и не позволяют точно идентифицировать ботов.
Cloudflare пыталась блокировать ботов на уровне сети, но эта мера оказалась слишком радикальной. Поэтому компания начала прямые переговоры с операторами ботов.
Следующая задача Cloudflare — проработка вопроса ИИ-сводок в поиске. Более половины пользователей читают такие сводки, что на 40% повышает вероятность завершения поиска без перехода на сайт.
Однако конверсия у пользователей, пришедших по ссылкам из ИИ-сводок, в 3–5 раз выше, чем у обычных посетителей. Для новостных сайтов важен трафик, а для интернет-магазинов — число заказов.
Поэтому отказ от попадания в ИИ-сводки — не самоцель. Главное — дать владельцам сайтов инструменты контроля за использованием их контента и понимание влияния на бизнес.