Борьба с AI-скрейперами: как сайты защищают свой контент

Интернет захлестнула волна AI-«краулеров», которые без разрешения и оплаты сканируют миллиарды веб-сайтов, собирая данные для обучения алгоритмов технологических гигантов. Этот процесс подрывает онлайн-экономику и лишает контент-мейкеров доходов.

Ранее сайты предоставляли поисковым системам доступ к своему контенту в обмен на повышение видимости, что приносило им трафик и доходы от рекламы. Однако стремительное развитие генеративного AI позволило таким компаниям, как Google и OpenAI, использовать веб-краулеры для сбора информации для своих чат-ботов, минуя необходимость посещения оригинальных сайтов пользователями.

Традиционные производители контента, включая СМИ, оказываются в проигрыше, поскольку AI-краулеры сокращают их онлайн-операции и рекламные доходы. «Сайты, которые раньше предоставляли ботам доступ к своему контенту, получали взамен читателей», — отмечает Курт Мюэммель, руководитель отдела AI-стратегии в Dataiku. По его словам, появление генеративного AI «полностью ломает» эту модель.

Приведенные данные показывают, что посещаемость Википедии снизилась на восемь процентов между 2024 и 2025 годами из-за роста сводок поисковых систем на основе AI. Мэттью Принс, генеральный директор Cloudflare, подчеркивает: «Фундаментальное противоречие заключается в том, что новый бизнес интернета, основанный на AI, не генерирует трафик».

В ответ на эту проблему Cloudflare, обрабатывающая более 20% всего интернет-трафика, этим летом представила новую меру, нацеленную на блокировку AI-краулеров, требующих оплаты или разрешения от владельцев сайтов. «Это похоже на установку знака ограничения скорости или запрещающего знака», — пояснил Принс. Хотя некоторые «плохо себя ведущие боты» могут обойти эти меры, Cloudflare может отслеживать их и постепенно ужесточать контроль.

Эта инициатива, охватывающая более 10 миллионов веб-сайтов, уже вызвала интерес у гигантов искусственного интеллекта. На более локальном уровне стартап TollBit предлагает издателям новостей инструменты для блокировки, мониторинга и монетизации трафика AI-краулеров. Компания позиционирует себя как «пункт оплаты на интернете», позволяя медиа-компаниям устанавливать собственные цены за доступ к контенту. AI-компаниям взимается «транзакционная плата за каждую единицу контента, к которой они получают доступ».

Однако, по мнению Мюэммеля, полное решение проблемы захвата интернета AI-краулерами не может быть достигнуто «частичными мерами или усилиями отдельной компании». Он считает, что это «эволюция всей интернет-экономики, которая займет годы». Принс предупреждает, что если «рой ботов» продолжит свободно перемещаться по сети, «исчезнут все стимулы для создания контента». Это стало бы потерей не только для пользователей, но и для самих AI-компаний, нуждающихся в оригинальном контенте для обучения своих систем.