Новая эра контента: плата за доступ для ИИ

Некоммерческая организация Creative Commons (CC), известная своим вкладом в развитие лицензирования творческих работ, заявила о поддержке технологии "pay-to-crawl". Эта система призвана автоматизировать процесс компенсации контента веб-сайтов при доступе к нему машинами, такими как ИИ-сканеры.

Ранее в этом году CC представила инициативу по созданию открытой экосистемы искусственного интеллекта, предлагая правовую и техническую основу для обмена данными между компаниями-владельцами данных и поставщиками ИИ, которым эти данные необходимы для обучения моделей.

Теперь организация осторожно одобряет системы "pay-to-crawl", видя в них потенциальный способ для веб-сайтов поддерживать создание и распространение своего контента. По мнению CC, такой подход может предотвратить уход контента за более строгие платные стены и сохранить его общедоступность.

Идея "pay-to-crawl", продвигаемая такими компаниями, как Cloudflare, заключается во взимании платы с ИИ-ботов за каждый запрос на сканирование сайта с целью сбора контента для обучения и обновления моделей. В прошлом веб-сайты свободно разрешали индексировать свой контент поисковыми системами, получая взамен трафик и клики. Однако развитие ИИ-технологий изменило эту динамику: после получения ответа от чат-бота пользователь редко переходит к первоисточнику.

Такой сдвиг уже нанес серьезный удар по издателям, сократив поисковый трафик, и, судя по всему, эта тенденция сохранится. Системы "pay-to-crawl" могут помочь издателям компенсировать убытки, вызванные влиянием ИИ. Кроме того, они могут стать решением для небольших веб-издателей, не имеющих возможности заключать индивидуальные контракты с поставщиками ИИ. Крупные сделки уже заключены между OpenAI и Condé Nast, Axel Springer, а также между Perplexity и Gannett, Amazon и The New York Times.

CC выделила ряд условий для ответственного внедрения "pay-to-crawl", отмечая, что такие системы могут привести к концентрации власти в интернете и потенциально ограничить доступ к контенту для исследователей, некоммерческих организаций, учреждений культурного наследия, педагогов и других лиц, работающих в общественных интересах.

Организация предложила принципы для ответственного применения "pay-to-crawl": не делать эту систему настройкой по умолчанию для всех веб-сайтов, избегать универсальных правил, предусматривать возможность ограничения скорости доступа (throttling) вместо полного блокирования, сохранять доступ для общественного интереса, а также обеспечивать открытость, интероперабельность и использование стандартизированных компонентов.

Cloudflare — не единственная компания, инвестирующая в сферу "pay-to-crawl". Microsoft разрабатывает собственную торговую площадку ИИ для издателей, а стартапы, такие как ProRata.ai и TollBit, также активно работают в этом направлении. Группа RSL Collective представила спецификацию нового стандарта Really Simple Licensing (RSL), который определяет, к каким частям сайта могут обращаться сканеры, но не блокирует их полностью. Этот стандарт уже поддержали Cloudflare, Akamai, Fastly, Yahoo, Ziff Davis и O’Reilly Media.

Creative Commons также поддержала RSL в рамках своего проекта CC Signals, направленного на разработку технологий и инструментов для эпохи ИИ.