Интернет станет платным для ИИ-ботов: почему это важно

Компания, которая обслуживает 20% всего интернета, решила положить конец бесплатному пиршеству ИИ-алгоритмов на чужом контенте.

Cloudflare представила экспериментальную площадку Pay per Crawl, где владельцы веб-ресурсов смогут продавать доступ к своему контенту искусственному интеллекту за микроплатежи, сообщает TechCrunch. Платформа работает по принципу торговой биржи: издатели выставляют цену за каждое обращение бота к их сайту, а ИИ-компании решают, готовы ли они платить эту сумму.

Текущая ситуация напоминает цифровой грабеж. Данные Cloudflare показывают значительный дисбаланс: если поисковик Google сканирует сайты 14 раз на каждый переход пользователя, то ChatGPT делает это 17 тысяч раз, а Anthropic — 73 тысячи раз на один переход. Получается, что ИИ-системы массово поглощают контент, практически ничего не отдавая взамен.

Издатели десятилетиями мирились с таким подходом Google, поскольку получали трафик через поисковую выдачу. Но ИИ-чатботы работают иначе — они забирают информацию и выдают готовые ответы, не отправляя пользователей на исходные сайты.

Pay per Crawl функционирует как автоматизированный аукцион. Владельцы сайтов устанавливают тарифы для разных типов сканирования: обучение моделей, поиск информации или другие цели. ИИ-компании видят эти цены и принимают решение о покупке доступа. Альтернативы остаются прежними — можно разрешить бесплатный доступ или полностью заблокировать ботов. Cloudflare выступает посредником, обрабатывая платежи и распределяя доходы между участниками.