Компания Cloudflare предоставила владельцам сайтов инструменты для блокировки ботов, собирающих данные для обучения ИИ, и одновременно предложила модель, по которой ИИ-компании смогут платить за доступ к контенту. Компания Cloudflare, один из крупнейших провайдеров интернет-инфраструктуры, анонсировала новые инструменты, которые дают владельцам веб-сайтов больше контроля над своими данными. Теперь клиенты сервиса смогут автоматически определять и блокировать известных ИИ-краулеров — ботов, которые сканируют интернет для сбора информации, используемой для обучения больших языковых моделей. Этот шаг стал ответом на растущую обеспокоенность создателей контента тем, что их работа используется для обучения коммерческих ИИ-продуктов без разрешения и компенсации. Блокировка краулеров является попыткой восстановить баланс сил и вернуть владельцам сайтов контроль над своей интеллектуальной собственностью. Одновременно Cloudflare представила концепцию «Плати за сканирование» (Pay-per-Crawl). Это потенциальная система, которая позволит ИИ-компаниям заключать соглашения с владельцами контента и платить за право сканировать их сайты. Такая модель может создать новый источник дохода для издателей и сформировать более справедливый и прозрачный рынок данных для обучения ИИ.