Компания Cloudflare запустила новый инструмент для защиты сайтов от ботов, собирающих контент для обучения ИИ-моделей без согласия владельцев. Инструмент доступен для бесплатного пользования владельцам сайтов, размещенным на платформе Cloudflare.
Некоторые корпорации в сфере ИИ вроде Google, OpenAI и Apple позволяют владельцам сайтов блокировать ботов через специальный файл robots.txt. Однако далеко не все владельцы подобных ботов соблюдают установленные правила: многие намеренно обходят их, адаптируются и меняют алгоритмы, чтобы избежать обнаружения.
Для решения данной проблемы в Cloudflare проанализировали трафик краулеров и разработали автоматические модели их обнаружения. Они учитывают разные факторы, в том числе включая попытки ботов имитировать действия человека, использующего веб-браузер.
Кроме того, специалисты сервиса создали специальную форму, с помощью которой возможно сообщать о подозрительных ботах и сканерах. Как пишет TechCrunch, на основе полученных данных Cloudflare вручную заносит ИИ-ботов в черный список.