Как заблокировать ИИ ботов/краулеров на сайте через robots.txt?

Различные сервисы по нейронным сетям постоянно обучают свои модели и обновляют базы знаний.
Если вы не хотите делиться информацией со своейго сайта, то можете заблокировать их через файл robots.txt. Ниже рассмотрим пример такого файла.

#Блокировка ChatGPT от OpenAI:
User-agent: GPTBot
Disallow: /

#Блокировка ИИ сервисов от Google:
User-agent: Google-Extended 
Disallow: /

Но имейте ввиду, что файл robots.txt это всего лишь рекомендация для ботов. Ей они следуют не всегда.

Чтобы 100% быть уверенным — лучше блокировать по UserAgent и/или подсетями IP. Но здесь могут быть свои минусы.

Добавить комментарий

Ваш адрес email не будет опубликован.

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.