Как заблокировать ИИ ботов/краулеров на сайте через robots.txt?

Различные сервисы по нейронным сетям постоянно обучают свои модели и обновляют базы знаний.
Если вы не хотите делиться информацией со своейго сайта, то можете заблокировать их через файл robots.txt. Ниже рассмотрим пример такого файла.

#Блокировка ChatGPT от OpenAI:
User-agent: GPTBot
Disallow: /

#Блокировка ИИ сервисов от Google:
User-agent: Google-Extended 
Disallow: /

Но имейте ввиду, что файл robots.txt это всего лишь рекомендация для ботов. Ей они следуют не всегда.

Чтобы 100% быть уверенным — лучше блокировать по UserAgent и/или подсетями IP. Но здесь могут быть свои минусы.