Оптимальный robots.txt для индексации роботов (1 Viewer)

Sadorimatsu

RG Team
Администратор
Joined
May 7, 2019
Messages
759
Reaction score
10
Age
33
Думаю у многих возникает вопрос, что прописывать для индексации ботам.

На нашем сайте прописан robots.txt в таком виде: https://www.raidgame.ru/robots.txt
Может лишний раз заморочился зря. Как вы считаете? Какой вариант будет лучше сделать для XenForo 2.1.x? Может вы и мне посоветуете пересмотреть текущий вариант. На официальном сайте вообще идёт в таком виде: https://xenforo.com/robots.txt

Ваше мнение?
 

Septor

Новичок
Joined
Sep 8, 2019
Messages
9
Reaction score
7
Septor has not provided any additional information.
Не знаю структуру категорий форума, но так вроде всё нормально. Хотя, яндекс пишут игнорирует этот файл, по крайней мере раньше так было.
Лучше ещё будет в файл .htaccess, в каждую нужную категорию, прописать запреты в стиле:
Code:
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
тогда точно поисковики не обойдут запрет...
Вот тут или где ещё, можно взять списки ботов...
 

Crash Test

Пользователь
Joined
Aug 19, 2020
Messages
14
Reaction score
9
Sadorimatsu, я бы еще добавил /misc/contact/, хотя тут лучше на уровне сервера блокировать.
 

Users who are viewing this thread

Top Bottom