Скачать бесплатно готовый файл robots.txt для сайта на wordpress

Привет !

Я тут обновил свой файл robots.txt для wordpress, поэтому решил написать статью вдруг кому пригодится. Кстати старая версия моего robots.txt то же правильная, так что можете спокойно пользоваться. В нового робота я просто добавил ещё больше ограничений на индексацию некоторых файлов. Конечно файл robots.txt нужно создавать исключительно из предпочтений каждого сайта, но если у вас обычный блог на wordpress, то можно и не заморачиваться и загрузить такой же файл робота как у меня.

 

12-11-2015 17-31-32_mini

 

Поясню, что обозначается в файле, по строчкам, начиная с первой:

 

1 — Файл обращается ко всем поисковым роботам, без исключений.

2 — Разрешено индексировать папку image с изображениями.

3 — Разрешено индексировать jS Java скрипты.

4 — Запрет индексации раздела wp-includes

5 — Запрет индексации фида, чтобы не создавать дубли.

6 — Запрет индексации раздела wp-admin, роботам там нечего делать.

7 — Запрет индексации кэша, зачем индексировать копии файлов ?

Оцените статью
Добавить комментарий