Привет !
Я тут обновил свой файл robots.txt для wordpress, поэтому решил написать статью вдруг кому пригодится. Кстати старая версия моего robots.txt то же правильная, так что можете спокойно пользоваться. В нового робота я просто добавил ещё больше ограничений на индексацию некоторых файлов. Конечно файл robots.txt нужно создавать исключительно из предпочтений каждого сайта, но если у вас обычный блог на wordpress, то можно и не заморачиваться и загрузить такой же файл робота как у меня.
Поясню, что обозначается в файле, по строчкам, начиная с первой:
1 — Файл обращается ко всем поисковым роботам, без исключений.
2 — Разрешено индексировать папку image с изображениями.
3 — Разрешено индексировать jS Java скрипты.
4 — Запрет индексации раздела wp-includes
5 — Запрет индексации фида, чтобы не создавать дубли.
6 — Запрет индексации раздела wp-admin, роботам там нечего делать.
7 — Запрет индексации кэша, зачем индексировать копии файлов ?
