Привет ! Сегодня я решил затронуть очень важную тему, которая касается продвижения сайта в поиске. Не устаю повторять одну очень мудрую пословицу — Век живи, век учись. Жизнь такая штука, что в ней нет какой-то определённой точки, где вы остановитесь, опустите руки, выдохните и скажите ну вот и всё, наконец-то дошёл. Будьте бдительны, всегда нужно быть на чеку, нужно учиться и действовать, продвигаться всё дальше и дальше. Видимо мои глобальные цели приводят меня к моим ошибкам, чтобы я исправлял их и слава богу что так происходит. Дело вот в чём, если вы пользуетесь сервисом Google Веб-Мастер, то наверняка вы встречали там такую вкладку: Индекс Google — Заблокированные ресурсы.
До поры до времени я игнорировал данную страницу с заблокированными ресурсами. То есть я заходил на страницу, просто смотрел, но особо не вникал, думал что так и должно быть, потому что блокировка исходила из файла robots txt. Я тогда не знал и не понимал, что мой robots txt блокирует нужные поисковому роботу google файлы. А когда до меня дошло это, то я конечно начал разбираться. Начал более детально изучать страницу с заблокированными ресурсами. Оказалось что в файле robots txt блокируются необходимые для индексирования JS и CSS файлы. Из-за блокировки робот google не мог проиндексировать некоторые элементы страницы, которые необходимы для полноценного отображения страницы в поиске.
Чтобы понять какой именно файл необходимо разблокировать, вам нужно открыть список заблокированных ресурсов, для этого нажмите на адрес вашего сайта, под заголовком Хост, под графиком. У вас откроется список заблокированных ресурсов. Здесь вы сможете посмотреть какие именно файлы блокируются в файле robots txt. В моём случае блокировались файлы wp-content и wp-includes.
Хорошо, мы выяснили какие файлы блокируются в robots txt. Ну и что скажете вы, ведь так и должно быть, эти файлы не нужны для индексации. Да, я так же думал, поэтому игнорировал данную страницу. А теперь просто нажмите по любому заблокированному ресурсу, у вас откроется список страниц для которых необходимо, чтобы был доступ к заблокированному ресурсу. То есть, на странице записи из данного списка используются файлы из раздела wp-includes, но так как в robots txt данный раздел заблокирован, то поисковый робот не может отобразить элементы на странице записи из данного раздела.