Здравствуйте!
Итак, сегодня я расскажу вам о том, как проверить файл robots.txt в сервисе Яндекс Вебмастер. О том что такое файл robots.txt, как создать правильный файл robots.txt и как добавить данный файл на свой сайт — я уже рассказывал. Если на вашем сайте есть файл robots.txt значит сейчас мы проверим его в сервисе Яндекс Вебмастер.
Итак зайдите на сайт Яндекс Вебмастер.
На главной странице Яндекс Вебмастер, под зелёной кнопкой Начать работу, нажмите на вкладку — Проверить robots.txt.
Далее, на странице — Анализ robots.txt, вам нужно в поле — Имя хоста ввести адрес своего сайта и нажать на кнопку — Загрузить robots.txt с сайта.