ворд-пресс.рф
Решение

WordPress не индексируется: проверяем noindex и robots

Где включается запрет индексации, как отличить noindex от robots.txt и проверить статус URL.

Если опубликованная страница WordPress не появляется в поиске, сначала выясните что именно ограничивает её обработку. Одной из причин может быть noindex, но отсутствие в выдаче само по себе не доказывает его наличие.

Шаг 1. Проверьте видимость сайта

Перейдите в Настройки → Чтение и проверьте опцию «Попросить поисковые системы не индексировать сайт». На рабочем публичном сайте она обычно должна быть выключена; на staging запрет индексирования может быть намеренным.

Шаг 2. Посмотрите robots в HTML

Откройте исходный код проблемного URL и найдите <meta name="robots" ...>. Если видите noindex, выясните, кто его добавил: WordPress, SEO-плагин, тема или индивидуальные настройки страницы.

Не путайте nofollow для ссылок и noindex для страницы: это разные инструкции. Также проверьте HTTP-заголовок X-Robots-Tag, если мета-тега нет.

Шаг 3. Проверьте HTTP-статус и доступность

  • URL должен открываться без авторизации и неожиданной капчи.
  • Проверьте 200, 3xx, 4xx и 5xx — для поискового робота они означают разные сценарии.
  • Проверьте, не закрыт ли обход пути в robots.txt.
  • Если на странице стоит canonical на другой URL, оценивайте основную страницу, а не дубликат.

Шаг 4. Разделите индексацию и обход

Disallow в robots.txt не удаляет страницу из индекса и может помешать роботу прочитать noindex. Не закрывайте важный URL в robots.txt только ради того, чтобы скрыть его из поиска.

Шаг 5. Проверьте инструменты вебмастера

В Яндекс Вебмастере или Search Console используйте проверку URL и смотрите точную причину исключения. После исправления отправьте страницу на переобход, затем дождитесь обновления статуса. Никаких гарантий попадания в индекс само наличие корректных тегов не даёт.

Контрольный список для публикации

  • Страница существует и полезна, доступна без входа.
  • Нет случайного noindex или закрывающего HTTP-заголовка.
  • Robots.txt разрешает обход, если требуется прочитать контент.
  • Canonical указывает на правильную целевую страницу.
  • URL включён в sitemap, если предназначен для поиска.
  • Нет конкурирующих дублей и пустого контента.

Смежные материалы: robots.txt, canonical, sitemap.

Источник: https://wordpress.org/documentation/article/settings-reading-screen/

Материал был полезен?

Помогите нам сделать материалы точнее и понятнее.