ворд-пресс.рф
Решение

Robots.txt в WordPress: где находится и как настроить

Проверка виртуального и физического robots.txt, типовые директивы и ошибки блокировки сайта.

Опубликовано: 10.10.2026Обновлено: 10.10.2026

Откройте /robots.txt своего WordPress-сайта в режиме инкогнито. WordPress может отдавать виртуальный robots.txt даже при отсутствии физического файла в корне. Не копируйте готовые «SEO-шаблоны robots.txt» без проверки: одна неправильная директива способна закрыть важные разделы от обхода.

Где лежит robots.txt

  1. Перейдите на https://ваш-домен/robots.txt.
  2. Убедитесь, что ответ сервера — 200, а содержимое относится именно к текущему домену.
  3. Проверьте файловый менеджер хостинга: реальный robots.txt может лежать в корне установки; если файла нет, WordPress может генерировать ответ динамически.
  4. Выясните, не формирует ли его SEO-плагин, сервер или CDN. Управлять одним и тем же файлом сразу из нескольких мест не стоит.

Пример минимальных директив

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml

Это пример, а не универсальный файл. Замените домен и адрес карты. При другой конфигурации административного раздела или SEO-плагина правила могут отличаться.

Ошибка: закрыли весь сайт

Опасное правило для публичного сайта:

User-agent: *
Disallow: /

Оно запрещает обход всего сайта для указанной группы роботов. Отдельно откройте «Настройки → Чтение»: настройка «Попросить поисковые системы не индексировать сайт» в современных версиях влияет на robots-мета, и её состояние нужно проверить перед запуском.

Robots.txt и noindex — разные инструменты

Disallow регулирует доступ краулера к URL. Он не является надёжным способом скрыть адрес из индекса: поисковик может узнать URL по внешним ссылкам. noindex должен быть обнаружен роботом на доступной странице или в корректном HTTP-заголовке. Если URL заблокирован для обхода, робот может не увидеть noindex.

Проверяйте вместе robots.txt, мета robots, canonical, HTTP-ответы и правила CDN. Для служебных приватных данных нужна авторизация, а не только директивы роботам.

Что не стоит закрывать без причины

  • CSS, JS и картинки, которые нужны для корректного анализа страницы.
  • Страницы товаров и категорий интернет-магазина.
  • Карты сайта и важные публичные разделы.
  • Адреса только из-за параметров в URL — сначала изучите, какую проблему они создают.

Проверка после правок

Откройте файл без кеша, убедитесь в корректности синтаксиса, проведите тест обхода нужных страниц в инструментах вебмастера. Если на сайте несколько зеркал или поддоменов, проверяйте robots.txt для каждого хоста отдельно.

Смежные инструкции: XML sitemap, диагностика noindex.

Источник: https://developer.wordpress.org/reference/hooks/robots_txt/

Материал был полезен?

Помогите нам сделать материалы точнее и понятнее.