На небольших и средних сайтах WordPress чаще всего индексируются не только полезные страницы, но и архивы автора, даты, теги, страницы вложений и другие служебные URL. В результате в поиске появляются дубли и пустые страницы, а краулинговый бюджет уходит на то, что не приносит трафик. Если задача именно в этом, лучше не править всё подряд в robots.txt, а точечно управлять индексированием на уровне шаблонов и мета-тегов.
Ниже разберём рабочий сценарий: какие страницы закрывать, чем отличается noindex от запрета в robots.txt, как сделать это кодом и как проверить, что поисковик увидел изменения.
Какие страницы обычно стоит закрыть
Не все архивы одинаково вредны. На контентных сайтах часто оставляют открытыми категории и главную ленту, но закрывают всё, что даёт слабую или дублирующую выдачу. Логика простая: если страница не несёт самостоятельной ценности для пользователя из поиска, её можно убрать из индекса, но не обязательно закрывать от обхода.
Типовые кандидаты на noindex
- архивы автора, если на сайте один автор или страницы автора пустые;
- архивы по датам, если они дублируют ленту записей;
- страницы вложений медиафайлов;
- служебные таксономии с тонким контентом;
- страницы поиска по сайту;
- страницы пагинации, если они создают шум и не нужны в поиске.
При этом категории, которые реально собирают трафик и помогают навигации, лучше не закрывать без анализа. Если категория — полноценный посадочный раздел, её индексирование может быть полезным.
Диагностика: что именно сейчас индексируется
Перед правками проверьте, какие URL уже попали в индекс и какие из них действительно лишние. Это можно сделать через site:example.com в поиске, через отчёты Google Search Console и через просмотр исходного кода страниц. Если у архивов автора уже есть трафик, закрывать их нужно аккуратно: сначала добавить noindex, а не удалять URL из обхода через robots.txt.
Полезно посмотреть, как WordPress сейчас отдаёт мета-роботы. Если на страницах автора или дат стоит index,follow, поисковик имеет полное право их индексировать. Если там уже есть noindex, но URL всё равно висит в выдаче, значит, нужно дождаться переобхода и проверить, не мешает ли запрет в robots.txt увидеть новый тег.
Что выбрать: плагин, код или robots.txt
Для этой задачи есть три подхода. Они не равнозначны, и смешивать их без понимания не стоит.
| Подход | Когда подходит | Плюсы | Минусы |
|---|---|---|---|
| Плагин SEO | Если уже используется SEO-плагин с настройками архивов | Быстро, без кода, удобно для редактора | Зависимость от интерфейса и лишние настройки |
| Код в теме или мини-плагине | Если нужен точный контроль без лишних модулей | Прозрачно, предсказуемо, без перегруза | Нужно аккуратно поддерживать при смене темы |
robots.txt | Если нужно ограничить обход, но не решить вопрос индексации полностью | Просто закрыть технический мусор | Не убирает URL из индекса, если он уже известен поисковику |
Для архивов автора и дат обычно лучше noindex,follow, а не запрет в robots.txt. Так поисковик увидит директиву на самой странице и постепенно исключит её из индекса, сохранив возможность обхода ссылок.
Пошаговое решение через код
Если не хотите зависеть от SEO-плагина, можно добавить фильтр в functions.php дочерней темы или в небольшой mu-plugin. Ниже пример, который закрывает архивы автора, дат, поиск и вложения от индексации.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() || is_search() || is_attachment() ) {
$robots['noindex'] = true;
$robots['nofollow'] = false;
}
return $robots;
} );
Этот вариант работает на современных версиях WordPress, где используется фильтр wp_robots. Он добавляет корректные meta robots без ручной печати тега в шаблоне. Для большинства случаев этого достаточно.
Если нужно закрыть только архивы автора, а даты оставить открытыми, условие можно сузить:
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() ) {
$robots['noindex'] = true;
}
return $robots;
} );
Когда лучше использовать SEO-плагин
Если на сайте уже стоит плагин с управлением мета-роботами, проще настроить закрытие архивов там, а не дублировать логику в коде. Это снижает риск конфликта: два источника могут одновременно пытаться управлять одним и тем же тегом robots. Важно оставить один источник истины.
Если нужен более широкий контроль над дублями и служебными страницами, уместно посмотреть в сторону Clearfy Pro: он закрывает типовые SEO-задачи без ручного кода и помогает убрать лишние архивы, если это соответствует структуре сайта. Но даже в этом случае полезно понимать, что именно он меняет, чтобы не отключить нужные страницы случайно.
Как не перепутать noindex и disallow
Это частая ошибка. Disallow в robots.txt запрещает обход, но не гарантирует удаление URL из индекса. Noindex говорит поисковику не показывать страницу в выдаче. Для архивов автора и дат обычно нужен именно noindex.
Если закрыть страницу в robots.txt и одновременно поставить noindex, поисковый робот может не увидеть мета-тег на самой странице. В итоге URL останется в индексе дольше, чем ожидалось. Поэтому сначала настраивают noindex, а robots.txt используют только для действительно технических путей, которые не должны обходиться вообще.
Проверка результата после внедрения
После внесения правок не ограничивайтесь просмотром исходного кода одной страницы. Проверьте несколько уровней.
- Откройте архив автора и убедитесь, что в
<head>появилсяnoindex. - Проверьте исходный код страницы поиска и страницы вложения.
- В Search Console отправьте URL на переобход, если страница уже была в индексе.
- Посмотрите, не остались ли старые ссылки на архивы в sitemap, если он генерируется плагином.
- Через несколько дней проверьте статус URL в индексе и сниппет.
Если используете командную строку на сервере, можно быстро проверить заголовки и HTML-ответ:
curl -I https://example.com/author/admin/
curl -s https://example.com/author/admin/ | grep -i robots
В браузере тоже полезно открыть исходный код и поискать строку noindex. Если её нет, значит, фильтр не сработал или другой плагин перезаписал мета-тег.
Частые ошибки и как их исправить
Закрыли архивы в robots.txt и ждёте удаления из поиска
Такой подход часто затягивает процесс. Поисковик может продолжать показывать URL без возможности переобхода страницы. Исправление простое: уберите запрет на обход и добавьте noindex на саму страницу.
Поставили noindex, но URL всё ещё в выдаче
Это нормально в переходный период. Поисковику нужно заново обойти страницу. Проверьте, не блокируется ли она robots.txt, и отправьте её на переобход через Search Console.
Сразу закрыли все архивы, включая полезные категории
После этого можно потерять внутреннюю перелинковку и посадочные страницы, которые реально ранжируются. Перед массовым закрытием смотрите статистику по страницам и не трогайте разделы, которые дают переходы из поиска.
Добавили код в родительскую тему
После обновления темы изменения пропадут. Для таких правок лучше использовать дочернюю тему или мини-плагин. Это особенно важно, если вы управляете индексированием вручную и не хотите потерять настройку после апдейта.
Практические советы по безопасности и производительности
Чем меньше лишней логики в шаблоне, тем проще сопровождать сайт. Если задача сводится к управлению мета-роботами, не стоит городить отдельные шаблоны архивов. Один фильтр в коде или одна настройка в SEO-плагине обычно надёжнее.
Если на сайте много дублей и служебных страниц, полезно отдельно проверить:
- страницы вложений, которые WordPress создаёт автоматически;
- архивы тегов с пустым или почти пустым содержимым;
- страницы пагинации, которые не несут ценности для поиска;
- дубли с параметрами в URL, если они индексируются;
- наличие одинаковых title и description на архивных страницах.
Когда проблема шире, чем один архив автора, лучше решать её комплексно: убрать лишние типы страниц, настроить canonical, проверить sitemap и только потом трогать robots.txt. Это даёт более предсказуемый результат, чем точечные запреты без анализа структуры сайта.
Если нужен быстрый способ закрыть типовые дубли без ручной сборки каждого правила, можно рассмотреть Clearfy Pro как инструмент для технической чистки WordPress. Но даже с плагином стоит проверить итоговый HTML и индексацию вручную — это единственный способ убедиться, что настройки действительно работают на вашем сайте.