На живом WordPress-сайте чаще всего мешают не «плохие» страницы, а старые технические URL: архивы автора, даты, вложения, служебные PHP-страницы после смены темы или плагина. Они могут оставаться в индексе, даже если на сайте давно не нужны. Проблема обычно всплывает после аудита в Search Console: в выдаче есть страницы, которые не должны конкурировать с основным контентом.
Ниже — рабочая схема, как сначала понять источник индексации, а потом убрать лишнее без хаотичного удаления файлов и без риска сломать сайт.
Что именно нужно искать в индексе
Сначала разделите проблему на два типа URL. Первый тип — реальные страницы WordPress: архивы, вложения, пагинация, страницы автора и даты. Второй — старые PHP-файлы темы или плагина, которые когда-то открывались напрямую и теперь либо пустые, либо дублируют контент. Для поисковика это разные сущности, и лечатся они по-разному.
Типичные признаки
- в индексе есть
/author/...,/date/...,/attachment/...; - в выдаче всплывают старые шаблоны вроде
page.php, если они были доступны по прямому URL; - в Search Console растёт число страниц с низкой ценностью, но без явных ошибок 404;
- в коде сайта остались ссылки на архивы, которые уже не нужны пользователю.
Диагностика: откуда берутся лишние URL
Перед правками проверьте, что именно отдаёт сервер. Если URL открывается с кодом 200 и содержит индексируемый контент, поисковик имеет полное право держать его в выдаче. Если URL уже отдаёт 404 или 410, но всё ещё висит в индексе, значит, нужно дождаться переобхода и ускорить удаление через Search Console.
Полезно посмотреть ответы сервера через curl или любой HTTP-клиент. Это особенно важно для старых PHP-страниц: иногда файл физически удалён, но редирект или шаблон всё ещё возвращает 200.
curl -I https://example.com/author/admin/curl -I https://example.com/old-template.phpСмотрите на три вещи: статус ответа, заголовок Location при редиректе и наличие X-Robots-Tag. Если страница должна исчезнуть из индекса, но пока нужна для пользователей, можно временно закрыть её от индексации и позже перевести на 301 или 410.
Пошаговое решение
1. Закройте архивы, которые не несут ценности
Если авторские или датированные архивы не дают трафик и не нужны для навигации, их лучше закрыть от индексации на уровне SEO-плагина или кода. Для WordPress это безопаснее, чем просто удалять шаблон архива: URL продолжит работать для пользователя, но перестанет быть приоритетом для поисковика.
Если вы используете SEO-плагин, проверьте настройки архивов автора, дат и вложений. Если работаете кодом, можно добавить noindex для нужных архивов через wp_robots:
add_filter('wp_robots', function ($robots) {
if (is_author() || is_date() || is_attachment()) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
});Этот вариант подходит, когда страницу не нужно удалять мгновенно. Для уже ненужных URL лучше использовать редирект или статус 410.
2. Уберите старые PHP-страницы из публичного доступа
Если у вас в корне сайта остались старые PHP-файлы, которые больше не используются, не оставляйте их открытыми «на всякий случай». Самый безопасный путь — либо удалить файл и вернуть 404/410, либо перенаправить его на актуальный раздел. Если страница не имеет замены, 410 обычно честнее для поисковика, чем бесконечный 200 с пустым содержимым.
Пример для .htaccess, если нужно отдать 410 для конкретного файла:
Redirect gone /old-template.phpЕсли нужен редирект на новый адрес, используйте 301:
Redirect 301 /old-template.php https://example.com/new-page/Для Nginx логика та же, но синтаксис будет другой. Важно не смешивать 301 и 410 для одного и того же URL: поисковику нужен один понятный сигнал.
3. Проверьте внутренние ссылки и карту сайта
Частая ошибка — закрыть страницу от индексации, но оставить на неё ссылки в меню, хлебных крошках, блоках похожих материалов или XML-карте сайта. Тогда поисковик продолжает регулярно обходить URL, а вы получаете лишнюю нагрузку и медленное вымывание из индекса.
Проверьте:
- меню и футер;
- хлебные крошки;
- виджеты и блоки «похожие записи»;
- XML sitemap;
- внутренние ссылки в контенте и шаблонах.
Если URL закрыт от индексации, но остаётся в sitemap, это плохой сигнал. Карта сайта должна содержать только те страницы, которые вы реально хотите видеть в поиске.
4. Ускорьте удаление через Search Console
Когда URL уже отдаёт 404, 410 или noindex, можно отправить его на повторную проверку. Для массовых случаев удобнее использовать отчёты по индексированию и вручную проверить, не остались ли старые ссылки на сайте. Не стоит пытаться «удалить из индекса» URL, который всё ещё отдаёт 200 и содержит контент: поисковик просто вернётся к нему позже.
Сравнение подходов: что выбрать в зависимости от ситуации
| Подход | Когда использовать | Плюс | Минус |
|---|---|---|---|
noindex | Страница нужна пользователю, но не нужна в поиске | Безопасно, без удаления URL | Не убирает страницу мгновенно |
| 301 redirect | Есть релевантная замена | Сохраняет часть сигналов и трафик | Нужна корректная целевая страница |
| 410 Gone | Страница больше не нужна и замены нет | Чёткий сигнал на удаление | Нельзя использовать для важных URL |
Как проверить, что решение сработало
После изменений не ограничивайтесь визуальной проверкой в браузере. Нужна проверка ответа сервера и индексации.
- URL должен отдавать ожидаемый статус: 200, 301, 404 или 410.
- Для закрытых архивов в HTML должен появиться
noindexили соответствующий заголовок. - В XML-карте сайта не должно быть удалённых страниц.
- Внутренние ссылки на старые URL должны исчезнуть или вести на новые адреса.
- В Search Console нужно отслеживать повторное сканирование и статус удаления.
Если URL закрыт через robots.txt, но уже попал в индекс, этого может быть недостаточно. Поисковик не увидит noindex на заблокированной странице. Для удаления из индекса сначала дайте доступ к странице, потом закройте её корректно.
Частые ошибки и как их исправить
Закрыли URL в robots.txt и ждёте удаления
Это частая ловушка. Если страница уже в индексе, запрет в robots.txt не гарантирует её исчезновение. Поисковик может оставить URL без сниппета, но сам адрес ещё долго будет висеть в базе. Для удаления нужен доступ к странице и понятный сигнал: noindex, 404, 410 или 301.
Сделали 301 на нерелевантную страницу
Редирект «на главную» для старого технического URL выглядит как быстрый способ избавиться от проблемы, но на практике это плохая замена. Если у страницы нет аналога, лучше 410. Нерелевантный 301 может запутать поисковик и ухудшить поведенческие сигналы.
Оставили URL в sitemap
Если страница закрыта от индексации, но продолжает попадать в карту сайта, вы сами подсказываете поисковику, что её надо обходить. Это особенно заметно на больших сайтах, где sitemap генерируется автоматически и старые записи не вычищаются после удаления шаблонов или таксономий.
Удалили файл, но забыли о кэше
После удаления старого PHP-файла серверный кэш, CDN или плагин кэширования может ещё какое-то время отдавать старую версию. Поэтому после правок очищайте кэш на всех уровнях: плагин, сервер, CDN, браузерный кэш для проверки.
Практические советы по безопасности и производительности
Если вы чистите старые PHP-страницы, не удаляйте файлы вслепую. Сначала проверьте, не подключаются ли они из темы, плагина или через include/require. На продакшене лучше сначала перевести URL на 410 или 301, а уже потом удалять физический файл после проверки логов.
Для производительности полезно сократить количество бесполезных архивов и страниц вложений. Это уменьшает число обходов и снижает шум в отчётах Search Console. Если нужен более системный контроль над дублями, архивами и техническими страницами, имеет смысл смотреть в сторону инструментов уровня Clearfy Pro, но только после проверки, какие именно URL реально мешают вашему сайту.
И ещё один практический момент: если правите правила в .htaccess, делайте резервную копию перед изменениями. Одна лишняя строка может сломать весь сайт, особенно если на сервере уже есть правила кэширования или редиректов от хостинга.
В итоге рабочая схема простая: сначала найти источник лишнего URL, потом выбрать правильный сигнал для поисковика, затем убрать внутренние ссылки и карту сайта, и только после этого ждать переобхода. Так вы не боретесь с симптомами, а закрываете причину появления мусора в индексе.