Если страницы WordPress не попадают в поиск, а в индексе появляются лишние адреса, почти всегда проблема в одном из трёх мест: мета-теге noindex, каноническом URL canonical или правилах robots.txt. Эти настройки часто работают вместе, и сбой в одной из них легко маскируется другой. Например, страница может быть открыта для обхода, но закрыта от индексации, или наоборот — индексироваться через дублирующий URL, который вы не планировали показывать поисковикам.
Ниже — практический порядок проверки и исправления. Он подходит для обычного сайта на WordPress без сложной кастомной логики, но если у вас есть мультиязычность, фильтры, пагинация, WooCommerce или отдельные SEO-плагины, проверять нужно особенно внимательно: именно там чаще всего возникают конфликты.
Сначала определите, что именно сломалось
Ошибки индексации бывают двух типов, и лечатся они по-разному:
- нужные страницы не индексируются — например, записи, категории или страницы услуг;
- лишние URL попадают в поиск — дубли с параметрами, архивы, технические страницы, версии с и без слеша, страницы пагинации и т. п.
Перед правками откройте проблемный URL и проверьте три вещи:
- есть ли в HTML мета-тег
<meta name="robots" content="noindex">или его вариант сnofollow; - какой адрес указан в
<link rel="canonical" href="...">; - не блокируется ли URL в
robots.txt.
Если страница не индексируется, но в коде стоит noindex, это уже почти ответ. Если страница индексируется как дубль, смотрите на canonical и на то, не разрешён ли обход лишних URL через robots.txt.
Проверьте базовые SEO-настройки WordPress
Самая простая причина — сайт случайно закрыт от поисковиков на уровне настроек WordPress. Это особенно часто случается после разработки, переноса или тестирования.
Откройте в админке Настройки → Чтение и проверьте пункт «Попросить поисковые системы не индексировать сайт». Для боевого сайта он должен быть выключен. Если галочка стоит, WordPress добавляет сигнал для поисковиков, и страницы могут не попадать в индекс даже при правильном контенте и ссылках.
После снятия галочки не ждите мгновенного эффекта. Поисковик должен заново обойти страницы. Но если сайт был закрыт от индексации долго, проверьте ещё и SEO-плагин: он может дублировать запрет уже на уровне мета-тега.
Как найти и убрать лишний noindex
noindex может появляться из нескольких источников:
- настройки SEO-плагина для конкретной записи, страницы, рубрики или типа записей;
- глобальные настройки плагина для архивов, тегов, автора, поиска, пагинации;
- ручная вставка мета-тега в тему или через код;
- HTTP-заголовок
X-Robots-Tag, который иногда ставит сервер или плагин.
Если используется Yoast SEO, Rank Math, All in One SEO или похожий плагин, проверьте настройки именно проблемного объекта. Частая ситуация: запись открыта, но у неё вручную включён noindex в блоке SEO-настроек. Для рубрик и тегов логика та же.
Если страницы сайта должны индексироваться, а архивы — нет, не отключайте noindex везде подряд. Иначе в индекс попадут служебные страницы, которые не несут ценности. Правильнее точечно разрешить индексацию только тем типам страниц, которые реально должны ранжироваться.
Если вы не уверены, откуда берётся запрет, посмотрите исходный код страницы и заголовки ответа сервера. В браузере это можно сделать через инструменты разработчика, а для быстрой проверки — через команду:
curl -I https://example.com/stranica/В ответе ищите X-Robots-Tag. Если он есть и содержит noindex, проблема не в HTML, а в заголовке сервера или плагина.
Canonical: когда он помогает, а когда ломает индексацию
canonical подсказывает поисковику, какой URL считать основным. Это полезно для дублей, но опасно, если canonical указывает не туда. Тогда поисковик может игнорировать страницу, даже если она открыта и доступна.
Проверяйте canonical в таких случаях:
- страница есть, но в поиске ранжируется другой URL;
- в индексе появляются дубли с параметрами
?utm=,?sort=, фильтрами или страницами пагинации; - на страницах категорий, товаров или записей canonical указывает на главную, архив или другой нерелевантный адрес.
Нормальная ситуация — когда canonical указывает на саму страницу или на действительно основную версию контента. Ненормальная — когда все страницы сайта канонизируются на главную, либо когда у дубля canonical ведёт на URL, который сам закрыт noindex или недоступен.
Особенно внимательно смотрите на конфликт noindex и canonical. Если страница закрыта от индексации, но canonical указывает на неё как на основную, поисковик получает противоречивые сигналы. Обычно нужно выбрать одну логику: либо страница индексируется и имеет корректный canonical, либо она закрыта и не участвует в поиске.
robots.txt: что он делает и чего не делает
robots.txt управляет обходом, а не индексацией напрямую. Это важное различие. Если URL запрещён в robots.txt, поисковый робот может не зайти на страницу и не увидеть её содержимое, но сам адрес всё равно иногда может попасть в индекс как URL без описания. Поэтому robots.txt не заменяет noindex.
Проверяйте robots.txt в двух ситуациях:
- страницы не обходятся поисковиком вообще;
- в индексе остаются технические URL, которые вы хотели скрыть.
Типичная ошибка — закрыть в robots.txt то, что нужно убрать именно из индекса. Если страница уже известна поисковику, одного запрета на обход может быть недостаточно. Для удаления из индекса обычно нужен noindex на самой странице или корректный ответ сервера, а robots.txt используют для ограничения лишнего обхода, например технических параметров или служебных разделов.
Ещё одна частая проблема — слишком широкое правило. Например, запрет на целую папку, внутри которой лежат важные страницы. После такого правила поисковик перестаёт нормально обходить нужный контент, и индексация проседает.
Как быстро найти конфликт между noindex, canonical и robots.txt
Удобнее идти по одному и тому же порядку:
- Откройте проблемный URL в браузере и посмотрите исходный код.
- Проверьте, есть ли
noindexв мета-теге или в заголовкеX-Robots-Tag. - Сравните canonical с фактическим адресом страницы.
- Проверьте, не запрещён ли URL или его папка в
robots.txt. - Посмотрите настройки SEO-плагина именно для этого типа контента.
Если страница должна индексироваться, а в коде стоит noindex, уберите запрет в плагине, теме или заголовке сервера. Если canonical указывает на другой адрес, исправьте шаблон вывода canonical или настройки SEO-плагина. Если robots.txt блокирует нужный раздел, ослабьте правило и проверьте, не зацепило ли оно важные URL.
Если у вас несколько SEO-плагинов или часть SEO-логики вынесена в тему, конфликт почти гарантирован. На практике должен быть один источник правды для мета-тегов и canonical. Когда разные плагины одновременно пытаются управлять индексацией, поисковик получает противоречивые сигналы.
Что делать с лишними URL в индексе
Если в поиске появились дубли, не пытайтесь закрыть всё через robots.txt. Сначала выясните, почему URL вообще существует и доступен:
- дубли с параметрами — проверьте canonical и генерацию ссылок;
- страницы пагинации — убедитесь, что они не создают мусорные дубли основного контента;
- архивы тегов и авторов — решите, нужны ли они для поиска;
- версии со слешем и без слеша, http и https, www и без www — проверьте единый основной вариант сайта;
- технические страницы поиска по сайту — обычно их лучше закрывать от индексации.
Если дубль не нужен пользователю, у него должен быть либо noindex, либо редирект на основной URL, либо canonical на основную версию. Какой вариант выбрать, зависит от ситуации. Для реально одинаковых страниц лучше редирект. Для страниц, которые должны открываться, но не ранжироваться отдельно, чаще подходит canonical или noindex.
Как проверить, что исправление сработало
После правок не ограничивайтесь визуальной проверкой в админке. Убедитесь, что на странице теперь правильные сигналы:
- в исходном коде нет лишнего
noindex; - canonical указывает на нужный URL;
robots.txtне блокирует важный раздел;- страница отдаёт обычный HTTP-статус, а не редирект на неожиданный адрес;
- в Google Search Console можно отправить URL на повторную проверку, если сайт уже подключён.
Если страница всё ещё не индексируется, проверьте не только мета-теги, но и качество самой страницы: пустой контент, дублирующийся текст, слабая внутренняя перелинковка и отсутствие внешних сигналов тоже мешают индексации. Но сначала всё же исключите технические запреты — именно они чаще всего дают ложную картину.
Для сайта на WordPress самый надёжный подход такой: один SEO-плагин, понятные правила для архивов и дублей, аккуратный robots.txt и регулярная проверка исходного кода важных страниц. Тогда не придётся гадать, почему поисковик игнорирует нужный URL или индексирует лишний.