Почему страницы не попадают в индекс

Вы опубликовали статью, отправили страницу на переобход, подождали неделю — а в поиске её по-прежнему нет. Ситуация знакомая почти каждому, кто работает с сайтами. И почти всегда за ней стоит не «капризный алгоритм», а конкретная причина, которую можно найти и устранить.

Индексация — это не право, а решение поисковой системы. Робот должен узнать о странице, суметь её загрузить, понять, что её можно индексировать, и решить, что она достаточно ценна, чтобы хранить её в базе. На каждом из этих шагов что-то может пойти не так. Разберём причины по порядку — от технических до качественных.

Как устроен путь страницы в индекс

Чтобы диагностика была системной, полезно помнить четыре этапа.

1. Обнаружение. Робот должен узнать, что URL существует: из карты сайта, внутренних ссылок, внешних ссылок или ручной отправки.
2. Сканирование. Робот запрашивает страницу и получает ответ сервера. Если доступ закрыт или сервер отвечает ошибкой, процесс останавливается.
3. Обработка. Поисковик анализирует содержимое, выполняет JavaScript, определяет каноническую версию и проверяет директивы индексации.
4. Решение об индексации. Даже доступная и технически корректная страница может быть исключена, если поисковик сочтёт её дублем или малоценной.

Соответственно, и причины проблем делятся на четыре группы.

Страницу не нашли

Самая простая и самая частая причина — робот просто не знает о странице.

• Нет внутренних ссылок. Страница-сирота, на которую не ведёт ни одна ссылка с сайта, обнаруживается медленно или не обнаруживается вовсе. Карта сайта помогает, но не заменяет внутреннюю перелинковку.
• Карта сайта не обновляется. Sitemap.xml генерируется вручную или с ошибкой, и новые URL туда не попадают.
• Ссылки недоступны роботу. Переходы реализованы через JavaScript-обработчики без настоящих тегов , через формы или бесконечную подгрузку без пагинации.
• Слишком глубокая вложенность. Если до страницы нужно сделать шесть-семь кликов от главной, робот доберётся до неё нескоро.

Что делать: проверьте, есть ли на страницу ссылки из разделов, хабов и связанных материалов; убедитесь, что URL присутствует в sitemap.xml; отправьте карту сайта в Google Search Console и Яндекс Вебмастер.

Страницу не смогли загрузить

Робот знает о странице, но не может её получить.

• Блокировка в robots.txt. Одна неаккуратная строка Disallow может закрыть целый раздел. Особенно часто это случается после переноса с тестового сервера, где сайт был закрыт целиком.
• Ошибки сервера. Ответы 5xx, таймауты, перегрузка хостинга. Если сервер часто отвечает ошибками, поисковик снижает скорость сканирования всего сайта.
• Неверные коды ответа. Страница отображается в браузере, но сервер отдаёт 404 или 302. Встречается на сайтах с самописными CMS и SPA.
• Защита от ботов. Файрвол, CDN или антиDDoS-сервис блокируют поисковых роботов, принимая их за подозрительный трафик.
• Требуется авторизация. Контент доступен только залогиненным пользователям.

Что делать: проверьте URL инструментом проверки в Search Console и Вебмастере — там видно, что именно получил робот. Проанализируйте логи сервера: заходит ли Googlebot или YandexBot на нужные страницы и какой код получает.

Странице запретили индексироваться

Страница загружена, но в ней есть сигнал «не индексировать».

• Мета-тег robots с noindex. Часто остаётся после разработки или включается галочкой в настройках CMS.
• HTTP-заголовок X-Robots-Tag. Невидим в коде страницы, задаётся на уровне сервера — его легко пропустить.
• Канонический адрес указывает на другую страницу. Если rel=“canonical” ведёт на другой URL, поисковик, скорее всего, проиндексирует тот, а не текущий.
• Редирект. Страница перенаправляет на другую, и в индекс попадает конечный адрес.

Что делать: просмотрите исходный код и заголовки ответа. Проверьте шаблоны CMS: noindex и canonical часто задаются на уровне шаблона и тиражируются на сотни страниц.

Поисковик решил, что страница не нужна

Это самая коварная группа причин. Технически всё в порядке, но в отчётах вы видите статусы вроде «Обнаружена, не проиндексирована», «Просканирована, но пока не проиндексирована» или, в Яндексе, «Недостаточно качественная» и «Дубль».

Дубли и почти дубли

Карточки товаров, отличающиеся только цветом; страницы фильтров с одинаковым набором товаров; версии с параметрами UTM, сортировкой и сессиями; одинаковые тексты для разных городов. Поисковик выбирает одну страницу как каноническую, остальные исключает.

Малоценный контент

Пустые категории, страницы тегов с одной записью, короткие тексты без конкретики, автоматически сгенерированные описания, переписанные чужие материалы. Поисковые системы хранят не всё, что видят, и отбирают страницы, которые могут быть полезны пользователю.

Перерасход краулингового бюджета

На крупных сайтах робот тратит ресурсы на бесконечные комбинации фильтров, служебные страницы и архивы, а до важных страниц доходит редко. Это проблема прежде всего сайтов от десятков тысяч URL.

Низкий авторитет сайта

У нового сайта без внешних ссылок и истории индексация идёт медленнее, и поисковик осторожнее добавляет его страницы. Это не наказание, а естественная стадия.

Что делать: объедините дубли через canonical или редиректы; закройте от индексации служебные и фильтрационные страницы, не несущие ценности; усильте тонкие страницы содержательным текстом или уберите их; наращивайте внутренние ссылки на важные разделы.

Особенности JavaScript-сайтов

Отдельно стоит сказать о сайтах на React, Vue и других фреймворках с рендерингом на стороне клиента. Поисковики умеют выполнять JavaScript, но это требует ресурсов и времени, а иногда приводит к ошибкам. Если основной контент и ссылки появляются только после выполнения скриптов, страница может попасть в индекс пустой или не попасть вовсе. Яндекс в этом отношении традиционно осторожнее Google.

Надёжное решение — серверный рендеринг или пререндеринг: робот получает готовый HTML с текстом и ссылками.

Алгоритм диагностики

Когда конкретная страница не в индексе, проходите шаги по порядку.

1. Проверьте URL в инструменте проверки Search Console и Вебмастера. Посмотрите статус и причину.
2. Убедитесь, что сервер отвечает кодом 200 и страница не закрыта в robots.txt.
3. Проверьте мета-тег robots, заголовок X-Robots-Tag и canonical.
4. Посмотрите отрендеренную версию страницы глазами робота: виден ли основной текст.
5. Проверьте, есть ли на страницу внутренние ссылки и включена ли она в sitemap.xml.
6. Найдите похожие страницы на сайте — нет ли дублирования.
7. Честно оцените ценность контента: чем он лучше того, что уже есть в выдаче.
8. После исправлений отправьте страницу на переобход и наблюдайте одну-две недели.

Когда проблема массовая

Если из индекса выпадают сотни страниц, ищите системную причину. Обычно это изменение шаблона, обновление CMS, переезд, новые правила в robots.txt или настройки CDN. Сравните дату падения в отчёте об индексировании с датами релизов — совпадение почти всегда указывает на виновника.

Вывод

Страница не попадает в индекс по одной из четырёх причин: её не нашли, не смогли загрузить, ей запретили индексироваться или её сочли ненужной. Первые три группы — чисто технические и решаются быстро. Четвёртая требует работы над структурой и качеством сайта. Главное правило диагностики — двигаться по цепочке от обнаружения к оценке ценности и не переходить к сложным гипотезам, пока не проверены простые. В большинстве случаев виновник — забытый noindex, строка в robots.txt или отсутствие ссылок, а вовсе не загадочный фильтр.