robots.txt или noindex: что выбрать и когда

Когда нужно убрать страницу из поиска, у вебмастера под рукой два инструмента: файл robots.txt и директива noindex. Их часто используют как взаимозаменяемые — и именно поэтому так часто получают обратный результат: страница, которую хотели скрыть, висит в выдаче, а нужный раздел внезапно исчезает.

Причина путаницы в том, что эти инструменты решают разные задачи. robots.txt управляет сканированием, noindex — индексацией. Это два разных этапа работы поисковика, и понимание разницы позволяет выбрать правильный инструмент для каждого случая.

Сканирование и индексация — не одно и то же

Сканирование — это когда робот заходит на страницу и загружает её содержимое. Индексация — когда поисковик решает сохранить страницу в своей базе и показывать её в результатах.

robots.txt говорит роботу: «Не заходи сюда». noindex говорит: «Можешь зайти, но не добавляй в выдачу».

Из этого следует ключевой и неочевидный вывод: если закрыть страницу в robots.txt, робот не увидит на ней noindex. А значит, если поисковик узнал о странице из внешних ссылок, он может добавить её в индекс без содержимого — только с адресом и, возможно, текстом ссылок. В Google такие страницы иногда отображаются с пометкой о том, что описание недоступно из-за robots.txt.

Как работает robots.txt

robots.txt — текстовый файл в корне сайта с правилами для роботов. Пример:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sort=

Sitemap: https://example.ru/sitemap.xml

Что важно знать:

• Это рекомендация, а не запрет. Добросовестные поисковики её соблюдают, но файл никак не защищает данные от людей и недобросовестных ботов.
• Файл публичный. Любой может открыть его и увидеть, какие разделы вы хотите скрыть. Поэтому указывать там адреса секретных страниц — плохая идея.
• Правила применяются к путям, а не к отдельным страницам по смыслу. Одна ошибка в маске может закрыть пол-сайта.
• Яндекс исторически поддерживает директиву Clean-param для склейки адресов с незначащими параметрами — это удобный способ бороться с дублями из-за UTM-меток и идентификаторов сессий.

Как работает noindex

noindex задаётся двумя способами.

В HTML-коде страницы:

<meta name="robots" content="noindex, follow">

Или в HTTP-заголовке ответа сервера:

X-Robots-Tag: noindex

Второй вариант нужен для файлов, у которых нет HTML-кода: PDF, изображений, документов.

Что важно знать:

• Робот должен иметь доступ к странице, чтобы увидеть директиву. Не закрывайте её в robots.txt.
• Удаление из индекса происходит не мгновенно, а после следующего сканирования.
• Значение follow позволяет роботу переходить по ссылкам со страницы, даже если сама она не индексируется. Впрочем, Google указывает, что при долгом noindex ссылки со страницы со временем тоже могут перестать учитываться.

Когда выбирать robots.txt

robots.txt подходит, когда главная цель — сэкономить ресурсы сканирования и не пускать робота туда, где ему нечего делать.

• Служебные разделы: админка, личный кабинет, корзина, оформление заказа, внутренний поиск.
• Бесконечные комбинации параметров: сортировки, фильтры с десятками сочетаний, календари, пагинация архивов.
• Технические файлы и скрипты, которые не нужны для отображения страницы. Но не блокируйте CSS и JavaScript, необходимые для рендеринга, — иначе поисковик не увидит страницу так, как видит её пользователь.
• Тестовые и промежуточные версии — хотя для них надёжнее закрыть доступ паролем.

На крупных сайтах robots.txt — главный инструмент управления краулинговым бюджетом. Когда у вас сотни тысяч URL-комбинаций фильтров, нет смысла позволять роботу каждый раз заходить на них, чтобы прочитать noindex.

Когда выбирать noindex

noindex подходит, когда главная цель — убрать страницу из выдачи при сохранении доступа для робота.

• Страницы, которые уже в индексе и их нужно удалить. Если закрыть их в robots.txt, они могут остаться в выдаче надолго.
• Тонкие и малоценные страницы, которые нужны пользователям, но не нужны в поиске: страницы «спасибо за заказ», теги с одной записью, авторские архивы, версии для печати.
• Страницы, на которые ведут внешние ссылки. robots.txt не помешает им появиться в индексе, noindex — помешает.
• Отдельные страницы среди индексируемых, которые нельзя выделить маской пути.
• Файлы PDF и документы — через X-Robots-Tag.

Частые ошибки

Закрыть в robots.txt и добавить noindex

Самая распространённая комбинация, которая не работает. Робот не заходит на страницу и не видит noindex. Если нужно удалить страницу из индекса — сначала оставьте только noindex, дождитесь удаления, и лишь затем, при необходимости, закройте в robots.txt.

Использовать noindex в robots.txt

Директива Noindex внутри robots.txt никогда не была официальным стандартом, и Google прекратил её неофициальную поддержку ещё в 2019 году. Писать её в файл бесполезно.

Закрыть весь сайт после разработки

Строка Disallow: /, оставшаяся с тестового сервера, — классика. То же касается галочки «Попросить поисковые системы не индексировать сайт» в WordPress. После каждого релиза проверяйте robots.txt и мета-теги на ключевых страницах.

Использовать noindex вместо canonical для дублей

Если у вас несколько версий одной страницы, лучше указать каноническую через rel=“canonical” — так сигналы, в том числе ссылочные, объединятся. noindex просто выключит дубль, ничего не передав основной странице.

Закрыть CSS и JavaScript

Старая практика экономии бюджета мешает поисковику отрендерить страницу и оценить её мобильную версию. Ресурсы, нужные для отображения, должны быть доступны.

Быстрая таблица выбора

• Нужно, чтобы робот не тратил время на раздел → robots.txt.
• Нужно убрать страницу из выдачи → noindex.
• Страница уже в индексе и её надо удалить → noindex, robots.txt не трогать до удаления.
• Есть несколько версий одной страницы → canonical (или Clean-param для параметров в Яндексе).
• Контент должен быть недоступен посторонним → пароль или авторизация, а не robots.txt.
• Нужно срочно скрыть страницу из Google → инструмент временного удаления в Search Console плюс noindex.
• Файл PDF не должен быть в поиске → X-Robots-Tag: noindex.

Как проверить настройки

• Инструмент проверки URL в Search Console и Вебмастере покажет, разрешено ли сканирование и есть ли noindex.
• В Яндекс Вебмастере есть анализатор robots.txt, где можно проверить конкретные адреса.
• Краулеры вроде Screaming Frog показывают для каждого URL статус в robots.txt, мета-теги, заголовки и canonical.
• Отчёты об индексировании в обеих панелях покажут страницы, исключённые из-за noindex или блокировки в robots.txt, — регулярно просматривайте их на предмет неожиданностей.

Вывод

robots.txt и noindex — не конкуренты, а инструменты для разных задач. robots.txt управляет тем, куда робот ходит, noindex — тем, что попадает в выдачу. Первый экономит ресурсы сканирования на больших сайтах, второй точечно удаляет страницы из поиска. Главное правило, которое стоит запомнить: робот не прочитает noindex на странице, которую ему запретили сканировать. Если держать это в голове, большинство ошибок с индексацией просто не случится.