Индексация сайта в Google: почему страницы не попадают в поиск
Если страницы сайта не появляются в поиске, причина почти всегда в одном из трёх мест: технический запрет обхода, низкое качество страницы в глазах алгоритма или банально нехватка краулингового бюджета. Разбираем, как найти конкретную причину, а не гадать.
Начните с отчёта «Индексирование страниц» в Search Console
Прежде чем что-либо чинить, откройте Google Search Console → Индексирование → Страницы. Отчёт делит все известные Google URL на «Проиндексированные» и «Не проиндексированные» с разбивкой по конкретным причинам — это единственный источник точной диагностики, догадки без этого отчёта почти всегда неточны.
Самые частые статусы среди непроиндексированных: «Обнаружена — не проиндексирована в данный момент» (Google знает о странице, но пока не обошёл — обычно вопрос времени или краулингового бюджета), «Просканирована — не проиндексирована» (Google обошёл, но решил не включать в индекс — обычно вопрос качества контента) и «Страница с переадресацией» (URL редиректит, это нормально, если редирект намеренный).
Технические блокировки: robots.txt и noindex
Проверьте robots.txt на директивы Disallow, которые могут случайно закрывать целые разделы — частая ошибка после миграции сайта или смены CMS, когда тестовая директива 'Disallow: /' переносится на боевой сайт и остаётся незамеченной неделями.
Тег meta name='robots' content='noindex' или HTTP-заголовок X-Robots-Tag: noindex физически запрещают индексацию конкретной страницы, даже если она полностью доступна для обхода. Проверяйте это через инструмент «Проверка URL» в Search Console — он показывает точный рендер страницы, включая обнаруженные директивы noindex.
Важное отличие: Disallow в robots.txt запрещает обход (краулинг), а noindex запрещает включение в индекс уже обойдённой страницы. Если страница закрыта в robots.txt, Google физически не видит noindex-тег на ней и может всё равно показать URL в выдаче без сниппета — частое недопонимание, которое приводит к неправильному фиксу.
Качество контента как причина отказа в индексации
Статус «Просканирована — не проиндексирована» чаще всего означает, что Google посчитал страницу недостаточно ценной для индекса: тонкий контент, почти полный дубль другой страницы сайта, автоматически сгенерированный текст без уникальной ценности.
Это особенно частая проблема для программно созданных страниц: тысячи карточек фильтров интернет-магазина или автоматически сгенерированных региональных страниц с минимальными отличиями. Google индексирует выборочно только те, что несут достаточно уникальной информации, остальные остаются вне индекса независимо от технической доступности.
Решение — не техническое, а контентное: объединить малоценные страницы, добавить уникальный контент (отзывы, реальные фото, специфичные для страницы данные) или явно закрыть noindex страницы, которые не предназначены для органического трафика, чтобы не тратить на них краулинговый бюджет впустую.
Краулинговый бюджет: когда это реальная проблема
Краулинговый бюджет — количество страниц, которое Googlebot готов обойти на сайте за период времени — становится реальным ограничением только для крупных сайтов, от нескольких десятков тысяч страниц. Для сайта услуг из 50-200 страниц это почти никогда не первопричина отсутствия индексации.
Если бюджет действительно ограничен, отчёт «Статистика сканирования» в Search Console (раздел Настройки) покажет количество запросов обхода в день и среднее время ответа сервера. Медленный сервер напрямую снижает число страниц, которые Google успевает обойти за сессию — оптимизация скорости хостинга иногда решает проблему индексации эффективнее любых точечных правок.
Как ускорить индексацию новых и важных страниц
Используйте инструмент «Проверка URL» с кнопкой «Запросить индексирование» для важных новых или обновлённых страниц — это ставит URL в приоритетную очередь обхода, но не гарантирует включение в индекс, если контент не пройдёт оценку качества.
Поддерживайте актуальный sitemap.xml с датами последнего изменения (lastmod) и отправьте его через раздел «Файлы Sitemap» в Search Console — это не заставляет Google обходить страницы быстрее само по себе, но упрощает обнаружение новых URL, особенно на сайтах без богатой внутренней перелинковки.
Добавьте внутренние ссылки на новую страницу с уже проиндексированных страниц с хорошим весом — главной, ключевых разделов каталога. Страница, на которую не ведёт ни одна внутренняя ссылка (orphan page), обнаруживается краулером значительно медленнее, даже если она есть в sitemap.xml.