Как настроить sitemap.xml и robots.txt для нового сайта
Без правильных sitemap.xml и robots.txt новый сайт индексируется медленнее и рискует попасть в индекс страницами, которые вы хотели скрыть.
Что такое sitemap.xml и зачем он нужен
Sitemap — это список URL сайта в формате XML, который сообщает поисковику, какие страницы существуют и когда обновлялись. Без него Google находит страницы через ссылки, что медленнее, особенно для нового сайта без внешних ссылок.
Для сайтов на Next.js sitemap генерируется программно через файл sitemap.ts или sitemap.xml в корне app-директории — он должен обновляться автоматически при добавлении новых страниц, а не вручную каждый раз.
Что включать в sitemap
Включайте только страницы, которые должны индексироваться и реально доступны без ошибки 404: главную, разделы услуг, карточки товаров, статьи блога. Не включайте страницы с параметрами фильтров, страницы благодарности после формы, служебные технические страницы.
Указывайте lastmod (дату последнего изменения) реальную, а не текущую дату при каждой генерации — искусственное обновление даты не ускоряет переиндексацию и может восприниматься как манипуляция.
Настройка robots.txt
Файл robots.txt лежит в корне домена (site.uz/robots.txt) и указывает, какие разделы закрыты от сканирования: административные панели, страницы поиска по сайту, дубли с параметрами сортировки, тестовые поддомены. Обязательно добавьте строку с адресом sitemap: Sitemap: https://site.uz/sitemap.xml.
Проверьте, что случайно не закрыт от индексации весь сайт директивой Disallow: / — это частая ошибка после переноса сайта с тестового домена на боевой, когда забывают снять блокировку staging-окружения.
Отправка в Google Search Console
После публикации подтвердите права на сайт в Search Console (через файл верификации, DNS-запись или Google Tag Manager) и отправьте sitemap в разделе «Файлы Sitemap», указав полный адрес: sitemap.xml.
Проверьте статус обработки через 1-2 дня: если Google показывает ошибки при чтении файла, чаще всего проблема в некорректном XML-формате или в том, что часть URL в sitemap возвращает 404 или редирект.
Проверка после настройки
Прогоните robots.txt через тестер в Google Search Console (раздел «Инструмент проверки robots.txt») — он показывает, заблокирован ли конкретный URL для сканирования до того, как вы узнаете об этом по факту выпадения страницы из индекса.
Раз в квартал сверяйте число URL в sitemap с числом реально проиндексированных страниц в отчёте «Покрытие» Search Console — большой разрыв сигнализирует о технических проблемах индексации, которые стоит разобрать отдельно.