Устранение 404 и битых ссылок на крупных площадках: методика
На сайте с десятками тысяч URL 404 — не аварийная ситуация, а поток, которым нужно управлять. Разбираем, что чинить, что оставить и чем это измерять.
404 сами по себе не вредят
Google прямо заявляет: наличие страниц с кодом 404 — нормальное состояние интернета, и само по себе оно не понижает сайт. Вредят не коды ответа, а потерянный ссылочный вес и оборванный пользовательский путь.
Поэтому задача формулируется не как «убрать все 404», а как «разобрать 404, у которых есть внутренние ссылки, внешние ссылки или трафик». Остальные можно оставить, и они постепенно выпадут из отчётов.
Опасны другие вещи: 404 на страницах, приносивших трафик; битые внутренние ссылки в шаблоне, размноженные на весь сайт; и soft 404 — когда сервер отдаёт код 200 на несуществующей странице.
Где искать источники
Первый источник — Search Console, отчёт «Индексирование страниц», раздел «Не найдено (404)». Он показывает, какие URL Google пытался обойти. Кликнув по конкретному URL, можно посмотреть, откуда на него ведут ссылки.
Второй — краулер. Screaming Frog в отчёте Response Codes покажет и битые URL, и, что важнее, колонку Inlinks — со скольких страниц вашего сайта на них ссылаются. Это и есть приоритетный список на исправление.
Третий — Ahrefs или аналог с отчётом Best by Links для битых страниц. Он находит URL, которые давно удалены, но на которые до сих пор ссылаются внешние сайты. Такие адреса чинятся редиректом в первую очередь: это бесплатный возврат ссылочного веса.
301, 410 или 404: как выбирать
301 — когда есть релевантная замена. Товар снят с производства, но есть аналог или актуальная категория; статья переписана под новым URL; раздел переехал. Редирект должен вести на близкую по смыслу страницу, а не на главную.
Массовый редирект всех 404 на главную — распространённая и вредная практика. Google классифицирует такие переадресации как soft 404 и всё равно исключает страницы из индекса, при этом вы теряете информацию о реальном состоянии сайта.
410 Gone — когда страница удалена намеренно и замены нет: закрытая акция, снятая с продажи позиция без аналога. Google обрабатывает 410 чуть быстрее 404, но принципиальной разницы в итоге нет. Обычная 404 — приемлемый вариант по умолчанию.
Soft 404: скрытая проблема
Soft 404 — страница, которая сообщает пользователю «ничего не найдено», но отдаёт HTTP-код 200. Типичные источники: пустые результаты поиска по сайту, пустые категории после распродажи, карточки товаров «нет в наличии» с обнулённым контентом.
Search Console выделяет их отдельным статусом в отчёте индексирования. Их вред в том, что робот тратит краулинговый бюджет на пустые страницы и считает их индексируемыми.
Лечение зависит от случая: для пустой категории — вернуть 404 или наполнить содержимым, для товара «нет в наличии» — оставить 200 с ценой, описанием и ссылками на аналоги, потому что такая страница полезна пользователю и часто имеет ссылочный вес.
Внутренние битые ссылки в шаблонах
Одна опечатка в шаблоне подвала даёт битую ссылку на всех страницах сайта. В отчёте краулера это выглядит как один 404 с десятками тысяч входящих ссылок — такие находки чинятся первыми.
После исправления обязательно проверьте, что ссылки ведут на финальные URL, а не на редиректы. Цепочки вида ссылка → 301 → 301 → страница тратят краулинговый бюджет и замедляют загрузку для пользователя.
Заведите регулярный краул раз в месяц и сравнение с предыдущим. На крупном сайте новые битые ссылки появляются постоянно из-за правок контента, и разовая чистка ситуацию не решает.
Страница 404 как рабочий элемент
Сама страница ошибки должна отдавать код 404, а не 200, и содержать полезное: поиск по сайту, ссылки на основные разделы, популярные товары, контакты. Пустая страница с надписью «Ошибка» отправляет пользователя обратно в выдачу.
Оформляйте её в дизайне сайта с рабочей навигацией и на языке текущей версии сайта. На многоязычном .uz-проекте частая недоработка — единственная 404-страница на русском для всех языковых версий.
Отслеживайте посещения 404 в аналитике как отдельное событие с записью запрошенного URL и реферера. Это даёт живой список проблем от реальных пользователей, а не только от краулера.