Yangi sayt uchun sitemap.xml va robots.txt qanday sozlanadi
To'g'ri sitemap.xml va robots.txt'siz yangi sayt sekinroq indekslanadi va yashirmoqchi bo'lgan sahifalar indeksga tushib qolish xavfi bor.
Sitemap.xml nima va nega kerak
Sitemap — XML formatidagi sayt URL manzillari ro'yxati bo'lib, qidiruv tizimiga qaysi sahifalar mavjudligi va qachon yangilanganini bildiradi. Usiz Google sahifalarni havolalar orqali topadi, bu sekinroq, ayniqsa tashqi havolasiz yangi sayt uchun.
Next.js saytlar uchun sitemap app-direktoriyasi ildizidagi sitemap.ts fayli orqali dasturiy ravishda yaratiladi — u yangi sahifa qo'shilganda avtomatik yangilanishi kerak.
Sitemap'ga nimalar kiritiladi
Faqat indekslanishi kerak va 404 xatosiz haqiqatan mavjud sahifalarni kiriting: bosh sahifa, xizmatlar bo'limlari, mahsulot kartochkalari, blog maqolalari. Filtr parametrli sahifalar, shakl yuborilgandan keyingi minnatdorchilik sahifalarini kiritmang.
Lastmod (oxirgi o'zgartirish sanasi) haqiqiy sanani ko'rsating, har generatsiyada joriy sanani emas.
Robots.txt sozlash
Robots.txt fayli domen ildizida joylashadi (site.uz/robots.txt) va qaysi bo'limlar skanerlashdan yopilganini ko'rsatadi. Sitemap manzili bilan qatorni albatta qo'shing: Sitemap: https://site.uz/sitemap.xml.
Disallow: / direktivasi bilan butun sayt tasodifan indeksatsiyadan yopilmaganini tekshiring — bu sinov domenidan asosiyga ko'chirilgandan keyin tez-tez uchraydigan xato.
Google Search Console'ga yuborish
Nashr etgandan keyin Search Console'da sayt huquqlarini tasdiqlang va «Sitemap fayllari» bo'limida to'liq manzilni ko'rsatib sitemap yuboring: sitemap.xml.
1-2 kundan keyin qayta ishlash holatini tekshiring: agar Google faylni o'qishda xato ko'rsatsa, ko'pincha muammo noto'g'ri XML formatida yoki sitemap'dagi ba'zi URL'lar 404 yoki redirekt qaytarishida.
Sozlashdan keyin tekshirish
Robots.txt'ni Google Search Console'dagi «Robots.txt tekshiruvchisi» orqali sinovdan o'tkazing — u sahifa indeksdan tushib qolganini bilishdan oldin muayyan URL skanerlash uchun bloklanganini ko'rsatadi.
Har chorakda sitemap'dagi URL sonini Search Console'ning «Qamrov» hisobotidagi haqiqiy indekslangan sahifalar soni bilan solishtiring.