.UZ zonasidagi saytlar uchun robots.txt va sitemap.xml: nimani sozlash kerak
Ildizdagi ikkita matn fayli qidiruv tizimi nimani ko'rishini hal qiladi. Bitta qatordagi xato butun saytni indeksdan chiqarishi mumkin.
robots.txt aslida nima qiladi
robots.txt indekslashni emas, aylanib chiqishni boshqaradi. Disallow bilan yopilgan sahifa tashqi havolalar bo'lsa snippetsiz indeksda qolishi mumkin — Google buni to'g'ridan-to'g'ri hujjatlashtiradi.
Sahifani indeksdan olib tashlash uchun HTML'da meta name="robots" content="noindex" yoki X-Robots-Tag: noindex sarlavhasi kerak. Bunda sahifa robots.txt'da yopilmagan bo'lishi kerak, aks holda robot direktivani o'qiy olmaydi.
Amaliy xulosa: robots.txt xizmat bo'limlarida craulling byudjetini tejash uchun ishlatiladi, sahifalarni natijalardan olib tashlash vositasi sifatida emas.
Google va Yandex direktivalaridagi farqlar
Google User-agent, Disallow, Allow, Sitemap va * hamda $ belgilarini qo'llab-quvvatlaydi. Crawl-delay direktivasini Google 2019 yildan qo'llab-quvvatlamaydi — u butunlay e'tiborsiz qoldiriladi.
Yandex Clean-param'ni qo'llab-quvvatlaydi — noyob va juda foydali direktiva. Clean-param: utm_source&utm_medium&sort /catalog/ qatori bu parametrlar mazmunni o'zgartirmasligini bildiradi va URL variantlari birlashtiriladi. Google bu qatorni oddiygina o'tkazib yuboradi.
Ilgari Yandex'da asosiy ko'zguni ko'rsatish uchun yozilgan Host direktivasi eskirgan. Ko'zgu 301 redirekt va rel=canonical bilan aniqlanadi.
Tijorat .uz sayti uchun ishchi shablon
Minimal oqilona fayl shunday ko'rinadi: User-agent: * bo'limi /admin/, /cart/, /checkout/, /search/, /*?sort=, /*?page= uchun Disallow bilan, keyin /assets/ va /*.css uchun Allow, so'ng Clean-param bilan alohida User-agent: Yandex bo'limi, oxirida to'liq absolut URL bilan Sitemap qatori.
Hech qachon /assets/, /static/, CSS va JS papkalarini Googlebot'dan yopmang. Ularsiz renderer sahifani uslublarsiz ko'radi, mobile-friendly tekshiruvi muvaffaqiyatsiz bo'ladi. Bu auditlardagi eng tez-tez topilmalardan biri.
Fayl https://domen.uz/robots.txt manzilida 200 kodi va text/plain turi bilan berilishi kerak. 404 aylanishni bloklamaydi, lekin robots.txt'dagi 5xx'ni Google butun saytni aylanishga vaqtinchalik taqiq deb talqin qiladi.
sitemap.xml: unga nima qo'yiladi
Sayt xaritasiga faqat kanonik, 200 beruvchi va indekslashga ochiq URL'lar kiritiladi. Sitemap'da noindex yoki redirektli sahifa bo'lishi halokatli xato emas, lekin hisobotni ifloslantiradi.
lastmod maydoni oxirgi mazmunli o'zgarishning real sanasini aks ettirishi kerak. Agar CMS har yig'ilishda barcha URL'ga joriy sanani qo'ysa, maydon qadrsizlanadi. changefreq va priority maydonlarini Google e'tiborsiz qoldiradi.
Format cheklovlari: bitta faylga 50 000 URL va siqilmagan holda 50 MB dan ko'p emas. 200 000 kartochkali do'kon uchun bir nechta fayl va ularga havola qiluvchi sitemap-index.xml qilinadi. Mohiyat turlari bo'yicha ajrating.
Ko'p tillilik va sayt xaritasi
Rus, o'zbek va ingliz versiyali sayt uchun til alternativalarini to'g'ridan-to'g'ri sitemap'da xhtml:link rel="alternate" hreflang="..." orqali ko'rsatish qulay. Bu har bir sahifa head'iga to'liq teglar to'plamini qo'yish zaruratini yo'qotadi.
Har bir til versiyasi qolgan barchasiga va o'ziga havola qilishi kerak. Assimetrik belgilash — Google hreflang'ni butunlay e'tiborsiz qoldirishining eng tez-tez sababi.
Til qiymatlarini to'g'ri bering: ru, uz, en, mamlakat bo'yicha ajratganda — ru-UZ, uz-UZ. x-default qiymati tili qoplanmagan foydalanuvchilar uchun versiyaga qo'yiladi.
Tekshirish va tipik avariyalar
robots.txt'ni tahrirlagandan keyin uni Google Search Console'da tekshiring — u yerda oxirgi o'qish sanasi va topilgan xatolar bilan hisobot bor. Yandex.Vebmasterda o'xshash vosita aniq URL'ni aylanish uchun ochiqligini tekshiradi.
Birinchi raqamli avariya: test muhitidan User-agent: * va Disallow: / qatorini chiqarish. Sayt bir necha kunda natijalardan yo'qoladi. robots.txt mazmunini tekshirishni reliz chek-listiga qo'shing.
Ikkinchi avariya: ishlaydigan https bilan http'dagi URL'lar yoki boshqa domen URL'lari bilan sitemap. Google bunday yozuvlarni xarita amal doirasidan tashqarida deb rad etadi.