Saytni Google'da indekslash: sahifalar nega qidiruvga tushmaydi
Agar sayt sahifalari qidiruvda chiqmasa, sabab deyarli har doim uchta joydan birida: aylanib chiqishni texnik taqiqlash, algoritm nazarida sahifaning past sifati yoki oddiygina kraulling byudjetining yetishmasligi. Taxmin qilish o'rniga aniq sababni qanday topishni ko'rib chiqamiz.
Search Console'dagi «Sahifalarni indekslash» hisobotidan boshlang
Biror narsani tuzatishdan oldin Google Search Console → Indekslash → Sahifalar'ni oching. Hisobot Google biladigan barcha URL'larni «Indekslangan» va «Indekslanmagan»ga aniq sabablar bo'yicha bo'lib beradi — bu aniq diagnostikaning yagona manbai, bu hisobotsiz taxminlar deyarli har doim noaniq.
Indekslanmaganlar orasida eng tez-tez uchraydigan statuslar: «Topilgan — hozircha indekslanmagan» (Google sahifa haqida biladi, lekin hali aylanib chiqmagan — odatda vaqt yoki kraulling byudjeti masalasi), «Skanerlangan — indekslanmagan» (Google aylanib chiqqan, lekin indeksga kiritmaslikka qaror qilgan — odatda kontent sifati masalasi) va «Yo'naltirish bilan sahifa» (URL yo'naltiradi, agar yo'naltirish ataylab bo'lsa bu normal).
Texnik bloklashlar: robots.txt va noindex
Robots.txt'ni butun bo'limlarni tasodifan yopib qo'yishi mumkin bo'lgan Disallow direktivalari uchun tekshiring — sayt migratsiyasi yoki CMS almashtirishdan keyin test 'Disallow: /' direktivasi ishlab turgan saytga o'tib qolib, haftalab payqalmasdan qolishi tez-tez uchraydigan xato.
meta name='robots' content='noindex' tegi yoki X-Robots-Tag: noindex HTTP-sarlavhasi, hatto aylanib chiqish uchun to'liq ochiq bo'lsa ham, aniq sahifaning indekslanishini fizik jihatdan taqiqlaydi. Buni Search Console'dagi «URL tekshirish» vositasi orqali tekshiring — u aniqlangan noindex direktivalari bilan sahifaning aniq renderini ko'rsatadi.
Muhim farq: robots.txt'dagi Disallow aylanib chiqishni (kraullingni) taqiqlaydi, noindex esa allaqachon aylanib chiqilgan sahifaning indeksga kiritilishini taqiqlaydi. Agar sahifa robots.txt'da yopilgan bo'lsa, Google undagi noindex tegini fizik jihatdan ko'rmaydi va baribir URL'ni snippetsiz qidiruvda ko'rsatishi mumkin — bu noto'g'ri tuzatishga olib keladigan tez-tez uchraydigan tushunmovchilik.
Indekslashdan rad etish sababi sifatida kontent sifati
«Skanerlangan — indekslanmagan» statusi ko'pincha Google sahifani indeks uchun yetarlicha qimmatli deb hisoblamaganini bildiradi: yupqa kontent, saytning boshqa sahifasining deyarli to'liq dublikati, noyob qiymatga ega bo'lmagan avtomatik yaratilgan matn.
Bu dasturiy yaratilgan sahifalar uchun ayniqsa tez-tez uchraydigan muammo: internet-do'konning minglab filtr kartalari yoki minimal farqlari bo'lgan avtomatik yaratilgan mintaqaviy sahifalar. Google faqat yetarlicha noyob ma'lumot olib keladiganlarni tanlab indekslaydi, qolganlari texnik jihatdan mavjud bo'lishidan qat'i nazar indeksdan tashqarida qoladi.
Yechim texnik emas, kontent bo'yicha: kam qimmatli sahifalarni birlashtirish, noyob kontent (sharhlar, haqiqiy fotolar, sahifaga xos ma'lumotlar) qo'shish yoki organik trafik uchun mo'ljallanmagan sahifalarni bekorga kraulling byudjetini sarflamaslik uchun aniq noindex bilan yopish.
Kraulling byudjeti: bu haqiqiy muammo bo'lganda
Kraulling byudjeti — Googlebot vaqt davomida saytda aylanib chiqishga tayyor bo'lgan sahifalar soni — faqat o'nlab minglab sahifadan boshlab katta saytlar uchun haqiqiy cheklovga aylanadi. 50-200 sahifali xizmatlar sayti uchun bu deyarli hech qachon indekslash yo'qligining asosiy sababi emas.
Agar byudjet haqiqatan cheklangan bo'lsa, Search Console'dagi «Skanerlash statistikasi» hisoboti (Sozlamalar bo'limi) kunlik aylanib chiqish so'rovlari sonini va serverning o'rtacha javob vaqtini ko'rsatadi. Sekin server Google sessiya davomida ulguradigan sahifalar sonini to'g'ridan-to'g'ri kamaytiradi — xostingning tezligini optimallashtirish ba'zan nuqtaviy tuzatishlarga qaraganda indekslash muammosini samaraliroq hal qiladi.
Yangi va muhim sahifalar indekslanishini qanday tezlashtirish
Muhim yangi yoki yangilangan sahifalar uchun «Indekslashni so'rash» tugmasi bilan «URL tekshirish» vositasidan foydalaning — bu URL'ni ustuvor aylanib chiqish navbatiga qo'yadi, lekin agar kontent sifat baholashidan o'tmasa, indeksga kiritilishini kafolatlamaydi.
Oxirgi o'zgartirilgan sana (lastmod) bilan dolzarb sitemap.xml'ni saqlang va uni Search Console'dagi «Sitemap fayllari» bo'limi orqali yuboring — bu Google'ni sahifalarni tezroq aylanib chiqishga majburlamaydi, lekin yangi URL'larni topishni osonlashtiradi, ayniqsa boy ichki linklashga ega bo'lmagan saytlarda.
Yangi sahifaga allaqachon indekslangan, yaxshi og'irlikka ega sahifalardan — bosh sahifa, katalogning asosiy bo'limlaridan — ichki havolalar qo'shing. Hech qanday ichki havola olib bormaydigan sahifa (orphan page) sitemap.xml'da bo'lsa ham kraul tomonidan ancha sekinroq topiladi.