بیایید ایندکس کردن سریع صفحات سایت توسط گوگل را بررسی کنیم ببینیم گوگل چگونه صفحات سایت شما را ایندکس می کند. ربات گوگل چیست؟ و انواع ربات گوگل؟ در این مطلب نحوه ایندکس کردن صفحات توسط ربات های گوگل را برای شما بررسی می کنیم لطفا تا آخر مطلب با مجنتو شاپ همراه باشید.

ایندکس کردن اطلاعات صفحه اصلی

ربات ها بخشی از نرم افزار سرور هستند که هدف اصلی آن بررسی وب سایت شما برای به روزرسانی، بررسی کلیه صفحات سایت، افزودن آنها به پایگاه داده و انتشار اطلاعات سایت در میان نتایج جستجو در گوگل است.

موتور جستجوی گوگل دارای چندین ربات شناخته شده است از جمله  Adsensebot،Freshbot و  DeepCrawl

برای مطالعه بیشتر مقاله برطرف کردن (خطای ۵۰۳) را نیز بخوانید.

Adsensebot  رباط

عمدتا برای سایت هایی است که از تبلیغات گوگل در سایت های خود استفاده می کنند. در یک لحظه به روز شدن سایت (صفحه جدید، محصول، متن اضافه شده) را بررسی می کند

 JavaScript از کد Adsense پیام را به Adsensebot ارسال می کند، در عرض ۱۰ - ۱۵ دقیقه از صفحه بازدید می کند و محتوای آن را ایندکس می کند.

Freshbot رباط 

یک ربات محبوبیت است. این سایت از محبوب ترین و پربازدیدترین صفحات یک سایت خاص بازدید می کند. تعداد بازدیدهای آن ممکن است بسته به تعداد دفعات به روز رسانی سایت و بازدید مشتریان متفاوت باشد. به عنوان مثال، سایت های بزرگ مانند eBay یا Amazon هر ۱۰ دقیقه یا حتی بیشتر توسط Freshbot بازدید می شوند. سایت های متوسط با تعداد کاربران حداکثر ۵۰۰ در ۲۴ ساعت از ۴ تا ۱۰ روز یک بار بازدید می شوند. این ربات تمام لینک ها و صفحات وب سایت را بررسی کرده و در پایگاه داده موتور جستجو قرار می دهد و پس از آن توسط DeepCrawl بررسی می شود.

لطفا مقاله معرفی امکانات مجنتو را نیز مطالعه نمایید.

DeepCrawl رباط

پیچیده ترین ربات گوگل است، تمام داده هایی را که توسط Freshbot در پایگاه داده قرار می گیرد بررسی می کند، حتی نام آن نشان می دهد که چک کردن آن عمیق است. این امر برای قرار دادن هرچه بیشتر سایتها در فهرست کامل Google ضروری است. اگر یک وب سایت فروشگاهی بزرگ یا یک سایت خبری باشد، هر ماه یک بار و گاهی دو بار بازدید می کند.

گاهی اوقات، در نتیجه بررسی سایت توسط ربات ها سایت شما از نظر گوگل یک سایت به درد نخور می باشد. به عنوان مثال، یک افزونه ممکن است یک صفحه دسته بندی، نتایج جستجو را فیلتر یا ممنوع کند. این روی رتبه بندی سایت تأثیر منفی می گذارد و غالباً از بررسی سایت توسط ربات ها جلوگیری می کند. برای جلوگیری از این کار شما باید چندین خط کد را به پرونده robots.txt اضافه کنید.

این کدها به شرح زیر هستند:

Disallow: */tag/*

Disallow: */author/*

Disallow: */page/*