موتورهای جستجو چگونه کار می کنند؟

موتورهای جستجو برای تحلیل محتوای وب و سرویس دهی مناسب به کاربران خود سه وظیفه اصلی دارند که عبارتند از:

• Crawling خزش در محتوای سایت ها
• Indexing تهیه یک نسخه از صفحه و تحلیل محتوای آن
• Results نمایش نتایج مناسب براساس محتوای ایندکس شده

   Crawling چیست؟

گوگل برای دسترسی به محتوای سایت، ربات های نرم افزاری طراحی کرده  است که همانند یک کاربر وارد سایت شما شده و با خزش (crawl) در آن تلاش میکنند محتوای صفحه را دریافت کنند. در این فرآیند همه ی بخش ها شامل محتوا، عنوان، تصاویر، لینک و هرچیزی که دسترسی به آن برای ربات گوگل ممکن باشد بررسی خواهد شد.
ربات ها هنگام بررسی یک صفحه احتمالا با لینک به صفحات دیگر مواجه می شوند ، اگر این لینک نوفالو (Nofollow) نشده باشد ربات وارد آن صفحه نیز میشوندو به همین شکل مسیر خود را در وب ادامه میدهد.

یکی از دلایل اهمیت بالای بک لینک در سئو نیز همین رفتار ربات ها برای شناسایی و ایندکس صفحات جدید است. ربات های گوگل معمولا در بازه های زمانی مختلف (متغیر برای هر صفحه) دوباره به همان صفحات رجوع کرده و تغییرات آن را بررسی میکنند. ˆ
ربات های گوگل از پروتکل های مشخصی برای بررسی صفحات وب استفاده میکنند و اگر دوست داشته باشید صفحهای از سایت شما توسط گوگل بررسی نشده و در نتایج گوگل نمایش داده نشود میتوانید از طریق فایل Robots.txt این کار را انجام می دهند.

Index گوگل چیست؟

زمانی که بررسی یک صفحه توسط ربات تمام شد فرآیند ایندکس کردن آغاز میشود. تصور کنید که وب یک کتابخانه بسیار بزرگ است و گوگل تلاش میکند یک فهرست کامل از کتاب های موجود، موضوع هرکدام و محتویات آنها تهیه کند. زمان ایندکس شدن یک صفحه توسط گوگل همیشه به یک اندازه نیست و فاکتورهای مختلفی بر آن تاثیرگذار است.  

ˆ هر بار که ربات گوگل به صفحه شما مراجعه کند اگر متوجه تغییراتی در آن صفحه شامل تغییر محتوا یا اضافه شدن محتوا شود مجدد فرآیند ایندکس ˆ کردن گوگل برای آن صفحه انجام میشود.
تا زمانیکه یک صفحه توسط گوگل ایندکس نشود هرگز در نتایج جستجو نمایش داده نمیشود. پس اولین قدم برای قرار گرفتن در نتایج جستجو مطمئن شدن از ایندکس صفحات است.

تهیه لیست نتایج جستجو برای کاربر

نتایج جستجو هم برای کاربران و هم برای صاحبان وب سایت اهمیت زیادی دارد. زمانی که بعنوان یک کاربر عبارت مورد نظر خود را در گوگل جستجو میکنید، گوگل از میان صفحاتی که پیش از آن ایندکس کرده است نتایج مرتبط با جستجوی شما را پیشنهاد میدهد.

این فرآیند بسیار پیچیده است زیرا از میان صدها میلیون وب سایت و شاید میلیاردها صفحه ی موجود در وب باید نتایج مورد نظر شما را شناسایی کرده و نمایش دهد.
برای اینکار الگوریتم های متنوعی نوشته شده است و گوگل همواره در حال ارتقا و بهینه کردن این الگوریتم هاست. هرگز فرآیند بررسی صفحات و رتبه بندی توسط گوگل اعلام نشده و نخواهد شد ولی براساس مشاهدات وبمستران و آموزشهایی که توسط خود گوگل منتشر میشود چندین فاکتور تاثیرگذار براین رتبه بندی شناسایی شده اند. گوگل اعلام کرده که برای رتبه بندی صفحات بیش از ۲۰۰ فاکتور را در نظر میگیرد.