تفاوت craweling و indexing

سئو و ماموریت های موتور های جست و جوی گوگل ؛ کراول کردن (crawling) و ایندکس کردن (indexing) جزو 3 عملیات مهم گوگل هستند که در آخر به رتبه بندی وب سایت ما منتهی می شوند همچنین جزو دو عملیات مهمی که در سئو وب سایت از اهمیت بالایی برخوردار هستند. متوجه شدن تفاوت crawling و indexing بسیار مهم است زیرا که دلیل شباهت و ارتباط هایی که با یکدیگر دارند اغلب افراد این دو را با یکدیگر اشباه می گیرند و حتی برخی آنها را یکی می دانند اما دو مفهوم crawling و indexing کاملا با هم متفاوت و جدا هستند.

در ادامه این مقاله از رویال سایت تفاوت crawling و indexing را اول به ساده ترین شکل و بعد به صورت تخصصی بررسی می کنیم.

crawling و indexing چه تفاوتی با هم دارند ؟

در کل موتور های جستجو برای بررسی کامل و رتبه دهی به سایت های 3 عملیات را به ترتیب انجام می دهند : 1- کرال کردن (crawling)  2- ایندکس کردن (indexing)  3- رتبه دهی یا رنکینگ. همانطور که می بینید crawling و indexing دو مرحله جدا هستند و قاعدتا دو مفهوم متفاوت نیز دارند.

موتور های جستجو دارای web crawler هایی هستند که برای بررسی سایت ها از آنها استفاده می کنند، در این مرحله اگر وب سایت شما با مشکل یا خطایی مواجه نشد موتور های جستجو به موحله بعد یعنی indexing یا ایندکس کردن می روند که در این مرحله سایت شما آماده برای پاسخ به سوالات می باشد.

crawling قبل از مرحله indexing اتفاق می افتد و همان طور که گفتیم سایت را  به کمک web crawler ها برسی می کنند به طوری که اول به سراغ محتوا و اطلاعات وب سایت می روند و بعد از آن نیز به سراغ لینک های موجود در سایت رفته و تمامی آنها را بررسی می کنند. به همین ترتیب نقشه سایت (site map) نیز ساخته می شود و دیگر همه چیز برای ایندکس شدن سایت آماده است.

indexing ؛ در این مرحله نوبت ایندکس کردن می رسد ، تمامی اطلاعاتی که به وسیله عملیات crawel و بررسی سایت انجام شده در یک پایگاه داده بزرگ به نام web index قرار می گیرد که این فرآیند باعث می شود هر سوالی که شما از گوگل می پرسید گوگل با بررسی پایگاه داده سایت ها به شما پاسخ دهد.

به عنوان مثال : گوگل مانند راهنمای کتابخانه است ؛ زمانی که شما یک موضوع کتاب را از راهنمای کتابخانه می پرسید او کتاب های مرتبط و پاسخگوی سوال شما را در اختیار شما می گذارد شما می توانید هر کدام را انتخاب کنید.

اگر بخواهیم تفاوت crawling و indexing را به صورت خیلی خلاصه و مفهومی بگوییم ؛ کرالینگ (crawling) به مرحله جمع آوری کامل اطلاعات از سایت گفته می شود و ایندکسینگ (indexing) به مرحله دخیره ، سازماندهی و طبقه بندی داده ها بر اساس موضوعی است که درباره آن صحبت پرسیده می شود.

تعریف کرالینگ (crawling) و ایندکسینگ (indexing)

اگر هنوز هم مفهوم کلی این دو عملیات را متوجه نشده اید در ادامه ما یک مثال خوب برای شما آماده کرده ایم تا به خوبی تفاوت و مفهوم هر کذام را بدانید:

تصور کنید که گوگل یک راهنمای تور است که می خواهد مکانی را به خوبی بررسی کند تا بعدا به گردشگران اطلاعاتی را درباره این مکان بدهد. راهنمای تور ما (گوگل) می خواهد یک موزه آثار طبیعی را در شیراز بررسی کند و درباره آن اطلاعات کاملی را کسب کند (موزه استعاره از یک سایت است) بنابراین (عملیات crawling در این بخش انجام می شود) او تمامی اتاق ها و بخش های موزه را بررسی می کند از بخش های عمومی (استعاره محتوا و اطلاعات سایت) تا اتاق های محرمانه (استعاره از همان لینگ های استفاده شده در سایت یا محتوا) و در آخر نیز زمانی که تمامی بخش های موزه را بررسی کرد و به اطلاعات کاملی رسید  ؛ می تواند گردشگران را به این موزه بیاورد و به آنها بخش های مختلف را معرفی کند.

در این مرحله دیگر راهنمای تور هر بخش را یادداشت می کند یا در ذهن خود ذخیره کرده است تا بتواند به خوبی پاسخگوی مخاطبان باشد (عملیات indexing در این بخش انجام می شود) ؛ حال دیگر راهنمای تور می تواند همه بخش های موزه را معرفی کند و همچنین به سوال اینکه مثلا؛ فسیل دایناسور کجاست؟ پاسخ کاملی بدهد و بگوید که در کجا قرار دارد.

پس اگر دقت کرده باشید متوجه می شوید که کرال کردن  به بخش جمع آوری و ایندکس کردن به بخش ذخیره اطلاعات گفته می شود.

عملیات web crawler ها

مفهوم کلی crawling که در بالا هم به آن اشاره کرده بودیم ؛ عملیاتی است که به وسیله خزنده های موتور های جست و جو انجام می شود و وظیفه بررسی و جمع آوری کامل اطلاعات سایت را دارد.

اما web crawler ها چی هستند؟ همان خزنده ها یا نرم افزاری هستند که کار کرال کردن را انجام می دهند و تا زمانی که لینکی دیگر برای کرال و بررسی کردن وجود نداشته باشد به کاوش کردن ادامه می دهند. اگر متن را با دقت خوانده باشید میفهمید که web crawler ها نام های مختلفی دارند مانند خزنده های وب ، ربات های موتور جست و جو و عنکبوت های وب و … که در کراولر های گوگل به این ربات ها Googlebot نیز می گویند.

عملیات indexing چیست ؟

در ادامه اگر می خواهید بهتر تفاوت crawling و indexing را متوجه شوید بهتر است تعریف و دامنه کلی ایندکسینگ را نیز بلد باشید.

در کل ایندکس کردن به معنای ذخیره سازی ، طبقه بندی و سازماندهی اطلاعاتی است که توسط همان کراولر ها بررسی شده اند، به این وسیله تمامی اطلاعات از لینک ها تا متا دیتاها دسته بندی و در کاتالوگ مربوطه قرار می گیرد و نوع آنها مشخص می شود.

عملیات Rendering چیست ؟

اگر بخواهیم خلاصه و ساده بگوییم Rendering به بخش شرح و تشخیص کد های CSS و HTML و javaScript استفاده شده در صفحه گفته می شود که توسط ربات ها این کار انجام می شود. دلیل این کار دیدن نمای بصری این کد ها است تا ما بتوانیم حالت بصری را نیز که توسعه دهندگان آماده کرده اند ببینیم.

تصویر از کارکرد کلی crawling و indexing و Rendering

در تصویر پایین می توانید روند کار کامل این 3 عملیات موتور های جستجو برای تشخیص و ایندکسینگ صفحات سایت شما انجام می شود را مشاهده کنید و همچنین تفاوت crawling و indexing را به خوبی متوجه شوید .

اهمیت crawling و indexing چیست؟

تا این موحله از توضیحات، شما به طور کامل تفاوت crawling و indexing را متوجه شده اید و بد نیست که جنبه ی مورد اهمیت این عملیات ها را نیز بدانید. در ادامه ما 3 مورد از مهمترین موارد این دو عملیات را آورده این :

1. بلاک نشدن وب سایت به صورت ناخودآگاه
2. بررسی و رفع ارور و مشکلات سایت
3. اطمینان از نمایش سایت در نتایج جستجوی گوگل

چگونه از مشکلات crawling و indexing خبر دار شویم؟

شما می توانید از این 2 راه که در ادامه همراه با توضیح به شما معرفی می کنیم مشکلان crawling و indexing سایت خود را بیابید.

1- سرچ

شما می توانید برای اینکه مطمئن شوید که سایت و صفحات سایت شما در گوگل ایندکس شده یا خیر از جستجو استفاده کنید؛ به صورتی که اول عبارت site: را وارد کرده و بعد نام دامنه را به آن اضافه میکنیم و اینتر را می زنیم. اگر در این حالت سایت شما و صفحات سایت شما نمایش داده شود یعنی عملیات crawling و indexing به صورت صحیح در حال اجرا است و در غیر این صورت خیر.

فرم کلی برای بررسی از طریق سرچ : site:yourdomain

استفاده از ابزار Google Search Consol

چه ابزاری بهتر از ابزاری که خود گوگل توسعه دهنده آن باشد!؟ شما می توانید از طریق ابزار Google Search Consol سایت خود را بررسی کرده و در صورت وجود مشکل، مشکلات سایت خود را به خوبی مشاهده و بررسی کنید. البته شما با این ابزار منی توانید بسیاری از اطلاعات مختلف وبسایت خوود را نیز مشاهده کنید.

برای اطلاعات بیشتر :

آموزش ثبت سایت مپ در سرچ کنسول گوگل

نتیجه گیری

در این مقاله به صورت کامل به شما همراهان عزیر توضیح دادیم که مفهوم کلی و “تفاوت crawling و indexing” در چیست. اگر سوالی نیز در این باره برای شما پیش آمده می توانید در ادامه همین صفحه از ما بپرسید تا در کوتاه ترین زمان شما را راهنمایی کنیم.

اگر شما هم به سئو علاقه دارید می توانید به صفحه آموزش سئو ما در رویال سایت نیز سر بزنید؛ شما می توانید در این صفحه بهترین و با کیفیت ترین آموزش های سئو را به صورت تخصصی آموزش ببینید.

امیدواریم این محتوا برای شما همراهان نیز موثر و کارآمد واقع شده باشد.