چرا ایندکس شدن توسط گوگل بسیار دشوار است

ایندکس شدن توسط گوگل کار بسیار سخت و دشواری است، ما در این مطلب قصد داریم کمی بیشتر درباره ایندکس شدن توسط گوگل و مشکلات آن صحبت کنیم.

هر وب سایتی تا حدود زیادی به گوگل وابسته و متکی است. ایندکس شدن توسط گوگل برای بسیاری از وب سایت ها حائز اهمیت است و تمامی صفحات وب سایت شما باید توسط گوگل ایندکس شوند. این کار شرایطی را فراهم می کند تا کاربران مختلف بتوانند با صفحات سایت شما آشنا شده و از خدمات وب سایت شما استفاده کنند.

با این حال همیشه این طور نیست. بسیاری از صفحات وب سایت های مختلف هرگز توسط گوگل ایندکس نمی شوند.

اگر با یک وب سایت کار می کنید( مخصوصا زمانی که وب سایت شما بزرگ است) احتمالا متوجه شده اید که تمامی صفحات سایت شما ایندکس نمی شوند و بسیاری از صفحات شما هفته ها منتظر می مانند تا توسط گوگل ایندکس شوند. همین مسئله نیز می تواند نشان دهنده این باشد که ایندکس شدن توسط گوگل بسیار سخت و دشوار است.

عوامل تاثیرگذار بر ایندکس شدن توسط گوگل

عوامل مختلفی وجود دارند که می توانند به میزان بسیار زیادی روی ایندکس شدن توسط گوگل تاثیرگذار باشند که بسیاری از آنها عواملی هستند که روی رتبه بندی نیز تاثیر دارند و از جمله آنها می توان به مواردی مانند کیفیت محتوا و لینک سازی اشاره کرد. البته گاهی اوقات این عوامل بسیار پیچیده تر هستند و نیازمند نکات فنی مختلفی می باشند. وب سایت های مدرن که به شدت به فناوری ها و تکنولوژی های جدید متکی هستند در گذشته مشکلات زیادی در زمینه ایندکس شدن توسط گوگل داشتند و برخی از آنها هنوز هم این مشکلات را دارند. بسیاری از سئوکاران هنوز هم بر این عقیده هستند که این موارد فنی است که مانع از ایندکس شدن آنها توسط گوگل می شود ولی این مسئله یک افسانه است. در حالی که درست است اگر شما سیگنال های فنی ثابتی را مبنی بر این که کدام صفحات را می خواهید ایندکس کنید برای گوگل ارسال نکنید یا اگر بودجه کافی برای خزیدن نداشته باشید گوگل صفحات شما را ایندکس نمی کند ولی به همان اندازه مهم است که سعی کنید محتوای خود را سازگار کنید.

اکثر وب سایت های بزرگ و کوچک دارای محتوای زیادی هستند که باید ایندکس شوند ولی ایندکس نمی شوند. در حالی که مواردی مانند جاوا اسکریپت ایندکس کردن و نمایه سازی صفحات را پیچیده تر می کند ولی شاید برای شما جالب باشد که بدانید حتی اگر وب سایت شما تنها با HTML نیز نوشته شده باشد باز هم ممکن است از مشکلات مربوط به نمایه سازی و ایندکس شدن رنج ببرد. در ادامه سعی می کنیم برخی از رایج ترین این مشکلات و راهکارهای برطرف کردن آنها را به طور کامل به شما ارائه دهیم.

دلایلی که باعث می شود تا گوگل صفحات شما را ایندکس نکند

شاید برای شما جالب باشد که بدانید طبق تحقیقاتی که روی تعداد زیادی از فروشگاه های اینترنتی بسیار محبوب انجام شده است حدود 15 درصد از صفحات مربوط به محصولات قابل ایندکس شدن در لیست ایندکس گوگل مشاهده نمی شوند. این تحقیقات نتایج فوق العاده جالبی را نشان می دادند. حال سوالی که پیش می آید این است که چرا این اتفاق می افتد؟ چرا گوگل تصمیم می گیرد صفحه ای که از لحاظ فنی کاملا قابلیت ایندکس شدن دارد را ایندکس نکند؟

کنسول جستجوی گوگل چندین وضعیت را برای صفحات ایندکس نشده گزارش می کند که از جمله آنها می توان به Crawled - currently not indexed و Discovered - currently not indexed اشاره کرد. اگرچه این اطلاعات به صراحت به حل مشکل شما در این زمینه کمکی نمی کنند ولی می توانند نقطه خوبی برای شروع پیدا کردن مشکل و حل کردن آن باشند.

آشنایی با وضعیت Crawled - currently not indexed

در این مورد گوگل از یک صفحه بازدید می کند ولی آن را ایندکس نمی کند. این مشکل معمولا به میزان زیادی با کیفیت محتوای شما مرتبط است. با توجه به رونق تجارت الکترونیک در سال های اخیر می توانیم انتظار داشته باشیم که گوگل اهمیت بیشتری به کیفیت محتواهای تولید شده در وب سایت ها می دهد. بنابراین اگر متوجه شدید که گوگل از صفحات سایت شما دیدن می کند ولی اقدام به ایندکس کردن آنها نمی کند اطمینان حاصل کنید که محتوای منحصر به فرد و یونیکی را برای سایت خود تولید می کنید.

نکاتی برای تولید محتوای منحصر به فرد برای ایندکس شدن توسط گوگل

همان طور که گفتیم برای ایندکس شدن توسط گوگل و رفع مشکلی که در بخش قبلی بیان کردیم شما باید اقدام به تولید محتوای منحصر به فرد کنید. برای این کار به نکات مهم زیر دقت کنید:

-          از عناوین و توضیحات منحصر به فرد در تمامی صفحات سایت خود استفاده کنید.

-          از کپی کردن توضیح محصولات خود از منابع دیگر خودداری کنید.

-          از تگ های canonical برای ادغام محتوای تکراری استفاده کنید.

-          با استفاده از فایل robots.txt یا تگ noindex گوگل را از ایندکس کردن و خزیدن در بخش هایی از سایت که کیفیت محتوای جذابی ندارند منصرف کنید.

وضعیت Discovered - currently not indexed

این مشکل نیز یکی از رایج ترین مشکلاتی است که از ایندکس شدن جلوگیری می کند. این وضعیت معمولا طیف گسترده ای از مشکلات از جمله خزیدن تا کیفیت پایین محتوا را در بر بگیرد. این مشکل معمولا به عنوان یک مشکل بزرگ در زمینه ایندکس شدن به شمار می آید. این مشکل معمولا در فروشگاه های اینترنتی و تجارت الکترونیک بزرگ و ... پیش می آید.

ممکن است گاهی اوقات گوگل گزارش دهد که صفحات مربوط به محصولات الکترونیکی کشف شده باشند ولی ایندکس نشده باشند. یکی از مهم ترین دلایل به وجود آمدن چنین مشکلی این است که تعداد لینک های زیادی در سایت شما وجود دارد که هزینه خزیدن در سایت و آن صفحات را افزایش می دهد و به همین علت نیز گوگل آن را در لیست خود قرار می دهد تا بعدها آن را ایندکس کند.

از دیگر دلایل مربوط به این مشکل می توان به پایین بودن کیفیت اشاره کرد. گاهی اوقات ممکن است گوگل تصمیم بگیرد که آن صفحه از وب سایت شما و آن دامنه ارزش خزیدن ندارد و تصمیم بگیرد که عملیات خزیدن را در آن صفحه انجام ندهد و در نتیجه آن را ایندکس نکند.

حل مشکل Discovered - currently not indexed

برای حل این مشکل راهکارهایی وجود دارد که در این بخش قصد داریم درباره آنها صحبت کنیم. به طور کلی دو راهکار برای برطرف کردن این مشکل و ایندکس شدن توسط گوگل وجود دارد که این دو راهکار شامل موارد زیر هستند:

-          ممکن است مشکل از دسته بندی محصولات شما باشد. بنابراین شما باید الگوهای خاصی که در یک صفحه قرار می گیرند را بررسی کنید تا متوجه شوید که آیا ایندکس می شوند یا خیر؟ بررسی کنید که تنها دسته بندی خاصی از محصولات ایندکس نمی شوند یا این که بخش عمده ای از محصولات سایت شما ایندکس نمی شوند؟

-          سعی کنید بودجه خزیدن در صفحات مختلف را بهینه سازی کنید. روی صفحاتی تمرکز کنید که کیفیت چندانی ندارند و گوگل مجبور است که زمان زیادی را صرف خزیدن در آنها کند. از جمله مهم ترین این صفحات می توان به صفحات مربوط به فیلتر کردن محصولات اشاره کرد. اگر گوگل بتواند به شکل بهینه ای در این صفحات بخزد می تواند منابع لازم برای دسترسی به محتوای ارزشمند سایت شما را به دست بیاورد. بنابراین برای ایندکس شدن حتما این راهکار را نیز بررسی کنید.

محتوای تکراری و مشکل ایندکس شدن توسط گوگل

محتوای تکراری به دلایل مختلفی ممکن است در وب سایت شما به وجود بیاید و از ایندکس شدن آن توسط گوگل جلوگیری کند. از جمله رایج ترین دلایل به وجود آمدن محتوای تکراری می توان به موارد زیر اشاره کرد:

-          اختلاف زبان (به عنوان مثال زبان انگلیسی در بریتانیا، ایالات متحده آمریکا یا کانادا). اگر چندین نسخه از یک صفحه دارید که کشورهای مختلف را هدف قرار می دهند باید بدانید که ممکن است برخی از این صفحات توسط گوگل ایندکس نشوند.

-          محتوای تکراری که توسط رقبای شما مورد استفاده قرار می گیرد. این مسئله در اغلب مواقع در صنعت تجارت الکترونیک رخ می دهد و زمانی مشکل ساز می شود که چندین وب سایت از همان توضیحات محصول ارائه شده توسط سازنده برای توضیح محصول استفاده می کنند.

نکاتی مهم برای حل مشکل محتوای تکراری و ایندکس شدن توسط گوگل

برای حل مشکل محتوای تکراری و ایندکس شدن شما علاوه بر این که می توانید از روش هایی مانند  rel=canonical، ریدایرکت های 301 یا تولید محتوای منحصر به فرد استفاده کنید بلکه می توانید ارزش منحصر به فردی را نیز برای کاربران خود فراهم کنید. 

چگونه index coverage وب سایتمان را بررسی کنیم؟

شما برای بررسی index coverage وب سایت یا تعداد صفحاتی از وب سایتتان که ایندکس شده اند می توانید گزارش Index Coverage را در Google Search Console باز کرده و گزارشات مربوط به آن را مطالعه و بررسی کنید.

اولین چیزی که در این گزارش باید به آن دقت کنید این است که چه تعداد از صفحات شما حذف شده اند و سپس باید سعی کنید یک الگو پیدا کنید که به شما بگوید چه نوع صفحاتی از وب سایت شما ایندکس نمی شوند. به این ترتیب می توانید یک استراتژی برای ایندکس شدن توسط گوگل بیابید.

نکاتی درباره بررسی گزارش index coverage برای ایندکس شدن توسط گوگل

اگر صاحب یک فروشگاه تجارت الکترونیک هستید به احتمال زیاد می توانید صفحات مربوط به محصولاتی که ایندکس نشده اند را در این گزارش مشاهده کنید. با وجود این که این مسئله همیشه باید به صورت یک هشدار برای شما باشد ولی توجه داشته باشید که نمی توانید انتظار داشته باشید تمامی صفحات محصولات شما ایندکس شده باشند به خصوص اگر یک وب سایت خیلی بزرگ دارید اصلا نباید این انتظار را داشته باشید. به عنوان مثال یک وب سایت فروشگاهی بزرگ گاهی اوقات مجبور است تا صفحات تکراری، محصولات منقضی یا محصولات خارج از انبار را در وب سایت خود نگهداری کند و طبیعتا چنین مسئله ای ایندکس شدن توسط گوگل را بسیار سخت و حتی غیر ممکن می کند. بنابراین این وب سایت ها حتما تعداد زیادی صفحه ایندکس نشده دارند.

علاوه بر این وب سایت های تجارت الکترونیک بزرگ معمولا مشکلاتی در زمینه بودجه کافی برای خزیدن در صفحات وب سایت نیز دارند. بسیاری از این وب سایت ها بیش از یک میلیون صفحه دارند که تقریبا 90 درصد این صفحات برچسب Discovered - currently not indexed خورده اند. نیازی به نگرانی درباره این صفحات نیست ولی اگر مشاهده می کنید که صفحات مهم وب سایت شما از لیست ایندکس گوگل حذف می شوند باید نگران شوید.

برای افزایش احتمال ایندکس شدن توسط گوگل از سیگنال های Soft 404 جلوگیری کنید

هر وب سایتی متفاوت است و ممکن است به شکل متفاوتی نیز از مشکلات مربوط به ایندکس شدن توسط گوگل رنج ببرد. یکی از مهم ترین عواملی که می تواند شانس ایندکس شدن توسط گوگل را برای وب سایت شما افزایش دهد جلوگیری از سیگنال های Soft 404 است. شما باید اطمینان حاصل کنید که صفحات وب سایتتان حاوی مواردی نیست که ممکن است Soft 404 تلقی شود. این موارد می توانند بسیار گسترده باشند که از جمله آنها می توان به مواردی مانند Not found، Not available یا وجود شماره 404 در آدرس لینک صفحات شما اشاره کرد.

از لینک سازی داخلی استفاده کنید

لینک سازی داخلی یکی از سیگنال های کلیدی برای ایندکس شدن است که نشان می دهد یک صفحه خاص بخش مهمی از وب سایت بوده و شایسته ایندکس شدن است. هیچ صفحه ای را در ساختار وب سایت خود بدون لینک سازی رها نکنید و به خاطر داشته باشید که تمامی صفحات وب سایت شما که قابل نمایه سازی و ایندکس شدن هستند را در نقشه سایت خود قرار دهید.

یک استراتژی sound crawling را پیاده سازی کنید

به گوگل اجازه ندهید که بیش از حد در سایت شما نفوذ کند. اگر منابع زیادی برای خزیدن در بخش های کم ارزش دامنه سایت شما صرف می شود ممکن است زمان زیادی طول بکشد تا گوگل بتواند به منابع ارزشمند سایت شما دسترسی پیدا کرده و آنها را ایندکس کند. تجزیه و تحلیل گزارش سرور می تواند تصویر کاملی از آن چه که Googlebot در وب سایت شما خزیده است را به شما ارائه داده و باعث بهینه سازی این روند شود.

برای افزایش احتمال ایندکس شدن توسط گوگل محتوای بی کیفیت و تکراری را از سایت خود حذف کنید

هر وب سایت بزرگی که در نظر بگیرید در نهایت دارای تعداد زیادی از صفحات مختلف است که نباید ایندکس شوند. مطمئن شوید که این صفحات به نقشه سایت شما راه پیدا نمی کنند. برای انجام این کار شما می توانید از تگ noindex یا فایل robots.txt کمک بگیرید که در این زمینه می توانند بسیار مفید و کاربردی باشند. اگر شما به گوگل اجازه دهید که زمان زیادی را در بدترین قسمت ها و بخش های سایت شما صرف کند ممکن است کیفیت کلی دامنه شما نیز به میزان بسیار زیادی برای گوگل کاهش پیدا کند.

برای افزایش احتمال ایندکس شدن توسط گوگل سیگنال های سئو ثابت را ارسال کنید

یکی بهترین راهکارهای افزایش احتمال ایندکس شدن ارسال سیگنال های سئو ثابت می باشد. یکی از مهم ترین نمونه های ارسال سیگنال سئو متناقض به گوگل جایگزین کردن تگ های canonical با جاوا اسکریپت می باشد. همانطور که Martin Splitt از شرکت گوگل در کنفرانس JavaScript SEO Office Hours اشاره کرد شما هرگز نمی توانید مطمئن باشید که اگر یک تگ canonical در سورس کد HTML خود داشته باشید گوگل با آن چگونه برخورد می کند.

وب به سرعت در حال گسترش است

در سال های اخیر گوگل جهش های عظیمی در پردازش جاوا اسکریپت انجام داده است و کار را برای متخصصان سئو سایت راحت تر کرده است. این روزها کمتر دیده می شود که وب سایت های دارای جاوا اسکریپت را مشاهده کنیم که به علت فناوری های خاصی که در پشته خود مورد استفاده قرار داده اند ایندکس نشوند.

حال سوالی که ممکن است پیش بیاید این است که آیا ما می توانیم همین انتظار را از مشکلات مربوط به ایندکس شدن توسط گوگل که به علت جاوا اسکریپت به وجود نیامده اند نیز داشته باشیم؟ بسیاری از متخصصان به این سوال پاسخ منفی می دهند.

اینترنت دائما در حال رشد است. هر روز وب سایت های جدیدی ظاهر می شوند و وب سایت های موجود نیز روز به روز در حال گسترش و رشد می باشند. آیا گوگل می تواند با این چالش مقابله کند؟

شرکت گوگل در خصوص این مسئله پاسخ می دهد: گوگل دارای منابع محدودی می باشد. بنابراین زمانی که با تعداد تقریبا نامحدودی محتوا که به صورت آنلاین در دسترس هستند مواجه می شویم باید بدانید که ربات گوگل می تواند تنها درصدی از آنها را جستجو کرده و در آنها بخزد. علاوه بر این از میان تعداد زیادی محتوا که ربات گوگل در آنها خزیده است تنها درصدی از آنها ایندکس می شوند.

به عبارت دیگر گوگل می تواند تنها بخشی از تمام صفحات وب را مورد بازدید قرار دهد و بخش کوچکتری از آن را ایندکس می کند. بنابراین حتی اگر شما یک وب سایت شگفت انگیز هم داشته باشید باز هم باید به این نکته بسیار مهم و کلیدی توجه کافی داشته باشید.

گوگل احتمالا از تمام صفحات وب سایت شما بازدید نخواهد کرد و حتی اگر وب سایت شما کوچک باشد باز هم برخی از صفحات شما مورد بازدید قرار نمی گیرند. وظیفه شما این است که اطمینان حاصل کنید گوگل می تواند صفحاتی را که برای کسب و کار شما ضروری هستند را کشف کند و سپس شرایطی را فراهم کنید که مطمئن شوید گوگل می تواند این صفحات را ایندکس کند.

بنابراین احتمالا شما هم متوجه شده اید که ایندکس شدن توسط گوگل یک فرایند بسیار سخت است ولی غیرممکن نیست.