دلایل ایندکس نشدن سایت در گوگل و روش حل آن

در مقاله قبلی گفتیم که گوگل به طور خودکار تمام صفحاتی که در دنیای وب ساخته شوند را به کمک خزنده های خود بررسی و فهرست می‌کند. اما ممکن است این فرایند کمی طول بکشد که در همین راستا ایندکس دستی را پیشنهاد کردیم. حال، در برخی مواقع گوگل حتی با ایندکس دستی هم صفحات سایت شما را فهرست نمی‌کند که این گویای یک مشکل ساختاری است.

روش های حل مشکل ایندکس نشدن توسط گوگل

اگر تمام اقدامات پیشنهادی جهت ایندکس کردن سایت در گوگل را انجام داده‌اید و گوگل همچنان برخی یا همه صفحاتی را که انتظار دارید ایندکس نمی‌کند، احتمالاً با یک مشکل جدی‌تر روبرو هستید و باید بررسی‌های بیشتری انجام دهید.

1. برچسب‌های (تگ‌های) noindex ناخواسته را بررسی کنید

گوگل نمی‌تواند صفحاتی را ایندکس کند که شما صراحتاً به آن می‌گویید مجاز به انجام این کار نیست. شما این فرمان را از طریق یک متا تگ robots noindex یا یک هدر HTTP حاوی x-robots-tag صادر می‌کنید.

اگر با اصطلاحات فوق آشنایی ندارید، نگران نباشید. می‌توانید این مشکل را به سادگی با استفاده از یک حساب کاربری رایگان Ahrefs Webmaster Tools (AWT) بررسی کنید. کافیست به گزارش «قابلیت ایندکس شدن» (Indexability) بروید و به دنبال این موارد باشید:

• Noindex in HTML and HTTP header
• Noindex follow page
• Noindex and nofollow page

گوگل قادر به ایندکس کردن هیچ صفحه‌ای که با این مشکلات مواجه است، نخواهد بود.

برای مشاهده دقیق صفحاتی که تحت تأثیر قرار گرفته‌اند، روی عدد مربوطه در ستون «خزیده شده» (Crawled) کلیک کنید. اگر می‌خواهید این URLها ایندکس شوند، باید دستور noindex را از تگ HTML یا هدر HTTP مربوطه حذف کنید.

2. بررسی اقدامات دستی و مشکلات امنیتی

اگر وب‌سایت یا صفحه وب شما دارای اقدامات دستی یا مشکل امنیتی باشد، ممکن است گوگل آن را در نتایج جستجو نمایش ندهد. می‌توانید هر دو مورد را در کنسول جستجوی گوگل بررسی کنید. برای این کار، کافی است به گزارش اقدامات دستی و گزارش مشکلات امنیتی مراجعه کنید.

آنچه شما می‌خواهید در هر دو گزارش ببینید، وضعیت «عدم وجود هیچ اقدامی/مشکلی» است:

آنچه می‌خواهید در گزارش اقدامات دستی در کنسول جستجو ببینید:

• هیچ اقدام دستی اسپم (هرزنامه) وب‌ایتی شناسایی نشد.

اگر چیزی متفاوت از این می‌بینید، بهتر است از یک متخصص کمک بگیرید تا مشکل را برطرف کند.

3. مطمئن شوید که محتوای شما واقعاً برای جستجوگران ارزشمند است

جان مولر از گوگل رسماً تأکید کرده است که موتور جستجو هرگز تمام URLهای شناخته شده را ایندکس نمی‌کند؛ آن‌ها باید «عالی و الهام‌بخش» باشند.

شما می‌توانید با استفاده از این روش، صفحات بی‌کیفیت بیشتری را که احتمالاً ایندکس نخواهند شد، پیدا کنید.

روند کار به این صورت است:

• به Page Explorer بروید
• برای صفحات قابل ایندکس فیلتر را فعال کنید
• روی فیلتر پیشرفته کلیک نمایید
• فیلتر را برای صفحاتی که رتبه‌بندی کلمات کلیدی ندارند و کمتر از ۳۰۰ کلمه دارند، تنظیم کنید

این کار، صفحات قابل ایندکس «ضعیف» (Thin) را که برای هیچ کلمه کلیدی در ۱۰۰ رتبه برتر، رتبه‌بندی نشده‌اند، باز می‌گرداند.

اگرچه ممکن است برخی از این صفحات ایندکس شده باشند، اما از آنجایی که برای هیچ چیزی رتبه‌بندی نشده‌اند، احتمالاً ایندکس نشده‌اند. این مسئله به وضوح نشان می‌دهد که گوگل آن‌ها را به اندازه کافی باارزش نمی‌بیند که ترافیکی به سمتشان ارسال کند.

اگر هر یک از این صفحات به موضوعاتی با حجم جستجو (Search Volume) می‌پردازند، باید آن‌ها را ارزشمندتر کنید تا گوگل آن‌ها را در نتایج جستجو نمایش دهد.

4. بررسی صفحاتی که در نقشه سایت نیستند اما قابل ایندکس‌اند

نقشه‌های سایت یکی از سیگنال‌های مهمی هستند که گوگل برای شناسایی صفحات حیاتی یک وب‌سایت استفاده می‌کند.

اینکه صفحاتی را که می‌خواهید توسط گوگل ایندکس شوند از نقشه سایت خود حذف کنید، به تنهایی بعید است که تنها علت ایندکس نشدن آن‌ها باشد؛ با این حال، این عمل یک سیگنال مثبت برای موتورهای جستجو محسوب نمی‌شود. می‌توانید این صفحات را با استفاده از ابزار Site Audit پیدا کنید. کافی است در گزارش «همه مشکلات»، به دنبال هشدار «صفحه قابل ایندکس شدن در نقشه سایت نیست» بگردید.

نحوه برطرف کردن این مشکل به این بستگی دارد که آیا قصد دارید صفحات مذکور ایندکس شوند یا خیر.

اگر هدف شما ایندکس شدن این صفحات است، باید تنظیمات نقشه سایت خود را به گونه‌ای به‌روزرسانی کنید که این صفحات را نیز در بر بگیرد. اما اگر نمی‌خواهید که این صفحات ایندکس شوند، باید یک دستورالعمل noindex به آن‌ها اضافه کنید.

5. بررسی محدودیت‌های خزش در فایل robots.txt

فایل robots.txt را به یاد آورید. از آنجایی که گوگل به ندرت صفحاتی را که قادر به خزش نیست، ایندکس می‌کند، اگر صفحات مهمی در robots.txt مسدود شده باشند، به احتمال زیاد در نتایج جستجو ظاهر نخواهند شد.

برای بررسی مسدود بودن یک صفحه خاص، می‌توانید از تستر robots.txt گوگل استفاده کنید. کافی است آدرس (URL) صفحه مورد نظر را وارد کرده و دکمه «تست» را بزنید. در صورتی که محدودیتی وجود نداشته باشد، نتیجه «مجاز» (Allowed) نمایش داده می‌شود.

اگر صفحه مسدود باشد، نتیجه «مسدود» (Blocked) خواهد بود و خطی از فایل robots.txt که مسئول این مسدودیت است، برجسته می‌شود.

چنانچه تمایل دارید یک صفحه مسدود شده ایندکس شود، لازم است که دستورالعمل مربوطه را در فایل robots.txt خود ویرایش کنید تا اجازه خزش آن صفحه به گوگل داده شود.

6. بررسی تگ‌های متعارف نامناسب (Canonical Tags)

یک تگ متعارف به گوگل نشان می‌دهد که از میان مجموعه‌ای از صفحات مشابه، کدام نسخه باید ایندکس شود. این تگ معمولاً به شکل زیر است:

<link rel=“canonical” href=“/page.html”/>

اغلب صفحات وب یا فاقد تگ متعارف هستند، یا از تگی استفاده می‌کنند که به آن تگ متعارف خودارجاعی می‌گویند. این تگ به گوگل می‌فهماند که خود صفحه، نسخه ارجح و احتمالاً تنها نسخه است. به بیان دیگر، شما مایل هستید که این صفحه ایندکس شود.

با این حال، اگر صفحه شما دارای تگ متعارف نامناسب باشد، ممکن است به گوگل نسخه‌ی ارجحی را معرفی کند که وجود ندارد یا شما نمی‌خواهید ایندکس شود.

برای بررسی وجود یک تگ متعارف نامناسب، از  URL inspection tool در کنسول جستجوی گوگل استفاده کنید. اگر تگ متعارف به صفحه‌ی دیگری اشاره کرده باشد، با هشدار «صفحه جایگزین با تگ متعارف» روبرو خواهید شد.

در صورتی که این تگ نباید وجود داشته باشد و هدف شما ایندکس کردن صفحه است، باید تگ متعارف را حذف کنید.

ترفند دیگر این است که در بخش «Site Audit» در Ahrefs، خطای Non-canonical page in sitemap که به معنی «صفحه غیرمتعارف در نقشه سایت» است را جستجو کنید. در چنین مواردی، شما در حال ارسال سیگنال‌های متناقض به گوگل هستید. اگر هدف شما ایندکس شدن صفحات است، این وضعیت نامطلوب خواهد بود.

علاوه بر این، باید تلاش کنید تا مشکلات مربوط به محتوای تکراری را حل نمایید، زیرا احتمال ایندکس شدن صفحات تکراری یا تقریباً تکراری توسط گوگل اندک است. برای بررسی این مشکلات، از گزارش «Duplicates report» در بخش «Site Audit» استفاده کنید.

7. بررسی پیوندهای داخلی nofollow

پیوندهای nofollow، لینک‌هایی هستند که با صفت rel="nofollow" مشخص شده‌اند. گوگل ممکن است این پیوندها را دنبال (crawl) کند یا نکند، بنابراین بهتر است تا حد امکان از به کار بردن آن‌ها برای پیوندهای داخلی خودداری کنید.

پیدا کردن این پیوندها بسیار ساده است. کافی است به گزارش پیوندها در ابزارهایی مانند Site Audit مراجعه کنید و به دنبال اخطار “صفحه فقط پیوندهای داخلی ورودی nofollow دارد” بگردید.

پیدا کردن پیوندهای داخلی nofollowed در ابزاری مانند Ahrefs’ Site Audit روشی موثر برای شناسایی آنهاست.

با فرض اینکه قصد دارید گوگل صفحه مقصد را ایندکس کند، باید برچسب nofollow را از این پیوندهای داخلی حذف کنید.

در غیر این صورت (اگر نمی‌خواهید صفحه ایندکس شود):

• صفحه را حذف کنید؛ یا
• آن را noindex کنید (با استفاده از تگ متا).

8. فرصت‌های لینک داخلی را بهینه‌سازی کنید

لینک‌های داخلی تنها به گوگل کمک نمی‌کنند تا صفحات جدید را کشف کند؛ آن‌ها همچنین به افزایش اعتبار (PageRank) صفحه و نمایش اهمیت آن کمک می‌کنند. با افزودن لینک‌های داخلی مرتبط‌تر به صفحات مهم، می‌توانید شانس خود را برای ایندکس شدن (و رتبه‌بندی) آن‌ها در گوگل بهبود ببخشید.

در اینجا یک روش سریع برای یافتن فرصت‌های لینک‌سازی داخلی آورده شده است:

• به Page Explorer در Site Audit بروید.
• روی فیلتر پیشرفته کلیک کنید.
• ابتدا یک فیلتر برای “Internal outlinks” ایجاد کنید. بعد گزینه “not contains” را فعال کنید. سپس لینک صفحه‌ای که می‌خواهید ایندکس شود را اضافه کنید.
• حالا یک فیلتر برای “Page text” و “contains” اعمال کنید.  سپس [کلمه کلیدی مورد نظر خود را] اضافه کنید.

این فیلتر به دنبال کلمات کلیدی ذکر شده در صفحاتی است که هنوز به صفحه هدف شما لینک نشده‌اند.

برای مثال، اگر در صفحاتی که از قبل به فهرست نکات سئوی ahrefs که لینک ندارند، به دنبال «نکات سئو» بگردیم، ۳۵ نتیجه خواهیم داشت:

اگر یکی از این نتایج را باز کنیم و این اشاره را در صفحه جستجو کنیم، این چیزی است که می‌بینیم:

اینجا مکان ایده‌آلی برای اضافه کردن یک لینک داخلی به فهرست نکات سئوی ما است.

اگر به صفحه‌ای لینک‌های داخلی اضافه می‌کنید، بهتر است آن را به ابزار بازرسی URL در کنسول جستجوی گوگل وصل کنید و روی «درخواست ایندکس کردن» یا Request indexing کلیک کنید. این به گوگل اعلام می‌کند که چیزی در صفحه تغییر کرده است و آن‌ها را به خزش مجدد ترغیب می‌کند.

این کار می‌تواند روند کشف لینک داخلی و در نتیجه، صفحه‌ای که می‌خواهید ایندکس شود را تسریع بخشد.

9. بررسی مشکلات بودجه خزش (Crawl Budget)

بودجه خزش به سرعت و تعداد صفحاتی اشاره دارد که یک موتور جستجو در مدت زمان مشخصی قصد دارد در سایت شما خزش کند. اگر تعداد صفحات سایت شما از این بودجه خزش فراتر رود، احتمال دارد برخی از آنها خزش یا ایندکس نشوند. به همین دلیل، مهم است که تعداد صفحات بی‌کیفیت در سایت خود را به حداقل ممکن برسانید.

نظر رسمی گوگل در این مورد:

هدر دادن منابع سرور برای [صفحات کم‌ارزش] باعث کاهش فعالیت خزش از صفحاتی می‌شود که واقعاً ارزشمند هستند و این ممکن است باعث تأخیر قابل توجهی در کشف محتوای عالی در یک سایت شود.

گوگل همچنین تأکید می‌کند که “بودجه خزش (…) چیزی نیست که اکثر ناشران نگران آن باشند” و “اگر سایتی کمتر از چند هزار آدرس اینترنتی داشته باشد، بیشتر اوقات به طور مؤثر خزش می‌شود.”

با این وجود، حذف صفحات بی‌کیفیت از وب‌سایت شما هرگز چیز بدی نیست. این اقدام می‌تواند تنها تأثیر مثبتی بر بودجه خزش سایت شما داشته باشد.

شما می‌توانید برای یافتن صفحات بالقوه بی‌کیفیت که قابلیت حذف شدن دارند، از الگوی حسابرسی محتوای ما استفاده کنید.

نتیجه‌گیری: ایندکس نشدن سایت در گوگل و روش حل آن

ایندکس نشدن صفحات وب در گوگل به معنای عدم شناسایی، خزش و ذخیره‌سازی محتوای سایت شما در پایگاه داده گوگل است که منجر به عدم نمایش سایت در نتایج جستجو و از دست رفتن ترافیک ارگانیک می‌شود.

با پیگیری منظم مراحلی که در بالا گفتیم و نظارت دقیق از طریق گوگل سرچ کنسول، می‌توانید مشکلات ایندکس نشدن سایت خود را حل کرده و شانس نمایش در نتایج جستجو و جذب مخاطب را به طور چشمگیری افزایش دهید.