چطور سایت خود را به موتورهای جستجو معرفی کنیم | ثبت Sitemap در گوگل

آیا به طور پیشفرض لینک صفحات و مقالات وب‌سایت خود را باید به موتورهای جستجو ارسال کنید؟ لزوما خیر، اما این کار می‌تواند به ایندکس سریع‌تر آن توسط موتورهای جستجو کمک کند.

گوگل و دیگر موتورهای جستجو به ارسال دستی وب‌سایت‌ها وابسته نیستند. روش اصلی آنها برای یافتن وب‌سایت‌ها و صفحات جدید، فرآیند خزیدن (Crawling) است. در این فرآیند، برنامه‌های کامپیوتری به صورت پیوسته وب‌سایت‌های شناخته شده را بازرسی می‌کنند تا لینک‌های جدیدی به محتوای تازه پیدا کنند. هر محتوای باارزشی که کشف شود، به فهرست (Index) آنها افزوده خواهد شد.

به طور خلاصه، به احتمال قوی موتورهای جستجو وب‌سایت شما را خودشان پیدا خواهند کرد.

با این حال، ارسال وب‌سایت (Sitemap) چند مزیت دارد:

• احتیاط شرط عقل است. ارسال وب‌سایت شما زمان کمی می‌برد، پس چرا خطر پیدا نشدن آن توسط موتورهای جستجو را بپذیرید؟
• اطلاعات تکمیلی در اختیار آنها قرار دهید. موتورهای جستجو را از به‌روزرسانی‌ها و تغییرات محتوای خود مطلع سازید.
• وب‌سایت خود را بهینه کنید. ارسال وب‌سایت به گوگل و بینگ، دسترسی به ابزارهای رایگانی را برای بهبود عملکرد وب‌سایتتان فراهم می‌کند.

نحوه ثبت وب‌سایت در موتورهای جستجو

گوگل و بینگ هر دو در سال ۲۰۱۸ ابزارهای ثبت URL (ثبت دستی صفحات) خود را متوقف کردند. در حال حاضر، تنها راه برای ثبت وب‌سایت در این موتورهای جستجوی بزرگ، ارسال نقشه سایت (sitemap) است. برای سایر موتورهای جستجو مانند DuckDuckGo و یاهو، معمولاً نیازی به ثبت وب‌سایت به روش خاصی نیست؛ آن‌ها معمولاً از طریق لینک‌های موجود در وب، سایت‌ها را کشف و خزش می‌کنند.

معمولاً می‌توانید نقشه سایت خود را در یکی از آدرس‌های زیر پیدا کنید:

• yourwebsite.com/sitemap.xml
• yourwebsite.com/sitemap_index.xml

اگر نمی‌توانید نقشه سایت خود را در آنجا ببینید، فایل robots.txt خود را در yourwebsite.com/robots.txt بررسی کنید. اکثر وب‌سایت‌ها مکان نقشه سایت خود را در اینجا فهرست می‌کنند.

در ادامه این مقاله آموزشی روش‌های متعددی را برای ثبت وب‌سایت شما در موتورهای جستجو آماده کرده‌ایم:

• ثبت از طریق کنسول جستجوی گوگل
• ثبت از طریق ابزارهای وبمستر بینگ
• ثبت سایت در یاهو
• ثبت سایت شما در DuckDuckGo
• ثبت سایت شما در Baidu

1. نحوه ثبت سایت از طریق کنسول جستجوی گوگل

برای ثبت وب‌سایت در گوگل، ابتدا وارد کنسول جستجوی گوگل (Google Search Console) شوید. سپس، در منوی سمت چپ، روی «نقشه‌های سایت» (Sitemaps) کلیک کنید. آدرس اینترنتی نقشه سایت خود را در کادر مربوطه وارد کرده و در نهایت، روی دکمه «ارسال» (Submit) کلیک کنید.

برای اجرای این مراحل، لازم است که پیش از این وب‌سایت خود را در کنسول جستجوی گوگل اضافه و تأیید کرده باشید. در صورتی که این کار را انجام نداده‌اید، باید ابتدا به سراغ آموزش مربوط به تأیید مالکیت بروید.

اگر وب‌سایت شما دارای چندین نقشه سایت است، این فرآیند را برای هر کدام تکرار نمایید.

آیا فقط قصد دارید یک صفحه خاص را به گوگل ارسال کنید؟

آدرس کامل (URL) آن صفحه را در ابزار بازرسی URL (URL Inspection Tool) کنسول جستجو وارد کنید.

در صورتی که صفحه سایت در گوگل ایندکس نشده باشد، پیامی با عنوان «آدرس اینترنتی در گوگل نیست» (URL is not on Google) نمایش داده می‌شود. برای درخواست از گوگل جهت خزش (Crawl) و ثبت (Index) صفحه، روی دکمه «درخواست ایندکس صفحه در گوگل» (Request Indexing) کلیک کنید.

اگر صفحه قبلاً ایندکس شده باشد، تأییدیه «آدرس اینترنتی در گوگل است» (URL is on Google) را مشاهده خواهید کرد.

در صورتی که آدرس اینترنتی در گوگل ثبت شده باشد، نیازی به انجام کار خاصی نیست. با این حال، اگر محتوای صفحه را به‌روزرسانی و مجدداً منتشر کرده‌اید، درخواست دوباره‌ی ایندکس شدن یک رویه خوب محسوب می‌شود؛ زیرا ممکن است به گوگل کمک کند تا صفحه را سریع‌تر دوباره خزش و ایندکس نماید.

2. نحوه ثبت سایت از طریق ابزارهای وبمستر بینگ

وارد ابزار وبمستر بینگ شوید. در منوی سمت چپ، بخش «نقشه‌های سایت» را انتخاب کنید. آدرس اینترنتی نقشه سایت خود را وارد نمایید و سپس روی دکمه «ارسال نقشه سایت» کلیک کنید.

در صورتی که چندین نقشه سایت دارید، این مراحل را برای هر کدام تکرار کنید.

3. ثبت سایت در موتور جستجو یاهو

ایندکس (فهرست‌بندی) بینگ، یاهو را نیز پوشش می‌دهد. با ارسال سایت خود به موتور جستجوی بینگ، عملاً و به‌طور خودکار، سایت شما برای فهرست‌بندی به یاهو نیز ارسال خواهد شد. بنابراین، در این خصوص نیاز به انجام اقدام یا ارسال جداگانه‌ای نیست.

4. ثبت سایت در موتورهای جستجوی DuckDuckGo

متاسفانه DuckDuckGo امکان ثبت مستقیم وب‌سایت را فراهم نمی‌کند. آن‌ها وب‌سایت‌ها را از بیش از چهارصد منبع مختلف از جمله DuckDuckBot (خزنده وب اختصاصی آن‌ها)، ویکی‌پدیا، بینگ و سایر شرکای خود کشف و فهرست‌بندی می‌کنند.

بنابراین، تنها کاری که باید انجام دهید ثبت وب‌سایت خود در بینگ است.

5. ثبت وبسایت در موتورهای جستجوی Baidu

شما تنها در صورتی نیاز به ارسال وب‌سایت خود به Baidu دارید که وب‌سایت شما مخاطبان ساکن چین را هدف قرار دهد، زیرا Baidu بیش از ۶۶٪ سهم بازار موتورهای جستجو را در آن کشور در اختیار دارد. از آنجا که این فرآیند کاملاً پیچیده است، ما در اینجا در مورد آن بحث نخواهیم کرد. با این حال، در اینجا یک راهنمای عالی برای ارسال به Baidu در صورت نیاز ارائه شده است.

چگونه بفهمیم که آیا وب سایت ما ایندکس شده است یا خیر؟

بسیاری از راهنماهای مشابه پیشنهاد می‌کنند که برای بررسی وضعیت ایندکس شدن، عبارت site:yourwebsite.com را در گوگل جستجو کنید. با این وجود، این روش قابل اعتماد نیست و معیار دقیقی برای نشان دادن این موضوع که آیا یک سایت یا صفحه ایندکس شده است یا خیر، به شمار نمی‌آید. در واقع، تنها راه قابل اعتماد برای بررسی وضعیت ایندکس شدن، استفاده از ابزارهای ارائه شده توسط خود موتورهای جستجو است.

برای گوگل:

• به گزارش Coverage در کنسول جستجوی گوگل بروید.
• تب «Valid» را انتخاب کنید.
• سپس یکی از لیست‌های زیر جزئیات را برای مشاهده لینک‌های ایندکس شده انتخاب نمایید.

اگر می‌خواهید وضعیت یک URL خاص را بررسی کنید، باید از ابزار بازرسی URL استفاده کنید.

برای بینگ:

• از Site Explorer آن‌ها استفاده کنید و بر اساس URL ایندکس شده فیلتر نمایید.
• سپس می‌توانید تمام صفحاتی که از سایت شما ایندکس شده‌اند را بررسی کنید.
• برای بررسی صفحات جداگانه، از ابزار بازرسی URL آن‌ها استفاده کنید.

حل مشکل ایندکس نشدن صفحات در موتور جستجوی گوگل

چنانچه وب‌سایت یا صفحه وب شما ایندکس نشده است، اولین گام تعیین علت آن است. رفع مشکل بدون درک دقیق عامل ایجاد آن ممکن نیست.

برای این منظور، URL مربوطه را در ابزار بازرسی URL گوگل (Google URL Inspection Tool) وارد کرده و خطای پوشش (Coverage Error) را مورد بررسی قرار دهید.

در اینجا چند مشکل رایج مشاهده شده در کنسول جستجوی گوگل (Google Search Console) و تفسیر آنها ارائه شده است:

• حذف شده با برچسب «noindex»: گوگل از ایندکس کردن صفحه منع شده است زیرا شامل متا تگ ربات‌های noindex است. در صورتی که نیاز به ایندکس شدن صفحه وجود دارد، باید این برچسب را از صفحه حذف کنید.
• مسدود شده توسط robots.txt: گوگل قادر به کراول (خزیدن) صفحه نیست، چرا که این صفحه در فایل robots.txt مسدود شده است. اگر ایندکس شدن آن ضروری است، باید این مسدودیت را بردارید.
• صفحه با ریدایرکت (تغییر مسیر): گوگل صفحات ریدایرکت شده را ایندکس نمی‌کند. بنابراین، اگر صفحه مورد نظر نباید تغییر مسیر داده شود، باید ریدایرکت را حذف کنید.
• کپی بدون Canonical (نسخه اصلی) انتخاب شده توسط کاربر: گوگل تشخیص می‌دهد که این صفحه محتوای تکراری دارد و تصمیم گرفته است نسخه‌ای را که به عنوان Canonical تشخیص داده، ایندکس کند. این وضعیت معمولاً مشکلی ایجاد نمی‌کند، اما اگر اصرار دارید که حتماً همین صفحه ایندکس شود، باید بررسی‌های بیشتری انجام دهید.

چرا صرفاً ثبت وب‌سایت در گوگل کافی نیست

اکثر جستجوهای گوگل صدها هزار نتیجه به همراه دارند. اما طبق مطالعات انجام شده، تقریباً هیچ‌کس فراتر از صفحه اول نتایج کلیک نمی‌کند.

به همین دلیل، صرفاً ایندکس شدن وب‌سایت شما کافی نیست. اگر قصد دارید ترافیک قابل‌توجهی از موتورهای جستجو کسب کنید، لازم است برای کلمات کلیدی هدف خود در صفحه اول نتایج گوگل رتبه‌بندی شوید.

چگونه به این هدف برسیم؟ این کار پیچیده است، اما روند کلی در اینجا آمده است:

ارتقا و بهبود سایت سئو شده: 5 روش برای بهبود رتبه سایت

با این وجود، حتی قرار گرفتن در صفحه اول نیز برای کسب ترافیک بسیار زیاد کافی نخواهد بود؛ زیرا اکثر کاربران تنها روی یکی از سه نتیجه اول کلیک می‌کنند.

و از این میان، اکثریت قریب به اتفاق کاربران به طور قطع روی نتیجه اول کلیک می‌کنند.

سخن پایانی: چطور سایت خود را به موتورهای جستجو معرفی کنیم؟

گوگل و بینگ به احتمال زیاد وب‌سایت شما را حتی اگر آن را به صورت دستی ثبت نکنید، پیدا خواهند کرد. این موضوع در مورد سایر موتورهای جستجو نیز صادق است. با این حال، همچنان ارزش دارد که وب‌سایت خود را به صورت دستی ثبت کنید، اگر شده فقط برای ارائه کمی اطلاعات اضافی به آنها.

همچنین، توصیه می‌کنیم صفحاتی را که اخیراً به‌روزرسانی یا تغییر می‌دهید را دوباره در گوگل و سایر موتورهای جستجو ثبت کنید.

منبع: ahrefs