مشکل و علت دیر ایندکس شدن مطالب سایت در گوگل و رفع مشکلات آن

در این مقاله تعدادی از نکات عمومی آورده شده است که توجه به آنها موجب می‌شود گوگل وب سایت شما را راحت تر ایندکس نماید و رتبه بندی کند. نکات آورده شده در این مقاله در دو بخش نکات عمومی و دستور العمل های کیفی دسته بندی می‌شوند که هریک شامل نکات متعددی می‌باشند. توجه داشته باشید که نکات آورده شده در بخش دستورالعمل های کیفی شامل برخی ترفندهایی است که استفاده از آنها در وب سایت ها قدغن است و استفاده از آنها می‌تواند موجب شود که گوگل وب سایت شما را ایندکس گذاری نکند و یا اگر وب سایت شما از پیش ایندکس گذاری شده است ممکن است گوگل در صورت مشاهده این ترفند ها در وب سایت شما، شما را جریمه یا پنالتی کرده و به اعماق نتایج جستجوها پرتاب نماید. دقت داشته باشید که اگر شما از جانب گوگل یک پنالتی دریافت کنید، وب سایت شما تا مدت زمان نا معلومی در نتایج جستجوهای گوگل و وب سایت های وابسته به گوگل نمایش داده نخواهد شد.
نکات عمومی
به گوگل کمک کنید که بتواند صفحات شما را بیابد
دقت کنید که تمامی صفحات وب سایت شما از طریق یک لینک موجود در یک صفحه دیگر از وب سایت شما که گوگل آن را پیدا کرده است، قابل دستیابی باشند. برای این کار باید از صفحات ایندکس گذاری شده وب سایت خود به صفحات دیگر وب سایت لینک بدهید.
یک فایل Sitemap ایجاد کنید که در آن لینک هایی به صفحات مهم وب سایت شما وجود داشته باشد. یک صفحه Site Map یا Site index ایجاد کنید که برای انسان ها قابل خواندن باشد و در آن یک لیست از لینک هایی که به صفحات مهم وب سایت شما اشاره می‌کنند ایجاد کنید.
تعداد لینک ها در یک صفحه باید محدود باشد و نباید از حد مجاز بیشتر باشد.
دقت کنید که سرور وب شما باید به خوبی از سرآیند If-modified-since پشتیبانی کند. این ویژگی سرور وب شما را هدایت می‌کند تا به گوگل بگوید که آیا محتوای قبلی شما از زمان قبلی که توسط گوگل کراول شده است، مجددا بروز رسانی شده است یا خیر.
برای مدیریت کراولینگ ربات های گوگل در وب سایت خود، در سرور وب خود از فایل Robots.txt استفاده نمایید و سعی کنید فایل Robots.txt شما بروز باشد. مدیریت کراولینگ وب سایت با استفاده از فایل Robots.txt کار ساده ای است و آموحتن آن زمان چندانی از شما نمی‌گیرد. شما می‌توانید با استفاده از ابزار Robots.txt testing tool میزان شمولیت یا کامل بودن فایل Robots.txt خود را مورد بررسی قرار دهید.
از دیگر کارهایی که می‌توانید برای کمک به گوگل برای یافتن سایت خود انجام دهید موارد زیر را می‌توان نام برد :
ثبت سایت خود در گوگل (http://www.google.com/submityourcontent/)
ایجاد یک نقشه سایت  در کنسول جستجوی گوگل. گوگل نقشه سایت شما را برای کسب اطلاعات درباره ساختار وب سایت شما استفاده می‌نماید.
به گوگل کمک کنید مطالب شما را درک نماید
یک سایت مفید و مملو از اطلاعات سودمند ایجاد کنید و محتواهای وب سایت خود را به گونه ای بنویسید که کاملا واضح و روشن به موضوع مورد نظر شما (موضوع اصلی محتوای شما) اشاره کنند.
درباره کلماتی که کاربران اینترنت برای یافتن محتواهای با موضوع مورد نظر شما در اینترنت جستجو می‌کنند فکر کنید. سپس سعی کنید محتواهایی درباره آن موضوعات ایجاد نمایید که تمامی کلمات و عباراتی را که فکر می‌کنید کاربران برای یافتن آن موضوع جستجو می‌کنند، شامل شود.
دقت کنید که المان های تگ عنوان و تخصیص Alt وب سایت شما صحیح و واضح هستند و توضیح خوبی از موضوع مورد نظر شما ارائه می‌دهند.
به گونه ای وب سایت خود را طراحی نمایید که صفحات وب سایت شما سلسله مراتبی منطقی و درستی داشته باشند.
از دستور العمل های تعیین شده توسط گوگل برای تصاویر و ویدیوها و داده های ساختار یافته یا Structured data پیروی نمایید.
زمانی که شما از یک سیستم مدریت محتوا مثل ورد پرس یا wix استفاده می‌نمایید باید دقت داشته باشید که صفحات و لینک های ایجاد شده در آن برای کراولرها و موتورهای جستجوگر قادر به کراول کردن آنها می‌باشند.
برای آنکه به گوگل کمک کنید که محتوای وب سایت شما را به خوبی متوجه شود تمام آنچه که در رتبه بندی وب سایت شما می‌تواند تاثیر گذار باشد و به رندر شدن صفحات وب سایت شما کمک کند را در دسترس کراولرها قرار دهید. برای مثال فایل های CSS و جاوا اسکریپت خود را که برای درک بهتر صفحه می‌توانند به کراولر ها کمک کنند در دسترس آنها قرار دهید. سیستم ایندکس گذاری گوگل یک صفحه را همان گونه که یک کاربر آن را می‌بیند، رندر می‌کند، یعنی تمامی تصاویر، CSS ها و فایل های جاوا اسکریپت را مورد بررسی قرار می‌دهد. برای آنکه دریابید که کدامیک از اسناد صفحات وب سایت شما در دسترس کراولر های گوگل نیست و همچنین برای برطرف کردن مشکلات فایل های Robots.txt از Blocked resource report در کنسول جستجوی گوگل و ابزارهای Fetch as Google و Robots.txt tester استفاده نمایید.
به ربات های گوگل اجازه دهید بدون Session ID و پارامترهای URL که مسیر آنها را در سایت ردیابی می‌نمایند، سایت شما را پیمایش کنند. این ابزارها برای دریابی رفتار کاربران در وب سایت شما است، اما الگوی دسترسی ربات ها به محتواهای موجود در وب سایت شما به طور کلی متفاوت است و استفاده از این تکنیک ها بر روی ربات های گوگل ممکن است موجب شود که وب سایت شما به صورت کامل توسط این روبات ها ایندکس گذاری نشود.
محتواهای مهم را در صفحات وب سایت خود به صورت پیش فرض Visible کنید. پیمایش گرهای گوگل می‌توانند به راحتی محتواهای HTML مخفی شده در المان های ناوبری سایتتان از جمله زبانه ها و نوارهای گسترشی را پیمایش کند، با این حال گوگل فرض می‌کند که این محتواها از دسترس کاربران دور هستند و اعتقاد دارد که شما باید اطلاعات مهم سایتتان را به صورت پیش فرض در دسترس کاربران قرار دهید.
راه کاری مناسبی بیابید که آگهی های تبلیغاتی در وب سایت شما رتبه بندی های وب سایت شما توسط موتورهای جستجوگر را تحت تاثیر قرار ندهند. برای این کار می‌توانید از فایل Robots.txt و rel=”nofollow” استفاده نمایید. این کار موجب می‌شود که لینک های مربوط به آگهی های تبلیغاتی توسط کراولرها فالو نشوند.
به کاربران در استفاده از صفحات وب سایت خود کمک کنید
سعی کنید به جای استفاده از تصاویر برای نمایش نام ها، گروه بندی ها و یا مطلب مهم که در آنها متن وجود دارد از متن استفاده کنید و یا اگر مجبور به استفاده از تصاویر هستید برای تصاویر خود تخصیص alt مناسبی ایجاد کنید که در آن توضیح هرچند مختصر اما مناسبی درباره موضوع مورد نظر شما داده شده باشد.
لینک های داخلی و خارجی وب سایت خود را بررسی کنید و مطمئن شوید که لینک های شما به صفحاتی اشاره میکنند که آن صفحات همچنان دایر هستند و به فعالیت خود ادامه می‌دهند. شما می‌توانید برای بررسی اینکه لینک های وب سایت شما به صفحات فعال اشاره می‌کنند یا خیر از ابزار valid HTML استفاده نمایید.
زمان بارگذاری صفحات وب سایت خود را بهینه سازی نمایید و تا جایی که می‌توانید زمان بارگذاری صفحات خود را کمتر کنید، زیرا کاربران به صفحاتی که سریع تر بارگذاری می‌گردند علاقه بیشتری دارند (در برخی از نقاط دنیا همچنان سرعت اینترنت بسیار کم است و کاربران مجبورند زمان زیادی برای بارگذاری صفحات صبر کنند)، شما می‌توانید برای بررسی سرعت بارگذاری صفحات وب سایت خود از ابزارهایی مثل PageSpped Insights و Webpagetest.org استفاده نمایید.
صفحات وب سایت خود را برای تمامی ابزارهایی که کاربران با آنها در اینترنت جستجو می‌کنند بهینه نمایید. کاربران ممکن است با تلفن های همراه یا تبلت هایی که سایز ها صفحه نمایش آنها متفاوت است در اینترنت جستجو کنند، صفحات خود را به گونه ای طراحی کنید که با این دستگاه ها سازگاری داشته باشد و کاربران موبایلی مجبور نباشند که در صفحه وب سایت شما دائما Zoom in و یا Zoom Out کنند. برای بررسی آنکه آیا صفحات شما با دستگاه های مختلفی که کاربران برای مراجعه به اینترنت استفاده می‌نمایند سازگاری دارد یا خیر شما می‌توانید از ابزارهای Mobile Friendly testing tools یا ابزارهای بررسی موبایل فرندلی بودن صفحات، استفاده نمایید.
بررسی کنید که آیا وب سایت شما در مرورگرهای مختلف به خوبی بارگذاری می‌گردد یا خیر.
ازپروتکل HTTPS برای ایجاد امنیت بیشتر برای کاربران وب سایت خود استفاده نمایید. استفاده از پروتکل HTTPS موجب می‌شود که ارتباطات شما با کاربران وب سایت شما کد گذاری گردد که این امر موجب می‌شود که شما بتوانید با امنیت بیشتری با کاربران خود ارتباط برقرار نمایید.
محتوای وب سایت شما باید برای کاربران مفید باشد پس تا جایی که می‌توانید محتواهای بهتر و جامع تری برای کاربران خود ایجاد کنید و آنها را به زبان ساده تری بنویسید تا تمامی کاربران در هر گروه سنی و با هر میزان تحصیلاتی بتوانند محتوای وب سایت شما را استفاده کنند.
دستور العمل های کیفی
در این بخش که اصطلاحا آن را دستور العمل های کیفی نامیده ایم برخی نکاتی که استفاده از آنها از جانب گوگل به منزله تلاش برای فریب دادن گوگل تلقی می‌شود آورده شده است. این نکات مشهورترین نمونه ترفندهای خرابکارانه و سودجویانه است که برخی افراد برای بهبود سریع رتبه وب سایت خود در رتبه بندی های گوگل به آن روی می‌آورند، اما نمی‌دانند که گوگل الگوریتم هایی برای شناسایی وب سایت هایی که از این ترفندها استفاده می‌نمایند ایجاد نموده است و در صورت شناسایی این وب سایت ها مجازات سنگینی برای آنها در نظر گرفته است و لذا استفاده از این ترفندها نه تنها نمی‌تواند موجب بهبود رتبه بندی آنها شود بلکه برای آنها تاثیر منفی نیز خواهد داشت. دقت کنید که نمونه های ذکر شده در این بحش تنها تعداد مختصری از ترفندهای خرابکارانه را شامل می‌شود، اما تعداد زیادی از این ترفندها وجود دارد که شما باید آنها را شناسایی نموده و از استفاده از آنها در وب سایت خود شدیدا خود داری نمایید.
به خاطر داشته باشید که آن دسته از صاحبان وب سایت ها که وقت و انرژی خود را صرف کارهای مثبت در وب سایت خود می‌کنند و ترفندهایی را پیش رو می‌گیرند که گوگل آنها را کاملا مجاز اعلام نموده است و تاکید کرده است که طراحان وب سایت ها برای بهبود رتبه بندی وب سایت های خود از آنها استفاده نمایند، در نهایت به نتایج بهتری دست خواهند یافت. پس وقت و انرژی خود را برای بکار گیری ترفندهای غیر مجاز تلف نکنید زیرا این کار علاوه بر آنکه برای شما هیچ نتیجه ای جز اتلاف وقت و انرژی نخواهد داشت، بلکه ممکن است موجب شود که شما نتایج منفی جبران ناپذیری نیز بگیرید.
اگر شما وب سایت هایی را می‌شناسید که از این ترفندها برای بهبود رتبه خود در نتایج جستجوها استفاده نموده اند و به نوعی از دستورالعمل های گوگل سرپیچی کرده اند کافیست که برای مطلع ساختن ما از وجود آنها فرم Spam report ما را پر کنید و اصلاعات سایت نام برده را در آن بنویسید تا ما در اسرع وقت به آن رسیدگی نماییم. البته گوگل راه کارهای متعددی برای شناسایی اتوماتیک این وب سایت ها ارائه داده است و ترجیحا ما به دنبال انجام کارها به صورت کاملا اتوماتیک هستیم و به روش شناسایی وب سایت های خاطی بر اساس آمارها و گزارشات دستی استناد نمی‌کنیم. اما این گزارشات نیز می‌تواند برای شناسایی وب سایت های خاطی مفید باشد. البته گوگل تمامی گزارشات اعلام شده را بررسی می‌کند و برای وب سایتی که گزارشی مبنی بر استفاده آن از روش های غیر مجاز اعلام شده است بدون بررسی هیچ گونه پنالتی لحاظ نمی‌کند. اما در مواردی که مساله جدی باشد و گزارش داده شده توسط کاربران درباره یک وب سایت درست باشد ممکن است این مساله به حذف کلی وب سایت گزارش شده از نتایج جستجوها منجر شود. در ادامه برخی از نباید هایی که گوگل برای صاحبان وب سایت ها تعیین کرده است آورده شده:
هنگام ایجاد صفحات وب سایت خود در نظر داشته باشید که شما این صفحات را برای کاربران می‌سازید نه برای موتورهای جستجوگر، پس صفحات خود را در درجه اول برای کاربران طراحی کنید.
هیچ گاه از هیچ ترفندی برای فریب دادن کاربران استفاده ننمایید.
هیچ گاه کاری را صرفا برای کسب رتبه بهتر در نتایج جستجوهای موتورهای جستجوگر انجام ندهید یا به عبارت دیگر هیچ گاه راحتی و رضایت کاربران خود را فدای جلب نظر موتورهای جستجوگر نکنید و همچنین به خاطر داشته باشید که هیچ گاه سعی در فریب موتورهای جستجوگر نداشته باشید. اگر برای درک این موضوع با مشکل مواجه می‌شوید، یک راه کار کلی این است که پیش از به کار گیری هر ترفند از خود بپرسید که آیا اگر هیچ موتور جستجوگری نبود من باز هم همین کار را انجام می‌دادم؟ و یک راه کار دیگر برای آنکه متوجه شوید که موتورهای جستجوگر و کاربران را فریب نداده اید آن است که پیش از به کار گیری هر ترفند از خود بپرسید که آیا اگر یکی از کارکنان گوگل درباره ترفندهای من از من سوال کند آیا من می‌توانم به او توضیح دهم که چنین ترفندی را در وب سایت خودم استفاده کرده ام یا خیر؟!
فکر کنید که چگونه می‌توانید وب سایت خود را به گونه ای طراحی کنید و محتواهایی در آن قرار دهید که موجب شود وب سایت شما برای کاربران بسیار ارزشمند و مفید باشد و کاربران با وب سایت شما تعامل برقرار نمایند و همچنین به این فکر کنید که چگونه می‌توانید کاری کنید که وب سایت شما در میان رقبایی که تجارتی مشابه شما دارند منحصر به فرد باشد. کاری کنید که وب سایت شما در میان وب سایت های رقیب یک سرو گردن از آنها بالا تر باشد!
کارهایی که باید به شدت از آنها بپرهیزید
استفاده محتواهایی که به صورت اتوماتیک تولید می‌شوند.
ایجاد صفحاتی که در آنها محتوای کم و یا تکراری و بی ارزشی وجود دارد.
ارسال اتوماتیک کوئری ها به گوگل.
سوء استفاده از ریچ اسنیپت ها.
ایجاد صفحاتی که در آنها بد افزارهایی وجود دارد..
استفاده از لینک های تو در تو، متن ها و لینک های نامرئی، کلاکینک، ایجاد صفحات Doorway یا Gateway، محتوای تکراری یا Scraped.
اگر شما از آن دسته صاحبان وب سایت ها هستید که به هیچ وجه از ترفندهای غیر اخلاقی در سئوی وب سایت خود استفاده نمی‌کنند، و نگران آن هستید که گوگل به اشتباه شما را جریمه نماید، می‌توانید با مانیتور کردن دائمی وب سایت خود و بررسی مطالب و صفحات هک شده و حذف آنها و همچنین حذف محتواهای اسپمی تولید شده توسط کاربران در بخش کامنت ها وب سایت خود را از خطر جریمه شدن توسط گوگل در امان نگه دارید.