فایل robots.txt پیش فرض وردپرس
فایل robots.txt در وردپرس به صورت پیش‌فرض دارای دستورالعمل‌هایی برای محدود کردن ربات‌های جستجوگر از دسترسی به شاخه‌ی wp-admin وردپرس است. تنها فایلی که لازم است در این شاخه در دسترس ربات‌ها باشد، فایل admin-ajax.php است که کلیه درخواست‌های AJAX در وردپرس به وسیله این فایل پردازش می‌شوند.
فایل پیش‌فرض در وردپرس شامل دستورالعمل‌های زیر است:
|
1 2 3 |
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php |
برخی افزونه‌های وردپرس( به ویژه افزونه‌هایی که سایت مپ ایجاد می‌کنند ) ممکن است این فایل را از روی هاست شما پاک کنند و محتوای آن را به صورت پویا ایجاد نمایند.
در صورت تمایل می‌توانید از نمونه‌ی زیر که دسترسی گوگل به صفحه‌ی feed کامنت‌های نوشته‌ها و آرشیو نوشته‌های کاربران را هم مسدود می‌کند و باعث می‌شود بار پردازش سرور شما کاهش پیدا کند، استفاده نمایید:
|
1 2 3 4 5 |
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /author/ Disallow: */feed/$ |
پیشنهاد می‌شود اگر به عملکرد دستورات robots.txt آشنایی کافی ندارید، از ویرایش آن خودداری کنید. زیرا تغییرات غیراصولی در این فایل ممکن است سئو سایت شما را به طور جدی تحت تاثیر قرار دهد.