مسدود کردن دسترسی ربات‌های هوش مصنوعی به سایت
ربات‌های هوش مصنوعی مثل ChatGPT و Perpelixity با پیمایش سایت‌ها اطلاعات موجود را جمع‌آوری می‌کنند و در پاسخ به کاربران از آن‌ها استفاده می‌کنند.
به دلایل مختلف ممکن است نخواهید اطلاعات شما در این ربات‌ها در دسترس باشد. برای این کار ساده‌تری روش این است که با درج دستورالعمل‌های مربوط در فایل robots.txt از ربات‌ها بخواهید تا سایت شما را پیمایش نکنند.
کدهای فایل robots.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
User-agent: PerplexityBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: anthropic-ai Disallow: / User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: Amazonbot Disallow: / User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php |
سه خط انتهایی فایل بالا برای سیستم مدیریت محتوای وردپرس است، اگر سایت شما با وردپرس طراحی نشده است، لازم است تا این بخش را مطابق نیازهای سایت خودتان ویرایش کنید.
اگر قبلا فایل robots.txt شما حاوی دستورالعمل‌هایی است، باید کدهای قبلی را با کدهای بالا به شکلی ترکیب کنید که مشکلی در عملکردهای عادی سایت اتفاق نیفتد. چنانچه در این زمینه تجربه‌ی کافی ندارید، توصیه می‌شود از دستکاری این فایل خودداری کنید.
این روش چقدر کارایی دارد ؟
به طور کلی تضمینی وجود ندارد که ربات‌ها به محتوای این فایل احترام بگذارند ولی به طور کلی این دستورالعمل‌ها بخش عمده‌ای از دسترسی‌های ربات‌ها را مسدود می‌کند. راه قطعی و بی‌نقصی برای جلوگیری ۱۰۰ درصد ربات‌ها به سایت وجود ندارد و صرفا کاهش این دسترسی‌ها امکان‌پذیر است. به ویژه اینکه ربات‌های هوش مصنوعی متعدد هستند و تعداد آن‌ها هم روز به روز در حال افزایش است. همچنین برخی از ربات‌های هوش مصنوعی دارای افزونه‌هایی هستند که به این قوانین احترام نمی‌گذارند و در هر صورت ممکن است سایت شما یا بخشی از آن را پیمایش کنند.
ربات‌های موتورهای جستجو
جستجوگرهای گوگل و بینگ و بعضی دیگر از موتورهای جستجو نیز مثل ربات‌های هوش مصنوعی به سایت شما سر‌می‌زنند تا محتوای شما را ایندکس کنند و در نتایج جستجو نمایش دهند. تغییرات در فایل robots.txt باید با دقتی زیاد انجام شود تا ناخواسته مانع دسترسی این ربات‌ها به سایتتان نشوید. دستکاری غیر اصولی این فایل می‌تواند سئو سایت شما را به شدت تحت تاثیر قرار دهد.
دستیابی به بالاترین امنیت ممکن
اگر محتوای سایت شما چیزی است که کسی نباید به آن دسترسی پیدا کند، باید برای آن نام کاربری و رمز مشخص کنید یا با روش‌های دیگر مثل نمایش Captcha مطمئن شوید که بازدیدکننده یک انسان است.
انجام این روش‌ها هم همیشه عملی نیست و در نهایت ممکن است انتخاب یک روش متعادل که دسترسی‌ها را تا حدی محدود و تا حدی آزاد بگذارد، روشی قابل اجرا باشد.