فهرست مطالب با موضوع «robots.txt»

robots.txt

آشنایی با فایل robots.txt و کاربردهای آن برای سئو

موتورهای جستجوگر از جمله گوگل و برخی ربات‌های دیگر که سایت‌های اینترنتی را پیمایش می‌کنند، ممکن است برای حفظ اطلاعات شخصی صاحبان سایت‌ها و حفظ حریم خصوصی آنان، پیش از پیمایش اجازه‌های لازم را از دارندگان سایت‌ها دریافت کنند. شیوه‌ی کسب اجازه از صاحبان سایت‌ها طبق قراردادهای رسمی و غیر رسمی از طریق قرار دادن […]

بیشتر بخوانید...