سلام وقتتون بخیر
داخل کراول استت سرچ کنسول سایتمون برخی از صفحات به اشتباه دارن کراول میشن مثل صفحاتی که پلاگین‌ها یا فایل های css ایجاد کردن و نمیرسه به صفحات جدید که کراولشون کنه. اینا رو باید چجوری جلوشونو بگیریم که بودجه خزش ما هدر نره؟
یک سری صفحاتی هستن مثلا style.min.css که کراول میشن و بقیه صفحاتی که تازه ایجاد کردیم مثل محصولات و وبلاگ‌ها اصلا کراول نمیشن. حالا من باید بیام دسترسی به این صفحاتی مثلstyle.min.css رو از طریق robots.txt Disallow کنم؟
مخصوص اعضای ویژه 
