طريقة الاستخدام
- 1أدخل رابط الموقع لجلب ملف robots.txt.
- 2عدّل محتوى الملف في المحرر إذا أردت تجربة تغييرات.
- 3اختر الزاحف (Googlebot أو Bingbot أو * أو GPTBot) وأدخل المسار.
- 4شاهد النتيجة مسموح أو محظور مع تمييز القاعدة المطابقة.
كيف يقرأ Google ملف robots.txt؟
يختار Google مجموعة القواعد الأكثر تحديدًا للزاحف، ثم يطبق القاعدة ذات المسار الأطول المطابق. وعند التساوي في الطول تفوز قاعدة Allow. كما يدعم الرمز * لأي سلسلة أحرف والرمز $ لنهاية الرابط. الأداة تطبق هذه القواعد نفسها.
أخطاء شائعة في robots.txt
سطر Disallow: / المنسي بعد إطلاق الموقع يحظر الموقع كاملًا. وحظر ملفات CSS وJavaScript يمنع Google من عرض الصفحة بشكل صحيح. وتذكر أن robots.txt يمنع الزحف وليس الأرشفة؛ لإخفاء صفحة من النتائج استخدم وسم noindex.
روابط Sitemap
تعرض الأداة كل أسطر Sitemap الموجودة في الملف. إضافة رابط خريطة الموقع إلى robots.txt تساعد محركات البحث على اكتشاف صفحاتك بسرعة أكبر.
الأسئلة الشائعة
أين يوجد ملف robots.txt؟
دائمًا في جذر الدومين، مثل example.com/robots.txt. أي ملف في مكان آخر لا تقرؤه محركات البحث.
هل يمكن حظر روبوتات الذكاء الاصطناعي؟
نعم، يمكنك إضافة قواعد لزواحف مثل GPTBot وClaudeBot وCCBot. استخدم أداة إنشاء robots.txt لدينا لتوليد القواعد جاهزة.
هل تغيير الملف في المحرر يغيّر موقعي؟
لا، التعديل للتجربة فقط داخل المتصفح. لتطبيقه يجب رفع الملف المعدّل إلى موقعك.
النتائج غير مرضية؟
تواصل مع Webin Agency لمواقع سريعة متوافقة مع السيو، ومتاجر إلكترونية، وإدارة إعلانات Google.