أهمية ملف robots .txt

أهمية ملف robots .txt هو ملف نصي لتكوين روبوتات الويب وإعادة روبوتات محركات البحث وكيفية الزحف الى صفحات الموقع الويب الخاص بهم
ما هو أهمية ملف robots .txt
هو عبارة عن ملف نصي عادي يتم وضع بعض الأكواد البسيطة , به لمنع الزحف لصفحات معينة لا تريد ظهورها في محركات البحث وبالتالي تقليل كمية البيانات أو الصفحات المطلوبة وتتعبها من عناكب البحث وفهرسة الموقع على محركات البحث بسرعة
عناكب البحث لها حصة معينة من صفحات الموقع الواحدة , ولا يجب أن تزيد عنها أثناء الزحف الواحدة لذا كلما قلت عدد الصفحات زادت الصفحات وتمت فهرستها بسرعة أكبر
أهمية ملف robots .txt حيث يساعد موقعك في الحصول على نتائج مفيدة ,من خلال زيادة فهرسة عن طريق منع ملفات ومجلدات لا أهمية لها من فهرسه ويحسن استخدام الخادم الخاص بك, من خلال منع الروبوتات التي تهدر الموارد حيث يمنع حدوث تحميل زائد علي الخادم لتعدد الطلبات الواردة حيث , يمنع حدوث تحميل زائد علي الخادم لتعدد الطلبات الواردة من زاحف جوجل
كيف يعمل ملف robots.txt
أهمية ملف robots .txt لدي محركات البحث وظيفتان رئيسيتان
- الزحف على الويب لاكتشاف المحتوى فهرسه هذا المحتوى بحيث يمكن تقديمه إلى الباحثين الذين يبحثون عن معلومات
- تتبع ارتباطات المواقع بتتبع محركات البحث الروابط للانتقال من موقع الى آخر
- الزحف عبر العديد من مليارات الروابط ومواقع الويب يعرف سلوك الزحف هذا أحيانا باسم spidering يعد الوصول إلى أحد مواقع الويب ولكن قبل أن تتم كتابته
- سيبحث زاحف البحث عن ملف robots.txt إذا عثر على واحد ,فسيقراء الزاحف هذا الملف اولا قبل المتابعة من خلال الصفحه نظرا لان ملف robots.txt يحتوي على معلومات حول الكيفية التي يجب أن يزحف بها محرك البحث في SEO
- فان المعلومات الموجودة هناك ستواجه المزيد من إجراءات الزحف ,على هذا الموقع بالتحديد و أهمية ملف robots .txt
- إذا كان الملف robots.txt لا يحتوي على أي توجيهات لاتسمح ,لنشاط وكيل المستخدم او اذا الموقع لا يحتوي على ملف robots.txt فسيستمر في الزحف إلى المعلومات اخرى على الموقع
- قد بعض وكلاء المستخدم الروبوتات تجاهل ملف robots.txt الخاص بك وهذا أمر شائع خاصة مع برامج الزحف السيئة مثل الروبوتات الخبيثة .
- إذا كان هذا الموقع يحتوي على ملف robots.txt وهذا يعني أنه يمكن لأي شخص الاطلاع على الصفحات التي تفعلها أو لا تريد الزحف إليها لذلك لا تستخدمها لإخفاء معلومات المستخدم الخاصة .
أهمية ملف robots .txt وماهي بنيته
يمكن اعتبار بنية robots .txt بمثابه لغة الملفات robots.txt وهناك مصطلحات شائعة من المرجح أن تصادفك في ملف robots ويشملها و أهمية ملف robots .txt
User-agent
زاحف الويب المحدد الذي تقدم اليه ارشادات الزحف يمكن العثور على قائمة بأكثر وكلاء المستخدمين
Disallow
معين ويسمح بخط واحد فقط url تم استخدام الأمر لاجبار وكيل المستخدم بعدم الزحف الى عنوان
Allow
هو يسري فقط على google bot وهو يسمح له بالوصول الي الي صفحه واحده او مجلد فرعي
Craw- delay
وهو عدد الثواني التي ينبغي أن ينتظرها الزاحف قبل تحميل المحتوى الصفحه والزحف إليها
Sitemap
تستخدم لاستدعاء موقع اي خريطه ملفات xml مرتبطة بعنوان url هذا ملاحظة هذا الأمر معتمد فقط من قبل google , ask , bing , yahoo .
كيفية انشاء ملف robots.txt
إذا وجدت أنك لم يكن لديك ملف robots.txt أو تريد تغيير ملفك فان انشاء ,واحد هو عملية بسيطة تقدم هذه المقالة من google عملية إنشاء ملف robots.txt وتتيح لك هذه الأداة ,اختيار ما إذا كان قد تم اعداد اعداد ملفك بشكل صحيح ام لا وتبحث عن بعض الممارسات وانشاء ملفات الروبوتات
ما أهمية ملف robots .txt
1- حظر الصفحات الخاصة في الكثير من الأحيان تحتوي مواقع الويب على بعض الصفحات التي يرى مالك الموقع أنه من غير الضروري فهرستها
2- زيادة معدلات الزحف إلى الحد الأقصى احيانا قد تواجه ملاك المواقع ومشرفيها صعوبات في فهرسة جميع صفحات موقعهم بسبب مواجهة مشاكل في معدلات الزحف الى صفحات الموقع .
لان عناكب البحث تزحف الى صفحات غير مهمة وغير ضروري فهرستها ولكن يمكن لبرنامج جوجل بوت أنفاق معدلات الزحف الي الموقع والي الصفحات المهمه فقط
3- منع فهرسة الملفات والموارد من خلال هذا الملف ايضا يمكن أخبار عناكب البحث بعدم الزحف الى الملفات والموارد الموجودة على الموقع كالصور والفيديوهات الضوئية وملفات المستندات
أهمية ملف robots .txt في أرشفة المواقع الالكترونيه
أهمية ملف robots .txt مهم جدا بالنسبة للمواقع الإلكترونية فمن خلاله يتم إعطاء صلاحيات الوصول للمجلدات والملفات الخاصة التي لا ترغب في أرشفتها على محركات البحث على سبيل المثال بعض المواقع الالكترونية ويكون بها لوحة التحكم الخاصة بإدارة النظام فإذا تم أرشفة الصفحات الخاصة بنظام الإدارة قد تسهل الوصول المحترفين لموقع الإدارة والتخمين على كلمات المرور والوصول للحسابات .
طريقة تحديد الصلاحيات التي يمكن لمحركات البحث الوصول إليها
في ملف robots .txt يمكنك ان تحدد روابط الصفحات أو الملفات التي تريد السماح بالوصول إليها وروابط الصفحات أو الملفات التي لا تسمح بالوصول لها ومن أهمية ملف robots .txt
الأوامر التي تستخدم لتحديد الصلاحيات
الأمر allow السماح بالوصول الصفحات أو الملفات
الأمر disallow لعدم السماح بالوصول إلى الصفحات أو الملفات