أهمية ملف robots .txt

أهمية  ملف robots .txt هو ملف نصي لتكوين روبوتات الويب وإعادة روبوتات محركات البحث وكيفية الزحف الى صفحات الموقع الويب الخاص بهم 

ما هو أهمية ملف robots .txt

هو عبارة عن ملف نصي عادي يتم وضع بعض الأكواد البسيطة , به لمنع الزحف لصفحات معينة لا تريد ظهورها في محركات البحث وبالتالي تقليل كمية البيانات أو الصفحات المطلوبة وتتعبها من عناكب البحث وفهرسة الموقع على محركات البحث بسرعة 

عناكب البحث لها حصة معينة من صفحات الموقع الواحدة , ولا يجب أن تزيد عنها أثناء الزحف الواحدة لذا كلما قلت عدد الصفحات زادت الصفحات وتمت فهرستها بسرعة أكبر 

أهمية ملف robots .txt حيث يساعد موقعك في الحصول على نتائج مفيدة ,من خلال زيادة فهرسة عن طريق منع ملفات ومجلدات لا أهمية لها من فهرسه ويحسن استخدام الخادم الخاص بك, من خلال منع الروبوتات التي تهدر الموارد حيث يمنع حدوث تحميل زائد علي الخادم لتعدد الطلبات الواردة حيث , يمنع حدوث تحميل زائد علي الخادم لتعدد الطلبات الواردة من زاحف جوجل 

كيف يعمل  ملف robots.txt

أهمية ملف robots .txt لدي محركات البحث وظيفتان رئيسيتان 

1. الزحف على الويب لاكتشاف المحتوى فهرسه  هذا المحتوى بحيث يمكن تقديمه إلى الباحثين الذين يبحثون عن معلومات 
2. تتبع ارتباطات المواقع بتتبع محركات البحث الروابط للانتقال من موقع الى آخر 
3. الزحف عبر العديد من مليارات الروابط ومواقع الويب  يعرف سلوك الزحف هذا أحيانا باسم spidering يعد الوصول إلى أحد مواقع الويب ولكن قبل أن تتم كتابته 
4. سيبحث زاحف البحث عن ملف robots.txt إذا عثر على واحد ,فسيقراء الزاحف هذا الملف اولا قبل المتابعة من خلال الصفحه  نظرا لان ملف robots.txt يحتوي على معلومات حول الكيفية التي يجب أن يزحف بها محرك البحث في SEO
5. فان المعلومات الموجودة هناك ستواجه المزيد من إجراءات الزحف ,على هذا الموقع بالتحديد و أهمية ملف robots .txt
6. إذا كان الملف robots.txt لا يحتوي على أي توجيهات لاتسمح ,لنشاط وكيل المستخدم او اذا الموقع لا يحتوي على ملف robots.txt فسيستمر في الزحف إلى المعلومات اخرى على الموقع  
7. قد بعض وكلاء المستخدم الروبوتات تجاهل ملف robots.txt الخاص بك وهذا أمر شائع خاصة مع برامج الزحف السيئة مثل الروبوتات الخبيثة .
8.  إذا كان هذا الموقع يحتوي على ملف robots.txt وهذا يعني أنه يمكن لأي شخص الاطلاع على الصفحات التي تفعلها  أو لا تريد الزحف إليها لذلك لا تستخدمها لإخفاء معلومات المستخدم الخاصة .

أهمية ملف robots .txt وماهي بنيته

يمكن اعتبار بنية robots .txt بمثابه لغة الملفات robots.txt وهناك مصطلحات شائعة من المرجح أن تصادفك في ملف robots  ويشملها و أهمية ملف robots .txt

User-agent 

زاحف الويب المحدد الذي تقدم اليه ارشادات الزحف يمكن العثور على قائمة بأكثر وكلاء المستخدمين

Disallow 

 معين ويسمح بخط واحد فقط  url  تم استخدام الأمر لاجبار وكيل المستخدم بعدم الزحف الى عنوان  

Allow

هو يسري فقط على google bot وهو يسمح له بالوصول الي  الي صفحه واحده او مجلد فرعي 

Craw- delay 

وهو عدد الثواني التي ينبغي أن ينتظرها الزاحف قبل تحميل المحتوى الصفحه والزحف إليها 

Sitemap

تستخدم لاستدعاء موقع اي خريطه ملفات xml مرتبطة بعنوان url هذا ملاحظة هذا الأمر معتمد فقط من قبل google , ask , bing , yahoo . 

كيفية انشاء ملف robots.txt 

إذا وجدت أنك لم يكن لديك ملف robots.txt أو تريد تغيير ملفك فان انشاء ,واحد هو عملية بسيطة تقدم هذه المقالة من google عملية إنشاء ملف robots.txt وتتيح لك هذه الأداة  ,اختيار ما إذا كان قد تم اعداد اعداد ملفك بشكل صحيح ام لا  وتبحث عن بعض الممارسات وانشاء ملفات الروبوتات 

 ما أهمية ملف robots .txt

1- حظر الصفحات الخاصة في الكثير من الأحيان تحتوي مواقع الويب على بعض الصفحات التي يرى مالك الموقع أنه من غير الضروري فهرستها 

2- زيادة معدلات الزحف إلى الحد الأقصى احيانا قد تواجه ملاك المواقع ومشرفيها صعوبات في فهرسة جميع صفحات موقعهم بسبب مواجهة مشاكل في معدلات الزحف الى صفحات الموقع .

لان عناكب البحث تزحف الى صفحات غير مهمة وغير ضروري فهرستها ولكن يمكن لبرنامج جوجل بوت أنفاق معدلات الزحف الي الموقع والي الصفحات المهمه فقط 

3- منع فهرسة الملفات والموارد من خلال هذا الملف ايضا يمكن أخبار عناكب البحث بعدم الزحف الى الملفات والموارد الموجودة على الموقع  كالصور والفيديوهات الضوئية وملفات المستندات 

أهمية ملف robots .txt في أرشفة المواقع الالكترونيه 

أهمية ملف robots .txt مهم جدا بالنسبة للمواقع الإلكترونية فمن خلاله يتم إعطاء صلاحيات الوصول للمجلدات والملفات الخاصة التي لا ترغب في أرشفتها على محركات البحث على سبيل المثال بعض المواقع الالكترونية ويكون بها لوحة التحكم الخاصة بإدارة النظام فإذا تم أرشفة الصفحات الخاصة بنظام الإدارة قد تسهل الوصول المحترفين لموقع الإدارة والتخمين على كلمات المرور والوصول للحسابات .

طريقة تحديد الصلاحيات التي يمكن لمحركات البحث الوصول إليها 

في ملف robots .txt  يمكنك ان تحدد روابط الصفحات أو الملفات التي تريد السماح بالوصول إليها وروابط الصفحات أو الملفات التي لا تسمح بالوصول لها  ومن أهمية ملف robots .txt

الأوامر التي تستخدم لتحديد الصلاحيات 

الأمر allow السماح بالوصول الصفحات أو الملفات 

الأمر disallow لعدم السماح بالوصول إلى الصفحات أو الملفات