إنشاء ملف robots txt بالتفصيل للمبتدئين

من منا لايهتم بأن يكون الموقع الخاص به ظاهراً بدون أي صفحات لافائدة منها. لذا في هذا المقال فإننا سنقوم بالتعرف على كيفية إنشاء ملف robots txt بالتفصيل للمبتدئين، فتابع معي.

إنشاء ملف robots txt بالتفصيل للمبتدئين

قبل أن نتعرف على  أهمية ملف robots .txt علينا أولاً أن نرعف ماهو ملف robots .txt أصلاً.

بكل بساطة فإن ملف robots .txt هو ملف نصي عادي يتم فيه وضع بعض الأكواد البسيطة من أجل أن يتم منع الدخول لبعض المواقع.

هذا يؤدي بالتالي إلى  تقليل حجم البينات المستخدمة ويؤدي إلى سرعة فهرسة الموقع، بسبب حمل البيانات هذا الذي أزلته من على عاتق عناكب بحث جوجل.

الشئ الذي قد لاتعرفه هو أن عناكب بحث جوجل لها حد أدنى من المواقع التي لاتزيد عنها في الزحفة الواحدة.

فإذن كلما قلت عدد الصفحات زادت سرعة الفهرسة، فالأمر عبارة عن نسبة عكسية لا أكثر.

على كل حال سأذكر لكم أهمية ملف robots .txt وبعضاً من فوائده.

يساعد هذا الملف ( ملف robots .txt ) على أشياء منها :

• أنه يساعد موقعك على زيادة نسبة النتائج المفيدة التي تظهر إليك.

مع زيادة سرعة الفهرسة فإن عناكب البحث تتجاهل بعض المواقع التي لافائدة منها تلقائياً، فيتم منع ملفات ومجلدات ليست مفيدة لك من الفهرسة.

الصفحات الغير مفيدة هذه ليست بالطبع صفحات بها محتوى ومتصدرة لمواقع البحث، بل هي مثل صفحات نواة الووردبريس، وصفحات المسؤول ومجلدات الإضافة والقوالب وماشابهها.

• عدم إظهار الصفحات الغير مرغوب فيها.

ليس الأمر وكأن ملف robots .txt يقوم فقط بزيادة نسبة المحتوى المرغوب فيه الذي ترغب في ظهوره إليك.

إذاً فإن ملف robots .txt يقوم بفهرسة الملفات الغير مرغوب فيها والبوتات التي تهدر الموارد.

يؤدي هذا لزيادة سرعة الفهرس عن طريق أنه يمنع التحميل الزائد على الخادم من طلبات الزحف العديدة من جوجل.

كيف تنشئ ملف robots txt ؟

لإنشاء ملف robots .txt يمكنك اختيار أكثر من طريق منها مثلاً أن تقوم بصنعه يدوياً، أو تقوم فقط باستخدام بعض الأدوات التي قد تساعد مثل أداة Yoast SEO أو All In One SEO.

لكن عليك أن تحذر فإن كنت لاتجيد كتابة الأكواد البرمجية الرقمية، فيجدر بك بأن تقوم بتوظيف مبرمج جيد وماهر.

يمكنك أن تجده أمثال هذا المبرمج من على مواقع العمل الحر، أو جتى تقوم بإرسال مشروعك لإحدى شركات البرمحة من أجل تنفيذه لك.

طريقة إنشاء robots .txt

حتى لا أكون أقوم بتضييع وقتك فسأقوم بشرح طريقة إنشاء الملف باستخدام notepad ولن أذكر طريقة الإنشاء العادية حتى لايكون هذا مضيعة للوقت.

إن كنت لاتزال تقوم بتصميم موقع جديد على الانترنت فمن الأشياء الهامة هي أن لاتقوم بأرشفة أي صفحة على هذا الموقع.

أو بطريقة أخرى فأنت تريد أن لاتصل الروبوتات إلى موقعك. وهذا فعلياً لايريده أي صاحب موقع، بسبب ضرره الفج على هذه المواقع.

طريقة إنشاء الملف عبر notepad بسيط جداً،وليس بسيك جداً فحسب بل هو حتى أبسط من ذلك.

كل ما عليك أن تقوم بكتابة الأمر  في ملف notepad وتقوم بتسميته باسم robots وتجعله بامتداد الـ TXT.

عند عمله عليك أن تراعي كون الملف بنظام ترميز  UTF-8 وليس بأي نظام آخر.

وفقط باتبا هاتين الخطوتين تكون قد قمت بإنشاء ملف robots .txt ،وتهانينا لك!

تستيطع إنشاء هذا الملف( robots .txt ) بمساعدة عدة أدوات أخرى مثل أداة “مولد ملف robots .txt”.

ويمكنك إنشاؤه عن طريق الإضافات مثل، Yoast SEO أو All In One SEO.

لماذا عليك الإهتمام بملف Robots.txt؟

في هذه الفقرة سنتعرف معاً على ما هي أهمية ملف robots .txt ؟ فتابع معي.

وفقاً لجوجل فإن الغرض من ملف robots .txt هو أنه يستخدم بصورة أساسية من أجل إدارة عدد زيارات زاحف جوجل الإلكتروني إلى موقعك.

وغالباً يستخدم لإخفاء ملف على جوجل أيضاً.

تنصح جوجل بأن لاتقوم باستخدام ملف robots .txt كوسيلة تقوم من خلالها بإخفاء صفحاتك على الموقع.

إنشاء ملف robots txt بالتفصيل للمبتدئين وكيفية اختباره ؟

بعد أن وصلنا إلى هنا فإننا قد عرفنا أن ملف robots.txt يعبتر جزءًا مهمًا من بنية موقع الويب.

يساعد ملف robots.txt برامج الزحف لمحركات البحث على فهم بنية موقع الويب خاصك، والصفحات التي يجب فهرستها.

من مميزات هذا الملف أيضاً أنه يسمح أيضًا لمشرفي المواقع بالتحكم في كيفية وصول محركات البحث إلى محتواها.

حسناً أياً يكن، فإننا أتينا في هذه الفقرة للتأكد من تكوين ملف robots.txt الخاص بك بشكل صحيح.

والذي من المهم اختباره بانتظام.

يعد اختبار ملف robots.txt خطوة مهمة في ضمان أمان موقع الويب الخاص بك والتأكد من عدم حظر برامج زحف محرك البحث من فهرسة المحتوى الخاص بك.

يحتوي ملف robots.txt على إرشادات لبرامج زحف محركات البحث حول الصفحات التي يجب أو لا يجب الزحف إليها على موقع الويب الخاص بك.

من الضروري التأكد من صحة التعليمات التي تقدمها في هذا الملف .

حيث يمكن أن تؤدي الإرشادات غير الصحيحة إلى حظر الصفحات من الفهرسة بواسطة محركات البحث.

فاحرص على الاهتمام بهذا.

الخاتمة

إذاً في الأخير نستطيع القول أننا تعلمنا في هذا المقال ما هو ملف robots.txt  وماهي أهمية ملف robots .txt؟ وكيف تستطيع إنشاء واحداً.

فأتمني أن تكون أفادتك إجابتنا على هذين السؤالين.

وعلى كل حال إن كنت من المهتمين بالـ SEO وبعلم التسويق الرقمي بشكل عام، فإن مراجعة موقعنا سيكون مفيداً لك من أجل تعلم المزيد عن هذا المجال.