hit tracker شرح كيفية انشاء ملف robots.txt مخصص للمبتدئين بالتفصيل



شرح كيفية انشاء ملف robots.txt مخصص للمبتدئين بالتفصيل

ماهو ملف robots.txt ؟


ملف ريبوت يقوم على إعطاء التعليمات او الاوامر اللازمة لإخبار محركات البحث بأرشفة او بعدم أرشفة بعض الصفحات او الاقسام خاصة يسمى باللغة الانجليزية بـRobots Exclusion Protocol، تتجلى أهمية هذا الملف في أبعاد العناكب الخاصة بمحركات البحث من أرشفة بعض الصفحات في موقعك او مدونتك، حيث يمكنك أيضا إخبار الملف بأرشفة خريطة الموقع ليقوم بأرشفة المقالات الحصرية في محركات البحث بكل سهولة

ملف robots.txt مخصص بشكل عام يمكنك لأي شخص مشاهدته ولأي موقع من خلال إضافة robots.txt في اخر الموقع ليظهر لك المحتوى على سبيل المثال https://www.hanafionline.com/robots.txt.


كيف أقوم بأنشاء ملف robots.txt ؟

الطريقة سهلة جدا فقط قم بتتبع المراحل التي سوق أذكرها بالصور.


في الاول قم بكتابة العبارة التالي :
User-agent: Mediapartners-Google Disallow:
User-agent: *
Disallow: /search Allow: /
بالنسبة لإشارة النجمة فهي تدل على منع العناكب من أرشفة الصفحات المذكورة التي تلي هذا الامر، لاحظ أني قمت بعمل حجب أرشفة البحث في موقعي search.

بالنسبة لك جميع الصفحات والاقسام التي تريد منع العناكب من الدخول إليها ما عليك سوى كتابة عبارة Disallow قبل الصفحات، حيث تختلف العبارات عن كل موقع او منتدى او مدونة.

نمر الان إلى مرحلة مهمة من شئنها أن تساعد موقعك على الظهور بشكل أكبر في محركات البحث الخاصة بالموبايل و الصور ;والفيديوهات، يمكنك الان إعطاء الاوامر لهذه العناكب عن طريق الكتابة التالية :

User-agent: Googlebot-Mobile Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Video Allow: /

في اخر الملف قم بوضع رابط خريطة موقعط على الشكل التالي :
 Sitemap: https://www.domain.com/atom.xml?redirect=false&start-index=1&max-results=500
مع تغيير إسم الموقع بموقعك

توضيح :
إذا لم تفهم جيدا التحكم في حجب بعض الروابط فهذا مثال بسيط يبين الفكرة التي اردت أن أوصلها لك على سيب المثال لدينا الرابط التالي : www.example.com/video هذه الصفحة خاصة بالفيديوهات في موقعك ولذلك تستطيع ايضا التحكم في المحتوى الداخلي لهذا القسم مثل :
www.example.com/video/animal
www.example.com/video/sports
www.example.com/video/action

بطبيعة الحال أن لن تقوم بكتابة جميع هذه الروابط ما عليك سوى وضع الرابط بعد video فقط، وبالتالي اي رابط اخر يلي هذه الكلمة لن يتم ارشفته.

Disallow: /site

طريقة رفع ملف روبوت على موقعي؟

.تم إحفظه robots.txt قم بالدهاب إلى سي بانل الخاص بموقعك ورفع الملف على المجلد الرئيسي وأن يكون الملف بإسم

  robots.txt تم توجه إلى اداة فحص ملف  ،Google Webmasters Tools في الاخير عليك الدهاب إلى أدوات مشرفي المواقع .Submit بالضغط على 




في الاخير أتمنى أن أكون قد أفذتك بهذه المراحل وكيفية إنشاء ملف روبوت بسهولة، إليك كود ملف  بالكامل لموقعي لمكنك التعديل عليه.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
User-agent: googlebot
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Video
Allow: /
Sitemap: https://www.hanafionline.com/atom.xml?redirect=false&start-index=1&max-results=500


إضغط لإضافة تعليق