ما هو ملف robots.txt وشرح انشاء ملف روبوت robots.txt مخصص لمدونة بلوجر

باختصار شديد ملف robots.txt هو ملف يقوم ب (السماح / منع) روبوتات وعناكب البحث للوصول لصفحات موقعك التي سيتم ارشفتها . ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث.

طريقة اعداد ملف robots.txt

يستعمل ملف robots.txt غالباً من أجل منع محركات البحث من أرشفة أشياء غير نافعة للمستخدم . والافضل دائما استخدام الملف الاساسي (لاكن الملف الاساسي يمنع الوصول لصفحات التسميات) او ان لا تفعل الامر من الاساس ف بلوجر باعتباره مستضافا على خوادم جوجل وجوجل يتكفل بكل شىء نيابه عنك فلا تعبث كثيرا بهذه الملفات.

فقط قم بتعديل الرابط المحدد ب الاحمر في الاسفل برابط موقعك

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: https://blog.seoplus-template.com/sitemap.xml