ملف robots.txt افتراضي لمدونة بلوجر ومدونة وردبريس وكيف توجه العناكب للصفحات

ممكن ملف robots.txt الافتراضي لمدونة بلوجر ومدونة وردبريس

وكيف اوجه العناكب من خلال ملف robots.txt

إنه ملف robots.txt (يُسمى أيضًا بروتوكول أو معيار استبعاد برامج الروبوت).

يعد هذا الملف النصي الصغير جدًا جزءًا من كل موقع ويب على الإنترنت ، لكن معظم الناس لا يعرفون عنه حتى.

إنه مصمم للعمل مع محركات البحث ، ولكن من المدهش أنه مصدر لعصير تحسين محركات البحث في انتظار فتحه.

لقد رأيت العميل بعد أن ينحني العميل للخلف يحاول تحسين مُحسنات محركات البحث الخاصة به. عندما أخبرهم أنه يمكنهم تحرير ملف نصي صغير ، فإنهم لا يصدقونني تقريبًا.

ومع ذلك ، هناك العديد من الطرق لتحسين مُحسّنات محرّكات البحث ليست صعبة أو تستغرق وقتًا طويلاً ، وهذه واحدة منها.

لست بحاجة إلى أي خبرة فنية للاستفادة من قوة ملف robots.txt. إذا كان بإمكانك العثور على الكود المصدري لموقعك على الويب ، فيمكنك استخدام هذا.

User-agent: Googlebot

Disallow: /nogooglebot/

User-agent: *

Allow: /

Sitemap: ://.example.**/sitemap.xml

هذا الملف يوجه العناكب لخريطه الموقع ولكن بنفس الوقت يمنع اي عناكب غير عناكب قوقل من الدخول للموقع

بخصوص بلوقر يفضل استخدام

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /b

Allow: /

Sitemap: https://.techprevue.blogspot./sitemap.xml