مولد Robots.txt

حول أداة منشئ ملف Robots.txt:

عندما تريد منع بعض الصفحات على موقع الويب الخاص بك من الزحف إليها وفهرستها بواسطة محركات البحث مثل قوقل، أو تريد عدم السماح للصور بالظهور في مساحة الزحف الخاصة بموقعك، أو تريد فقط الحفاظ على ميزانية الزحف إلى موقع الويب الخاص بك، فإن أفضل طريقة لكل هذا هو استخدام وظيفة ملف Robots.txt.

يمنحك استخدام ملف Robots.txt التحكم في محتوى موقع الويب الخاص بك ، كما يوفر لك وظائف للسماح أو منع الصفحات أو المنشورات أو الصور أو Googlebots أو Yahoo أو Bing أو MSN من فهرسة Google أو الفهرسة عليها. هذا يعني أنه يمكنك إما عدم السماح بفهرسة بعض الصفحات، أو يمكنك عدم السماح لموقع الويب بأكمله، مع السماح ببعض الصفحات.

لذلك، إذا كان لديك تسجيل دخول على موقعك أو صفحة تسجيل جديد، أو حتى صفحات لوحة تحكم المسؤول، ولا تريد فهرستها وظهورها في محركات البحث ، ففكر في إضافة ملف Robots.txt إلى موقع الويب الخاص بك، وإضافة الأدوار المناسبة لها.

ما هو منشئ Robots.txt؟

منشئ Robots.txt بواسطة سيو ستوديو هو أداة مجانية عبر الإنترنت تساعدك في إنشاء ملف Robots.txt مناسب لموقعك على الويب. سيقوم تلقائيًا بإنشاء النص لك ويسمح لك بتنزيل الملف حتى تقوم بتحميله على الخادم. سيسمح لك أيضًا بتخصيصه ببعض الخيارات الإضافية ، مثل نوع الروبوتات التي يجب السماح بها على موقعك والأدلة أو الملفات التي يجب استبعادها من الزحف إليها بواسطة روبوتات محرك البحث أو عدم فهرستها.

تعد مولدات Robots.txt طريقة سهلة لإنشاء وإضافة ملف Robots.txt إلى موقع الويب الخاص بك دون الحاجة إلى كتابتها يدويًا بنفسك. الفكرة الأساسية وراء هذه الأداة هي أنها تتيح لك إنشاء ملف Robots.txt ونشره في بضع ثوانٍ فقط دون الحاجة إلى ترميز من جانبك، وهو أمر مهم لأولئك الذين ليس لديهم المعرفة التقنية بكيفية عمل هذه الملفات العمل أو كيفية تنسيقها وما يجب تضمينه فيها.

كل ما عليك فعله لإنشاء ملف Robots.txt الخاص بك هو اتباع الخطوات أدناه ثم تحميل الملف إلى الملف الأساسي في موقع الويب أو التطبيق الخاص بك.

كيفية استخدام مولد ملف Robots.txt الخاص بموقع سيو ستوديو؟

سعد مولد Robots.txt المقدم من موقع سيو ستوديو سهل الاستخدام ومجاني، ويمكن الوصول إليه بالانتقال إلى موقع الويب ثم النقر فوق أداة مولد Robots.txt، ثم اتبع الخطوات التالية:

1. الخيار الأول هو الإعداد الافتراضي لجميع صفحات الموقع. إذا كنت تريد عدم السماح بجميع عناوين URL لمواقع الويب وترك بعض الصفحات مسموحًا بها، فقم بتعيين الإعداد الافتراضي على عدم السماح. وإلا فاتركه افتراضيًا "(سماح).
2. الخطوة التالية هي تحديد مدة تأخير الزحف. يتم استخدام هذا الخيار عندما تحتاج إلى إخبار برامج الزحف بالإبطاء قليلاً حتى لا تفرط في تحميل موارد السيرفر الخاص بالموقع. في معظم خوادم وسيرفرات الويب بشكل عام، لا يعد هذا الخيار ضروريًا، ولكن إذا قمت بتشغيل موقع الويب الخاص بك على خادم ويب موارد منخفضة الميزانية حقًا، ففكر في استخدام هذا الخيار.
3. في الخيار الثالث، يمكنك إضافة خريطة موقع موقع الويب الخاص بك إذا كانت لديك واحدة. عند إضافة خريطة موقع الويب، فإنها توفر فرصًا أفضل لبرامج زحف الويب لفهم ما يجب فهرسته وما لا يجب فهرسته.
4. الآن قد ترغب في منع بعض محركات البحث من فهرسة موقع الويب الخاص بك لأي سبب من الأسباب. سيتم ذلك على الخيار الرابع، حيث يمنحك خيار السماح أو عدم السماح لجميع أنواع محركات البحث مثل Google و Baidu و Yahoo وغيرهم الكثير.
5. يتيح لك الخيار الخامس عدم السماح لملف أو مسار كامل أو دليل فرعي وعناوين URL الخاصة به بالفهرسة بواسطة محركات البحث، ويمكنك إضافة أي عدد تريده من المجلدات الفرعية. على سبيل المثال، (https://seostudio.tools/services/) هي المجلد الفرعي. يمكنك إضافة /services/ لمنع فهرسة هذا المجلد أو المسار والصفحات التي يحتويها.
6. بمجرد الانتهاء من جميع الخيارات المذكورة أعلاه، انقر فوق إنشاء. عند القيام بذلك ستقوم الأداة على الفور بإنشاء ملف Robots.txt ومن ثم يمكنك نسخ الكود ولصقه في ملف Robots.txt الموجود مسبقا في موقعك، أو تنزيل الملف وتحميله إلى ملف الموقع الرئيسي.

لماذا أداة مولد Robots.txt الخاص بنا هو الأفضل؟

• أحد أفضل الأشياء في منشئ ومولد Robots.txt  الخاص بنا هو أنه يمنحك خيار تعديل ملف Robots.txt كما تريد.
• يعد استخدام مُنشئ Robots.txt الخاص بنا أمرًا سهلاً وبسيطا للغاية.
• أداتنا تنشئ كود Robots.txt دقيق للغاية. لذا، إذا كنت مبتدئًا تمامًا في هذا المجال، فلا يزال بإمكانك استخدام هذه الأداة دون الخوف من أن تكون بها أخطاء ليست في الحسبان.
• هذه الأداة تعمل بسرعة، يمكنك إنشاء ملف Robots.txt في أي وقت من الأوقات وبسرعة.
• بعد إنشاء رمز Robots.txt، يمكنك إما نسخ الرمز أو تنزيله كملف Robots.txt ثم تحميله على الموقع لاحقا.
• أداة منشئ Robots.txt خاصتنا مجانية ويمكنك استخدامها عدد مرات غير محدود.

ما هو ملف Robots.txt؟

ملف Robots.txt هو ملف نصي يحتوي على مجموعة من الإرشادات الخاصة بزواحف الويب، ويساعدك على التحكم في سلوك برامج زحف الويب. يمكنك استخدامه لمنع برامج الزحف من فهرسة صفحات أو مسارات معينة على موقعك الالكتروني. هذا مفيدا جدا في حالة أن لديك محتوى تريد الاحتفاظ به خاصًا ولا تريده ان يظهر في محركات البحث، مثل قائمة الموظفين أو البيانات المالية للشركة.

ما هو الغرض من ملف Robots.txt؟

الغرض من هذا الملف هو إدارة كيفية تفاعل محركات البحث مع محتوى موقع الويب الخاص بك بحيث يمكنك التحكم في ما يرونه، وأين يذهبون، وما لا يرونه. بمعنى آخر، يهدف ملف Robots.txt إلى إخبار عناكب محركات البحث بأجزاء موقعك التي لا تريد أن تقوم بفهرستها، حتى يتمكنوا من تركيز جهود الزحف على المحتوى الذي تريد فهرسته.

لماذا تحتاج إلى أداة مولد Robots.txt؟

يمكن أن تساعدك أداة مولد ملف robots.txt في إنشاء ملف robots.txt لموقع الويب الخاص بك ببضع نقرات فقط. ستنشئ الأداة الكود سريعًا، وبعد ذلك كل ما عليك فعله هو نسخه ولصقه في ملفات موقع الويب الخاص بك، أو اضافته إلى ملف robots.txt موجود على موقعك إذا كان موجودًا بالفعل.

ما هو تنسيق ملف Robots.txt وماذا يتضمن؟

التنسيق البسيط العام لملف Robots.txt كما هو موضح أدناه، ولكن يمكن أن يحتوي على مزيد من التفاصيل كما سنشرح لاحقًا.

User-agent: *

Disallow:

أين يوجد ملف Robots.txt؟

يوجد ملف Robots.txt في في الفولدر أو الملف الرئيسي الذي يحتوي على ملفات موقعك الاكتروني. هذا يعني أنه داخل public_html/ للخوادم المشتركة وفي /var/www/html/ لخوادم VPS.

كيف يمكنك تحميل ملف Robots.txt إلى الخادم أو السيرفر الخاص بك؟

بعد إنشاء وتعيين أدوار Robots.txt، حان الوقت الآن لتحميل الملف إلى السيرفر. اتبع الإرشادات أدناه لتحميل أي شفرة Robots.txt إلى موقع الويب.

في cPanel:

• قم بتسجيل الدخول إلى مدير ملفات Cpanel الخاص بك.
• انتقل إلى الملف الرئيسي لموقع الويب إذا كنت تريد تحميل ملف Robots.txt عليه.
• انقر على زر التحميل.
• انتقل إلى ملف Robots.txt وقم بتحميله، وهذا كل شيء.
• بدلاً من ذلك، يمكنك إنشاء ملف جديد على الفولدر الرئيسي الخاص بك وتسميته "Robots.txt". بعد ذلك، انسخ رمز Robots.txt والصقه داخل الملف الجديد واحفظ الملف.

عبر SFTP:

• قم بتسجيل الدخول إلى السيرفر الخاص بك عبر SFTP بمساعدة برامج مثل Filezilla أو WinSCP.
• انتقل إلى الملف الرئيسي لموقع الويب حيث المكان الذي تريد تحميل ملف Robots.txt عليه.
• اسحب ملف Robots.txt وأدخل الملف داخل لملف الرئيسي ، وهذا كل شيء.
• بدلاً من ذلك، يمكنك إنشاء ملف جديد على لملف الرئيسي الخاص بك وتسميته "Robots.txt". بعد ذلك، انسخ رمز Robots.txt والصقه داخل الملف الجديد واحفظ الملف.

كيفية تعديل ملف Robots.txt على السيرفر أو موقع الويب الخاص بك؟

لتعديل ملف Robots.txt على السيرفر، تحتاج أولاً إلى إنشاء كود ال Robots.txt، استخدم أداة منشئ Robots.txt لمساعدتك. بعد ذلك ستحتاج إلى تسجيل الدخول إلى ملفات موقع الويب الخاص بك والتوجه نحو المجلد الرئيسي. بمجرد وصولك إلى هناك، ابحث عن ملف بإسم "Robots.txt". عندما تجده، انقر بزر الماوس الأيمن، واختر تعديل لتحرير الملف. احذف الكود القديم والصق الكود الجديد ثم انقر فوق حفظ.

أمثلة لملفات Robots.txt:

الكود الأساسي:

User-agent: *

Disallow:

عدم السماح بالزحف إلى موقع الويب بالكامل:

User-agent: *

Disallow: /

عدم السماح بالزحف إلى مسار ومحتوياته:

User-agent: *

Disallow: /services/

Disallow: /forum/

Disallow: /services/seo/seo consultancy/

السماح بالوصول إلى برنامج زاحف واحد (Googlebot-news في هذا المثال):

User-agent: Googlebot-news
Allow: /

User-agent: *
Disallow: /

السماح بالوصول إلى جميع برامج الزحف باستثناء برنامج واحد (Googlebot-news في هذا المثال):

^{User-agent: Googlebot-news}

^{Disallow: /}

^{User-agent: *}

^{Allow: /}

عدم السماح بالزحف إلى صفحة ويب واحدة:

User-agent: *

Disallow: /robots-txt-generator

Disallow: /seo/robots-txt-generator

عدم السماح بالزحف إلى الموقع بالكامل باستثناء مسار فرعي:

User-agent: *

Disallow: /

Allow: /blog/

منع قوقل للصور من الزحف لجميع الصور الموجودة على موقعك:

User-agent: Googlebot-Image

Disallow: /

أقرأ المزيد على قوقل

كيفية منع مسار فرعي أو مجلد فرعي من الفهرسة؟

إذا كنت ترغب في عدم السماح بفهرسة دليل أو مسار معين في موقعك، فانتقل إلى المجلد الرءيسي في ملفات موقع الويب الخاص بك وقم بتحرير ملف Robots.txt. أضف هذا السطر (Disallow: / your-subfolder /) وسيتم منع المجلد الفرعي لموقع الويب من الفهرسة.

لماذا يعتبر ملف Robots.txt مهمًا لتحسين محركات البحث؟

يعد ملف Robots.txt أحد الأساليب المهمة لتحسين محركات البحث لأنه يخبر برامج زحف محرك البحث بما يجب القيام به. يخبرهم بالصفحات التي يجب الزحف إليها والصفحات التي لا يجب الزحف إليها. يساعد في التحكم في ما إذا كانت برامج الزحف لمحركات البحث يمكنها الزحف إلى موقعك أم لا حتى تركز برامج الزحف على محتوى أكثر أهمية للفهرسة.