السلام عليكم ورحمه الله وبركاته
مرحبا بك أخى الكريم
ملف robots.txt هو عباره عن ملف وظيفتة الرئيسية أن يقوم بإعطاء توصيات أو إقتراحات لتوجيه عناكب البحث الخاصه بشركه جوجل بما مصرح لهم بالدخول إلية أو ما لا يمكن الدخول إلية وهنا التوصيات التى أذكرها لان بعض العناكب لا تحترم إعدادات ملف الروبوتس أحيانا خاصه العناكب المزعجة او المعروفة ب Spammers والتى تعمل خصيصا لفحص الثغرات الأمنيه فى المواقع.
يستعمل ملف الروبوتس فى الغالب من أجل منع محركات البحث من أرشفة أشياء ليست مهمه مثل صفحات تسجيل الدخول للمستخدم أو صفحات التسجيل أو الأقسام التى لا تريد أرشفتها فى محرك البحث جوجل وكذلك حتى تتفادى المحتوى المتكرر فى محرك البحث وهكذا.
لإنشاء ملف روبوتس عليك إتباع التالى
1 - ستقوم بإنشاء ملف نصى وتقوم بتسميته robots.txt
2 - تقوم بملىء ذلك الملف بالأوامر التى تريد فقط أن تعطيها لعناكب البحث حسب رغبتك
3 - تقوم برفع الملف الى جذر الموقع أو public_html فى إستضافتك
هذا فى حال إذا كنت تستخدم المواقع المبنيه على WordPress
ايضا يمكنك إنشاء تلك الخطوه تلقائيا بإستخدام إضافات ال SEO المتوفرة فى متجر وردبريس
وفقك الله
