اذا كان لديك موقع جديد انتبه ان تنسى وضع ملف ال : Robots.txt حتى تتجنب أرشفة الموقع اثناء التطوير لأننا عادتاً مانقوم في تعبئة محتوى مزيف حتى نجرب, تخيل معي بعد ان تنشر الموقع والناس تبحث عنه ويبدا يظهر الصفحات القديمة في نتائج البحث وعند الضغط عليها Page not Found 404 ومن هنا يبداً Google في حجب موقعك من على الشبكة حتى يأتي للمستخدم في نتائج تعمل لا نتائج 404 وهذه كارثة حدثت معي وحبيت ان انصح اخواني هنا ان يتجنبوا هذا الخطأ .

كيف أتجنب هذه الخطأ ؟

كل ماعليك هو ان تقوم في انشاء ملف وتسميه robots.txt وتضعه على مسار الروت او على الرابط مباشر هكذا :

https://example.com/robots.txt

عند دخول جوجل الى هذا المسار سوف يقرأ :

User-agent: *
Disallow: /

هذه القيم , وبعدا يعرف انك لست بحاجة الآن لأرشفة الموقع , وبعد ان تنهي موقعك وتتأكد من مسار الصفحات انها لن تتغير عدل الملف الى :

User-Agent: *
Allow: /*

أو بهذه الطريقة تمنع وتسمح مثال :

User-Agent: *
Disallow: /pics/
Allow: /pics/public/

لمزيد من المعلومات إقرأ هذه الصفحة او قم انت بالبحث عن الموضوع :

https://wiki.selfhtml.org/w...

تمنياتي لكم كل التوفيق .