وعليكم السلام ورحمة الله وبركاته ..

اخي الفاضل هذه التقنية تسمى في عالم البرمجه (crawler) وهي تقنية تسمح لك بالدخول الى السيرفرات وعمل صورة ضوئية من الموقع وصفحاته جميعها على هئية (Html) باي مستوى تريده كعمق .. وتقوم بعمل فهرسة لهذه الملفات وترتيبها وفق ما تراه انت مناسب :

http://en.wikipedia.org/wiki/Web_crawler

كما يفعل جوجل ، ياهو ، بينج .. الخ

عموما لكي تقوم بفكرتك تحتاج الى (وقت كبير استغرق الامر مع جوجل قرابة السنة على سرعات عالية جدا + مساحة ضخمة بل ومرعبة + ترتيب عرض خاص بك indexer )

طبعا يوجد موقع متخصص بهذا الموضوع "نسخ ضوئية من المواقع " وهو مشهور يمكنك من مشاهدة المواقع والتجول فيها بتاريخ سابق كيف كانت عليه مثال "جوجل" تصفح جوجل عندما كان على مستوى الجامعات فقط لعام 1998 او بعد ذلك بكثير الى يومنا من هنا :

https://web.archive.org/web/19981202230410/http://www.google.com/

وهنا ياهو بداية 1997 :

https://web.archive.org/web/19970416143657/http://www4.yahoo.com/

وغيرهم الكثير ..

تذكر امر مهم اخي الكريم ( يجب معرفة المصطلح العلمي التقني او البرمجي لما تبحث عنه اولاً ، لكي تستطيع الوصول بسرعة لما تريد وتقرر!)

بالنسبة للاكواد والشفرات البرمجية .. يمكنك التوجه الى هذا العنوان واختيار نظام التشغيل الذي يناسبك ثم اختر البرنامج مفتوح المصدر الذي تريد البدأ منه في فهم ما تريد وتطور عليه او تبدع فيه ..

http://sourceforge.net/directory/os:linux/freshness:recently-updated/?q=web%20crawler

بالتوفيق والنجاح لجميع افكارك ..