ما رأيكم في فكرة زاحف شبكة يقوم ...

السلام عليكم

أولا أقدم نفسي أنا عبد الرحيم، أتشرف بالإنتساب إلى مجمع Arabia.io

بالنسبة لي هذه أول مشاركة و أود من خلالها التعرف على آرائكم بعد عمل شاق ألا و هو زاحف شبكة مهمته مراقبة الصفحات الرئيسة للمواقع هذه المرة ليس مجرد جمعها بل ,

يقوم بتحديد حالة الرد من الخادم إن كانت 200 أي الإجابة جيدة و الصفحة المطلوبة موجودة، أو باقي أنواع الأخطاء مثل 404, Host not found, Time out, أو غيرها

الخدمة الأساسية للموقع مجانية و هي متمثلة في عرض كم هائل من المواقع مع إمكانية البحث المتطورة، كما تحاول البرمجية اكتشاف لغة الموقع، كما تقدم البرمجية مجموعة منحنيات تتناسب و نتائج البحث التي يقوم بها الزائر .

لن أقوم بنشر الموقع الآن لأن شكله سيئ كما أني لم أعمل صفحات التسجيل و الدخول و غيرها و لم أختر حتى المضيف، لكني أود معرفة آرائكم حول الفكرة مبدئيا، كما أتشرف بالإستماع إلى اقتراحاتكم.

و السلام عليكم

يرجى الدخول لحسابك أو تسجيل حساب لتستطيع إضافة تعليق
حساب جديد دخول

التعليقات

هناك الكثير من المواقع العالمية التي تقدم مثل هذه الخدمة

وأنا سأتشرف باستخدام خدمتك العربية وأتمنى أن تصبح من أقوى المواقع المنافسة

اقتراحات:

  • احرص على أن تأخذ الخدمة صورة لشاشة الموقع من حين لآخر ScreenShot

  • فكر منذ البداية بتخصيص جزء من الخدمة لخدمة أصحاب المواقع : مثلا لمراقبة مواقعهم وارسال تقارير دورية عبر البريد الالكتروني

.

وفقك الله، استمر

شكرا محمد،

نعم هنالك عدة مواقع عالمية و جد فعالة في هذا المجال، لكن الشيء الجديد هنا، أني سأقوم بإذن الله بعرض كمية معتبرة من قاعدة البيانات على الصفحة الأولى للموقع، لكي يستغلها الزائر حتى في البحث العلمي، أو التأكد من أن الموقع مثلا متوقف أصلا و ليس مشكل من جهة الزائر مثلا، بالإضافة إلى تحري حالة الموقع في زمن مضى مثلا منذ ساعات أو أيام.

على كل، أشكر اقتراحاتك وتشجيعك كما أنتظر منك المزيد

فكرة بنفس الفكرة تقريبا منذ مدة ... الاستنتاج النهائي الذي خرجت به هو ان جمع "كم هائل من المواقع" (مع العلم انه يوجد اكثر من 20 مليون موقع على الاقل) بصفة ترددية (كل ساعة مثلا) ليس بالامر السهل ابدا حتى بالنسبة للشركات الكبرى

ليس الهدف جمع كم كل المواقع أو كم هائل منها، لكن الهدف من جمع عينة إلا لتبيان ميزة الزاحف، ثم من يريد الإشتراك يمكنه ذلك لتتبع موقعه بالذات

شكرا h3m4ch3 و باتظار ردودكم و اقتراحاتكم

ثم من يريد الإشتراك يمكنه ذلك لتتبع موقعه بالذات

من هنا تفقد الخدمة ميزتها, حيث ان المستخدم ربما لن يجد اي بيانات مسجلة بالنسبة للموقع المطلوب (اذا لم يقم بطلبه احد ما قبله) و اعتقد ان مثل هذه الخدمات متوفرة بشكل كبير كpingdom و uptimerobot...

أنصحك تبرمج الزاحف بلغة بايثون فهي سريعة وتدعم الـ Multithreading وكذلك لديها عدة مكتبات ودوال تسهل عليك إستخراج الروابط من الصفحات... وبالتوفيق لك

شكرا سعيد، أما لغة بايثون فهي عالية المستوى و هي مناسبة جدا لكتابة زاحف شبكة فصحيح قولك بأن لديها عدة مكتبات ودوال متوفرة، لكني صممت الزاحف بلغة جافا و ليس الفارق بين السرعة كبير هنا إذ أن الزاحف لا يقوم بعمليات حسابية كبيرة فجل الوقت متوقف على انتظار الرد من الخادم بعد الطلب،

hadoop