حدثنا عن أذكى زاحف (crawler) قمت ببرمجته

كتبت واحدًا يسحب القصائد من موقع أدب ويرفعها على موقع ويكي مصدر. (رفع أكثر من ٤٠ ألف قصيدة).

ثم استخدمته مرة أخرى لأسحب مقالات بعض المجلات المرفوعة على مكتبة الشاملة. (رفع أكثر من ١٥ ألف مقال).

كتبت هذا البريمج بلغة البايثون واستخدمت مكتبة beautifulsoup

قمت في الماضي بعمل سكريبت بالجافا و باستعمال مكتبة JSoup لزاحف بسيط لجمع عناوين مواقع نت من Yahoo Directory و Dmoz حيث كنت احتاج عدد كبير من العناوين لتحليلها و فرزها (مشروع بحثي)

رابط المشروع على

: GitHub

هذه صفاته

• يجلب محتوى المواقع ويقوم بأرشفتها كملفات XML.

• يعمل بالمهام المتوازية لتنفيذ أكبر عدد في نفس الوقت، مع إمكانية تحديد حدود لهذه العمليات تجنباً للضغط على الخادم.

• مرن للعمل على أي موقع حيث أنه يعتمد على CSS Selector لتحديد المحتوى المُراد جلبه مع تحديد المحتوى المُراد حذفه وعمل الفلترة اللازمة قبل الحفظ.

• داعم للعربية ويعمل مع الترميزات المُختلفة على أغلب المواقع.

• يعتمد على واجهة رسومية لتحديد مصادر الزحف وتحديد المُحتوى المُراد جلبه والمُراد حذفه.

• تم العمل به على أكثر من 200 موقع كان من ضمنهم hsoub I/O.

• بُرمج بلغة php.

كتبت الكثير من ال Web Scrappers فيما سبق، وولدينا خدمة تعتمد على اعتماداً كلياً على بيانات نجلبها من موقع معروف في مجال الأسهم ونأخذ منه الاسعار، والمشكلة ان الموقع غير تصميمه ربما 3 مرات فاضطرينا اعادة كتابة الكود كلما حصل تغيير في بنية الصفحة. واخر تحديث قام بتطبيق تشفير على الصفحة بحيث ترجع مشفرة وهناك اكواد جافا سكربت تقوم بفكها وعرض البيانات. وطبعاً هذا صعب جداً وقد تحتاج لمعرفة الالية. الحل الاخير الذي قمنا به هو تشغيل متصفح داخل التطبيق باستخدام Chromium Embedded Framework والمتصفح سوف يقوم بالعملية وفك التشفير ومن ثم نقوم بتخزين النتيجة على ملف خارجي، ومن ثم يقوم برنامج ال Parser بالقراءة واستخراج اليبانات منها. طبعاً هذا الحل هو الحل الناجح لعمليات التشفير التي تضعها بعض المواقع لتشفير محتوياتها من ال Scrapping وهذه الطريقة هي التي افداتنا: http://joelverhagen.com/blo... ايضاً من الScrapper الاخرى هو لسحب الكتب من موقع كتب المعروف kutub.info وتقريباً سحب حوالي 40 قيقا من الكتب العربية انذاك: https://github.com/WajdyEss...

هل يمكنني أن أعرف ما هو هذا الزاحف و ما هي المهام التي يمكن أن يقوم بها ؟

فقط للاختبار والتطبيق

الدخول الى البطاقة التعريفية لكل أعضاء حسوب الذين يتكون اسمهم من اربع حروف

حيث يقوم بتوليد اسم عشوائي ثم خزن الاقتباس في ملف

زاحف لجلب معلومات وإحصائيات خاصة بخمسات مثل:

• أوقات دخول المستخدمين للموقع، يقوم الزاحف بمراقبة حساب المستخدم لتسجيل الاوقات التي تواجد فيها.

• عدد مبيعات البائعين :) يقوم أيضا بمراقبة الصفحة الشخصية لمعرفة الزيادة في عدد المبيعات للعضو.

• إشعاري بوجود تعليقات جديدة على أحد مواضيع المجتمع من خلال الزحف على التعليقات.

• إشعاري بوجود طلبات جديدة خاصة بالبرمجة من خلال الزحف في مجتمع الطلبات الغير موجودة وجلب آخر 10 مواضيع تم إضافتها، ثم يقوم بتحليل العنوان أو نص الطلب لمعرفة إن كان خاص بالبرمجة.

اللغة المستخدمة PHP

لمراقبة حالة المستخدم، شغلت corn job تعمل كل دقيقة.

أما البقية فتعمل ال job كل 5دقائق.