حدثنا عن أذكى زاحف (crawler) قمت ببرمجته و ماذا كانت مهمته و بأي لغة برمجة؟
حدثنا عن أذكى زاحف (crawler) قمت ببرمجته
كتبت الكثير من ال Web Scrappers فيما سبق، وولدينا خدمة تعتمد على اعتماداً كلياً على بيانات نجلبها من موقع معروف في مجال الأسهم ونأخذ منه الاسعار، والمشكلة ان الموقع غير تصميمه ربما 3 مرات فاضطرينا اعادة كتابة الكود كلما حصل تغيير في بنية الصفحة. واخر تحديث قام بتطبيق تشفير على الصفحة بحيث ترجع مشفرة وهناك اكواد جافا سكربت تقوم بفكها وعرض البيانات. وطبعاً هذا صعب جداً وقد تحتاج لمعرفة الالية. الحل الاخير الذي قمنا به هو تشغيل متصفح داخل التطبيق باستخدام Chromium Embedded Framework والمتصفح سوف يقوم بالعملية وفك التشفير ومن ثم نقوم بتخزين النتيجة على ملف خارجي، ومن ثم يقوم برنامج ال Parser بالقراءة واستخراج اليبانات منها.
طبعاً هذا الحل هو الحل الناجح لعمليات التشفير التي تضعها بعض المواقع لتشفير محتوياتها من ال Scrapping وهذه الطريقة هي التي افداتنا:
http://joelverhagen.com/blo...
ايضاً من الScrapper الاخرى هو لسحب الكتب من موقع كتب المعروف kutub.info وتقريباً سحب حوالي 40 قيقا من الكتب العربية انذاك:
https://github.com/WajdyEss...
التعليقات