حدثنا عن أذكى زاحف (crawler) قمت ببرمجته و ماذا كانت مهمته و بأي لغة برمجة؟
حدثنا عن أذكى زاحف (crawler) قمت ببرمجته
زاحف لجلب معلومات وإحصائيات خاصة بخمسات مثل:
أوقات دخول المستخدمين للموقع، يقوم الزاحف بمراقبة حساب المستخدم لتسجيل الاوقات التي تواجد فيها.
عدد مبيعات البائعين :) يقوم أيضا بمراقبة الصفحة الشخصية لمعرفة الزيادة في عدد المبيعات للعضو.
إشعاري بوجود تعليقات جديدة على أحد مواضيع المجتمع من خلال الزحف على التعليقات.
إشعاري بوجود طلبات جديدة خاصة بالبرمجة من خلال الزحف في مجتمع الطلبات الغير موجودة وجلب آخر 10 مواضيع تم إضافتها، ثم يقوم بتحليل العنوان أو نص الطلب لمعرفة إن كان خاص بالبرمجة.
اللغة المستخدمة PHP
لمراقبة حالة المستخدم، شغلت corn job تعمل كل دقيقة.
أما البقية فتعمل ال job كل 5دقائق.
الفكرة ببساطة هي جلب محتويات الصفحة ثم أستخراج البيانات التي أريدها.
مثال على مراقبة اوقات تواجد العضو، في صفحة العضو الشخصية، اذا كان العضو متواجد حاليا سيكون هناك دائرة خضراء مكتوب بجانبها "الأن" إذا فهدف الزاحف هو البحث عن الوسم الخاص بالدائرة الخضراء فإذا كان موجود اخزن الوقت والتاريخ.
نفس المبدأ في حال أريد أن اعرف إن كان هناك تعليقات جديدة على موضوع معين، يتم تضمين التعليقات داخل div له ال class التالي 'post_reply ' ما أقوم به هو عد هذه ال divs ومقارنتها بالعدد القديم إذا كان هناك اختلاف فهذا يعني وجود تعليقات جديدة.
لإستخراج الوسوم إستخدمت ال Regular expressions هناك مكتبات لعمل html parsing لكن ال Regular expressions أدت الغرض بالنسبة لي.
التعليقات