13

حدثنا عن أذكى زاحف (crawler) قمت ببرمجته

حدثنا عن أذكى زاحف (crawler) قمت ببرمجته و ماذا كانت مهمته و بأي لغة برمجة؟


karim_harazin أضف ردا

زاحف لجلب معلومات وإحصائيات خاصة بخمسات مثل:

  • أوقات دخول المستخدمين للموقع، يقوم الزاحف بمراقبة حساب المستخدم لتسجيل الاوقات التي تواجد فيها.

  • عدد مبيعات البائعين :) يقوم أيضا بمراقبة الصفحة الشخصية لمعرفة الزيادة في عدد المبيعات للعضو.

  • إشعاري بوجود تعليقات جديدة على أحد مواضيع المجتمع من خلال الزحف على التعليقات.

  • إشعاري بوجود طلبات جديدة خاصة بالبرمجة من خلال الزحف في مجتمع الطلبات الغير موجودة وجلب آخر 10 مواضيع تم إضافتها، ثم يقوم بتحليل العنوان أو نص الطلب لمعرفة إن كان خاص بالبرمجة.

اللغة المستخدمة PHP

لمراقبة حالة المستخدم، شغلت corn job تعمل كل دقيقة.

أما البقية فتعمل ال job كل 5دقائق.

هل من الممكن شرح طريقة برمجته او فيديو لطريقة البرمجة اذا ممكن

karim_harazin أضف ردا

الفكرة ببساطة هي جلب محتويات الصفحة ثم أستخراج البيانات التي أريدها.

مثال على مراقبة اوقات تواجد العضو، في صفحة العضو الشخصية، اذا كان العضو متواجد حاليا سيكون هناك دائرة خضراء مكتوب بجانبها "الأن" إذا فهدف الزاحف هو البحث عن الوسم الخاص بالدائرة الخضراء فإذا كان موجود اخزن الوقت والتاريخ.

نفس المبدأ في حال أريد أن اعرف إن كان هناك تعليقات جديدة على موضوع معين، يتم تضمين التعليقات داخل div له ال class التالي 'post_reply ' ما أقوم به هو عد هذه ال divs ومقارنتها بالعدد القديم إذا كان هناك اختلاف فهذا يعني وجود تعليقات جديدة.

لإستخراج الوسوم إستخدمت ال Regular expressions هناك مكتبات لعمل html parsing لكن ال Regular expressions أدت الغرض بالنسبة لي.