حدثنا عن أذكى زاحف (crawler) قمت ببرمجته و ماذا كانت مهمته و بأي لغة برمجة؟
كتبت واحدًا يسحب القصائد من موقع أدب ويرفعها على موقع ويكي مصدر. (رفع أكثر من ٤٠ ألف قصيدة).
ثم استخدمته مرة أخرى لأسحب مقالات بعض المجلات المرفوعة على مكتبة الشاملة. (رفع أكثر من ١٥ ألف مقال).
كتبت هذا البريمج بلغة البايثون واستخدمت مكتبة beautifulsoup
هذا هو الزاحف الذي استخدمته لمكتبة الشاملة. الشفرة غير مرتبة، وهيكل البريمج غير مستدام؛ لأنني أردته لحاجة سريعة ولم أتعب نفسي لأجعله وظيفيًا functional.
التعليقات