أخبرني ما طريقتك في تعلم بناء الزواحف أو العناكب وما التقنيات الأفضل لهذه الأمور وما عراقيلها؟
لمن لا يعرف ما هي العناكب أو الزواحف فهي برمجيات تعتمد على بيانات مواقع أخرى وتستخلص البيانات بطريقة معينة بدون استخدام API.
أمثلة عليها: محركات البحث، برمجيات تنزيل الفيديوهات والصور، برمجيات مقارنة الأسعار وعرض كوبونات التخفيض.
افضل مكتبة برمجيات هوhtml-agility
ستجد امثلة فقط انت بحاجة الى التعديل عليها
مؤخرا تعرفت على Puppeteer
وهي من جوجل
تقم بفتح متصفح جوجل كروم وتفعل اي شيء بناء على الكلاسات او اي سليكتور
ايضا يوجد cheerio فهي جيدة لكن لم اقدر على التعامل مع احداث مثل الضغط على زر او ملئ حقل ادخال
كل هذا باستخدام nodejs
معرفة جيدة باللغة الهيكلية HTML وهيكلة بناء الصفحات.
معرفة جيدة بالمُختار selector في لغة css وكفية تحديد عناصر الوثيقة DOM أو الإعتماد على XPath بدلاً من CSS Selector على حسب تفضيلك والمكتبة التي تستخدمها.
التعابير القياسية Regular Expression.
الطلبات http/s من وإلى الخادم، سحب وإرسال بيانات النماذج.
التعامل مع السلاسل النصية في اللغة التي ستستخدمها والبحث عن المكتبات المساعدة لهذا الغرض في اللغة المستخدمة.
العراقيل
اختلاف الترميزات إذا كنت تتعامل مع بينات بعدة لغات وترميزات مختلفة.
حماية المواقع من الزواحف عبر تتبع الحركات الدورية والسريعة وحجبها وتستخدم البروكسيات العشوائية لتلاشي تلك النقطة.
الكابتشا وتخطيها.
استخدم الـ Ajax وإخفاء وتشفير البيانات واستخدام تقنيات الـ SPA تعرقل سحب البيانات.
المسح الدوري لعدة مواقع وعدد كبير للصفحات وتحل بالعمل المتوازي لتنفيذ المهاء للحصول على أكبر معدل زحف في أقل وقت.
التعليقات