Web Scraping||ما هي افضل مكتبه في بايثون لهذا الغرض

يوجد عدد من المكتبات المستعملة في Web Scraping ومن هذا المكتبات:

• beautifulsoup4: لإستخراج المعلومات من أكواد HTML والتلاعب بها
• requests: لعمل طلبات http
• Scrapy: تُعتبر إطار عمل كامل خاص بسحب البيانات من المواقع
• Selenium: هو في الأساس web-driver ، يمكنك تخيله بأنه أداة للتحكم في المتصفح من خلال أكواد، وبالتالي يتم سحب البيانات وكأنك مستخدم حقيقي تستعمل المتصفح بشكل عادي.
• lxml: بديل سريع لمكتبة beautifulsoup4

لاحظ أيضًا أنك يجب أن تأخذ حقوق الموقع وشروطه في الحسبان، حيث يوجد عدد لا بأس به من المواقع التي لا تسمح بسحب البيانات منهما، وطبقًا للحقوق الملكية لهذه المواقع، فلا يجب أن يتم إستخدام أي أداة أتمتة لسحب البيانات منها، أنظر المساهمات هنا:

مرحبا حسن

إذا كنت قد فهمت قصدك فأنا أقوم بمهمة مشابهة بحيث أستخدم إضافة كروم تقوم بحقن كود جافاسكريبت في صفحة الويب المستهدفة ثم أقوم باستهداف العناصر باستخدام بعض أكواد جافاسكريبت