بالنسبة لي قمت ببرمجة العديد من الـ Crawlers لكن أفضلها حتى الآن هو (!Motarjam) لمشاهدة و تحميل الأفلام العربية و الأجنبية المترجمة خلال ثوانٍ معدودات من دون عناء البحث و الإعلانات و غيرها :)
يقوم !Motarjam بالبحث عن أفضل مصادر الأفلام ثم يقوم باختيار الأفضل بينها و بمختلف الجودات
(720p, 480p, 360p, 240p) إن توفَّرت.
ثم يقوم بعرض أعلى جودة متاحة مباشرة مع إمكانية التنقّل بين الجودات بسهولة.
https://i.imgur.com/KWJ7fFk...بالمناسبة قبل سنتين كنت قد قرأت نفس العنوان ووضعته في العلامات فقررت الرجوع اليه الان لاصادف انك نفسك من كتب الموضوع
يبدو انك محب لهذا المجال
بصراحة مجال Web scraping يعجبني جدا لانه من خلاله تستطيع الققيام بأي شيء
هل تذكر اي لغة قمت ببرمجته اعتقد انك ستقول اما بايثون او c#
حسنا انا تعلمت nodejs اعتقدت انه من خلالها يمكنني القيام بتلك الاشياء ونعم يمكنني لكن ما لم استطع القيام به هو قدرتي على التحكم في المواقع اي مثلا الضغط على ازرار او ملئ حقول ادخال
بالطبع بحثت ويوجد حلول كثيرة لكن الامر بطيئ نسبيا في اغلب الحلول
بدأت في صناعة منصة الكترونية لصالح شركة تسويق تقوم المنصة على التحكم في حسابات التواصل الاجتماعي من مكان واحد
طبعا نظرا لقصر ال api المقدمة من تلك المواقع احتجت لاستخدام Web scraping بكثرة
لكن الان متوقف بسبب الدراسة ولاني ادرس بالجامعة لغة جافا فلغة c# قريبة منها فقررت ي الاجازة الصيفية التعمق في سي شارب
بالمناسبة في بداية معرفتي في Web scraping قررت برمجة api لموقع حسوب لكن توقفت جل ما فعلته هو ان ترسل request برابط الموضوع وترجع لك رد ببياناته
بعدها طورته ليشمل كل المواقع عن طريق وضعك لرابط الموقع ووضعك لاسم الكلاس او ال id المراد جلب بياناته
بالنهاية المجال جدا رائع واتمنى العمل به يوما ما والافكار فيه لا تنتهي
ان كان عندك اي اضافة او نصائح فاتمنى ذكرها
بالفعل أنا محب لهذا المجال و دائماً ما أقوم ببرمجة الأدوات التي تسّهل عليّ العديد من الأمور مثلاً تحميل الفيديو/MP3 من يوتيوب و غيرها, دائماً ما كنت أجد صعوبة في بعض المواقع التي تحتاج إلى أكثر من مجرد session أو cookie لتسجيل الدخول كما أن بعضها يقوم بحساب عدد ال requests ليمنع المتطفلين (أمثالي P:) من الحصول على البيانات و استخدامها و أحد هذه المواقع كان لرفع الفيديو حيث أنني اكتشفت بعد أن برمجت كل شيء خاص به أنه يقوم بذلك و يقوم بعمل Block طويل الأمد فقمت بالتخلي عنه و انتقلت لمواقع أخرى أقل حماية.
أنا أكتبها بلغة PHP و قليلاً ما أحتاج إلى Libraries ففي الواقع احتجتها مرة واحدة و كانت Unirest, لأنني قمت بكتابة functions لإرسال تقريباً أي نوع من ال requests بدون مشاكل من ضمنها تسجيل الدخول و غيره و لم أضطر حتى الآن إلى الضغط على أزرار في الموقع المستهدف.
برمجت سكريبت استخراج ملفات الترجمة المصباحية subtitle من فيديوهات youtube بدون الاستعانة ب اي api لكون كل apis متوفرة لا تتيح خيار وصول لترجمة التلقائية auto generated captions
Motarjam بالبحث عن أفضل مصادر الأفلام
هل تقصد البحث في مواقع محددة مسبقا hard coded او البحث عبر محركات البحث
ان كان يبحث عبر محركات البحث فكيف تتعرف على الفيديو المطلوب ضمن الهيكلة html المختلفة بين المواقع
برمجت سكريبت يقوم بعلم كراول لي طاتا في موقع ثم يقوم بنشرها في صفحتي على الفيسبوك الاني جدا لا احب العمل يدويا
استعملت ال api الرسمي طبعا لا اعرف طريقة اخرى قرأت ال docs
وشفت متطلبات والحمد لله اشتغل
التعليقات