أبحث عن وسيلة لأتمتة تصفح موقع ما ، أو القيام بمهمة ما على المتصفح ، مثلا:
سكربت يدخل الى موقع حسوب io ويقوم بتقييم ايجابي لكل المشاركات في قسم ما او لنفترض المشاركات الحديثة
سكربت يدخل الى مدونة معينة ويقوم بإضافة تعليقات مختلفة على كل تدوينة
ذكرت الأمثلة فقط لشرح الفكرة وأن كل ما اريد تنفيذه هو على المتصفح ، شاركنا بأدوات أو مكتبات تساعد على تطبيق هذه الامور.
ما تبحث عنه يُعرف بمتجولات الويب Web crawler أو عناكب الويب Web spiders وهي عبارة عن روبوتات خاصة بالويب Internet Bot يُمكن برمجتها بعدة لغات.
فكرة عملها تعتمد على نفس فكرة عمل المتصفحات ولكنها تُحاكي تفاعل المُستخدم مع صفحة الويب بشكل تلقائي، بمعنى أبسط وظيفتها استلام الطلبات وارسالها للخادم دون الحاجة للمستخدم بمعنى مُحاكاة عمله وكأنه من ينفذ الأوامر.
يُمكنك الإطلاع على مكتبة CURL من المكتبات المُختصة في هذا الأمر، ولكن يلزمك معرفة برمجية للتعامل معها.
جميل جدا ، بالنسبة لهذه المكتبة ما الرابط الخاص بها ؟
بحثت في غوغل وجدت هذا الرابط:
اريد التأكد انها المكتبة المقصودة في كلامك
والى اي حد تحتاج الى معرفة برمجية ( مبتدىء - متوسط - خبير ) ؟
نعم هي تلك المكتبة
المكتبة يُمكن استخدامها عبر أكثر من لغة برمجية أو من خلال سطر الأوامر
على سبيل المثال ستستخدمها عبر لغة php إطلع عليها من الرابط التالي:
تعلمك أوامر المكتبة فقط لا يكفي، فعلى سبيل المثال تعلم أوامرها من خلال php لن يأخذ منك بضع سويعات إن كنت ملم بقواعد اللغة php وكيفية استخدامها، عليك أيضاً أن تكون ملم باللغة الهيكلية HTML وكيفية توزيع العناصر والـDOM وكيفية الوصول لعناصر الوثيقة عبر xPath أو CSS Selector أو استخدام التعابير القياسية الـ Regular Expressions إن لزم الأمر.
كان لي موضوع حول الـمُختار Selector يُمكن الإطلاع عليه سيقرب لك الفكرة ويفيدك كثيراً إن استخدمت أحد المكتبات التي تعتمد عليه في اختيار عناصر وثائق الـ HTML على الرابط:
كان لي موضوع حول الـمُختار Selector يُمكن الإطلاع عليه سيقرب لك الفكرة ويفيدك كثيراً إن استخدمت أحد المكتبات التي تعتمد عليه في اختيار عناصر وثائق الـ HTML على الرابط:
أشكرك على هذا الموضوع ، ليس لدي أي خبرة في php ، لدي خبرة مبتدىء في بايثون لذا هل هي اسهل في هذه الحالة ام تعقد الامور ؟
سؤال آخر :
هل يوجد طريقة أتمتة صورية ؟
لا اعلم ان كانت الفكرة منطقية ولكن ان يفهم السكربت الصفحة عن طريق تصويرها وليس قراءة الكود ؟
مثلا أبرمجه للتعرف على زر تعليق مثلا او على مربع البحث وهكذا ..
المكتبة متاحة على بايثون أيضاً
لم اجرب برمجة تطبيقات ويب عبر لغة بايثون من قبل، ولكن محتوى php والدعم لها نطاقه كبير هذا أكثر ما يميز تلك اللغة.
فقراءة الكود أسهل بكثير من تصوير الشاشة وتحليلها ناهيك عن تغيير الأشكال مع تغير التصميم أنت تعقد الأمور بشكل كبير هكذا.
خارج النقاش:
يبدو أني بحاجة لسكربت يخفي تعليقاتك من كل الموقع ، فكرة جميلة أليس كذلك ؟ P:
لا أدري ماذا أصابني هذه الأيام.. يبدو ان أحد مصاصي الدماء أصابني بعدوى قادمة من مجتمع التسلية.. يا الهي بأي ورطة أقحمت نفسي!!
الأمر سهل وتوجد عشرات الأدوات المستخدمة في الاختبارات الوظيفية للتطبيقات Functional testing:
كما توجد على شكل إضافة للفايرفوكس لتسجيل الاختبارات ومن بعد إعادة تشغيلها .
Http://imacros.net
IBM Rational Functional Tester
أشكرك على هذه المصادر ، لم يعجبني imacros أو IBM Rational Functional Tester لأني ابحث عن ادوات مجانية فقط.
بالنسبة ل Selenium احتاج لقراءة أكثر عنه لأفهم ان كان يلبي حاجتي ، هل لديك خبرة سابقة في استخدام هذه الاداة ؟
ما مستوى الخبرة البرمجية التي احتاجها ( مبتدىء - متوسط - خبير ) ؟
استخدمت Selenium Ide لأتممة بعض الوظائف البسيطة فقط كإدخال المعلومات في فورم والضغط على أرسل ..أنه بسيط للغاية يأتي كإضافة لمتصفح الوب . Selenium WebDriver للمشاريع الكبيرة من حيث عدد الاختبارات وتعقيدها ويمكن التحكم فيه من خلال واجهة برمجية api يحاكي عديد من المتصفحات ويمكن استخدامه ضمن التكامل المستمر Continuous Integration (لا أدري مدى ملائمة الترجمة).
اشكرك .. بالفعل الفكرة ذكية ولم اتوقع هذا ، ربما في بعض الحالات قد تفيد ولكن في مجالات اوسع احتاج الى طريقة عامة ولا تخص موقع محدد فقط.
لا أقصد موقعا معينا .. فقط خذ الفكرة أنه استعمل الجافاسكربت .. قام في الاول بوضع جميع العناصر في متغير تم نادى (النداء) دالة للضغط على العناصر.
تم هذا في الكونسول ..
هل تريد كود في كل مرة تدخل إلى قسم من حسوب تقوم بإدخاله فيزيد 1 على النقاط (ليس زيادة حقيقية)
لا أدري ما الفائدة !!!
في البداية :
ذكرت الأمثلة فقط لشرح الفكرة
بالنسبة لــ :
هل تريد كود في كل مرة تدخل إلى قسم من حسوب تقوم بإدخاله فيزيد 1 على النقاط (ليس زيادة حقيقية)
لم أقصد لزيادة نقاطي ، قلت لتقييم المواضيع الأخرى بتقييم ايجابي في قسم معين مثلا
وليس المثال معناه اني اريد استخدامه بهذه الطريقة ولكن المثال يشرح فكرة أن السكربت هدفه البحث عن شيء معين في الصفحة ثم القيام به بطريقة مؤتمته
بالمختصر المفيد :
أبحث عن طريقة لأتمته أي شيء تقوم به على المتصفح
معناها بالانكليزية "Automation"
هل تقصد كود يقوم بمهمة الضغط على الزر تلقائيا
ليس فقط الضغط على زر واحد ، مثلا يقوم بأمور مرتبة أحددها ، مثلا :
افتح الموقع كذا ، اذهب الى قسم التقنية ، اضغط على التدوينة الاولى ، اذهب الى مربع اضافة تعليق ، أضف تعليق كذا .. وهكذا
هذا صعب ومعقد
لأن لغة البرمجة لاتعرف هل هذه تدوينة أم لا إن لم تعرف لها التدوينة
وتعريف التدوينة يختلف من موقع إلى آخر
الأمر ليس بهذا التعقيد، فأظنك درست اللغة الهيكلية HTML طالما تتعامل مع لغة js، فالصفحة ما هي إلا مجموعة من العناصر موزعة بطريقة ما في الوثيقة ولها مُحددات وصول عبر المُعرف id أو الفئة class أو موضعها في الوثيقة وهكذا، فيُمكن من خلال معرفتي بالـ DOM للوثيقة الوصول لأي مُحتوى بها بسهول واستخراجه ومن ثمَ اعادة ارسال الطلبات للخادم بالبيانات التي أريدها.
كان أخر برمجية لي في هذا المجال تطبيق جلب محتوى بشكل تلقائي، العميل قال أن مصادر المحتوى لديه تتعدى 500 مصدر لجلب المحتوى فلا يُعقل أن أقوم بتحديد هيكلة لجلب المحتوى من كل موقع على حده، فكان العمل على تطبيق عام صالح للاستخدام على أي موقع ولكن يتطلب بعض التخصيص من خلال واجهة رسومية لتحديد أماكن المحتوى المراد جلبه والمحتوى المراد ازالته، وبعد تسليمه التطبيق بفتره اطلعت على القائمة وكان هذا الموقع من ضمن المواقع التي يتم جلب محتوى مواضيعها بهذا التطبيق، نفس الفكرة تعتمدها مُحركات البحث في أرشفة المواقع.
ولكن يتطلب بعض التخصيص من خلال واجهة رسومية لتحديد أماكن المحتوى المراد جلبه والمحتوى المراد ازالته
شاهدت نفس المبداء مستخد في اضافة Auto Pilot , ان كان التطبيق الخاص بك بهذه القوة لما لا تطوره كاضافة للوردبريس و تبيه في Code Canyoun امكانيات Auto Pilot ليست بتلك القوة لدى قد تستطيع منافستها .
WordPress عند بعض الناس مرادف لكلمة website خصوصا في امريكيا هناك هوس شديد باي شيء متعلق بها و سوق الاضافات حدث ولا حرج ستجد قيمة المبيعات بجانب كل الاضافة المشهورة في codecanyon
اعتقد Node.js فبيها مكتبة بهذا الخصوص لتحليل محتويات الصفحا و حتى ارسال اوامر POST و GET لا يحضرني اسم المكتبة عندما سئلت عنفس طلبك باحد المنتديات الجميع نصحني بالابتعاد عن PHP و شبيهاتها لان ادائها بيكون ضعيف و من الصعب برمج للقيام باموار مشابهة .
ولكن ليست المُشكلة باللغة بل بالإعتماد على مكتبة cURL عبر PHP
حتى اختصر عليك الموضوع ال Web Crewler افضل تصميم له يتم عبر C و مشتقاتها او JAVA فقط باقي لغات البرمجة تعتبر استهلاك زائد للجهد و موارد السيرفر . خير مثال على كلامي برنامج XENU يزحف لعدد رهيب من المواقع في نفس الثانية مهما هيئت PHP او غيرها لتقوم بعمل مماثل لن تصل حتى لربع ادائه .
ماذا تطوير web crewler بلغة سي o_O، لما تجاهلت وقت وجهد التطوير عبر تلك اللغات، إن كان المشروع بهذه الضخامة سيكون له مقابل مادي يُشجع العمل بالإضافة لأخيار اللغة وبيئة التطوير يعتمد على نوعية المشروع.
في حال وجدت تقصير في لغة ما أعمل عليها حينها ستكون الحاجة للإنتقال أو محاولة تلاشي التقصير عبرها.
شخصيا كنت بحاجة ل Curl في مشروع جلب صفحات من موقع آخر (موقع العاب) و تحميل ملفات .swf جربت وقتها file_get و كانت سيئة في السرعة و يتم حجبها في كثير من المواقع Curl استخدمها في سطر اوامر السيرفر و هي افضل من wget .
بالنسبة ل C هناك من طور زاحف ويب بها و هذا مثال
و هذه مقارانات بين لغاب البرمجة المعروفة و اداء في احد محركات البحث
لا أقول بأنه لا يُمكن ولكن مُجهد ومُكلف، في بعض الحالات نضحي بجزء من الكفائة نظير سهولة وسرعة التطوير، شكراً لك مُقانة مُفيدة.
التعليقات