21

تمثيل مبياني لتطور نمو حسوب - هل حسوب IO كان أفضل قبل سنوات؟

  • Mirro

السلام عليكم

قبل حوالي ثلات سنوات عندما عرفت حسوب لأول مرة، كنت أصادف من بعض الأعضاء في ذلك الوقت قولهم بأن حسوب كان أفضل قبل سنوات.. هذا القول لاينتهي هنا، فهناك من يعتقد بالفعل أن حسوب قبل ثلات سنوات من الأن (يعني المرحلة التي تعرفت عليه) كان أفضل من حسوب أيامنا هذه... (جودة المقالات -- الأعضاء المميزين -- أو حتى إختلاف الكمِ -المشاركات والتعليقات من ناحية العدد-)

بعض التفاصيل

لذلك قمت بعمل أحد الخوارزميات البسيطة التي من الممكن أن تجيب عن تطور نمو حسوب.

-الخوارزمية ببساطة تقوم بجلب مساهمات حسوب لإستخراج؛ عدد المساهمات، عدد التعليقات، عدد الUpvote، إسم صاحب المساهمة- عدد التعليقات وتاريخ تحريرها.. مع أن هذه البيانات (بعد تمثيلها وتحليلها) لن تجيب بالضرورة عن جودة المساهمات، لكنها على الأقل ستجيبنا على تطور الْكَمِّ، وربما رضا وتجاوب الأعضاء بسبب (كمية التعليقات و ال Upvote)

التوقف ثم البديل

عملية إستخراج البيانات كاملة (أكثر من 98600 مساهمة) كان سيستغرب حوالي ال 33 ساعة... لذلك ولأسباب أخرى توقفت من إستخراج البيانات عند ال 10% من مجموع البيانات... وبعدما إنتهيت من أشغال أخرى، فعدت بتعديل بسيط سيجيب على سؤال واحد وهو؛ تطورعدد المساهمات بدلالة الزمن... في حين سيستغرق جلب هذه البيانات حوالي 40 دقيقة بدل ال 33 ساعة... حيث الفكرة هي كالتالي:

بدل جلب 100% من البيانات، لماذا لا أجلب فقط 2% من البيانات (موزعة بالتساوي على طول عدد المساهمات) والمساعدة بطرق رياضية للحصول على عدد المساهمات لكل شهر... (ويمكن حساب ذلك بدقة سيحدد مقدارها ببساطة... الدقة جعلتها قريبة من 100% بإعتماد طرق رياضية بسيطة...) المهم لأنني أملك ال 10% الأولى من البيانات كاملة فيمكن التأكد من دقة الطريقة الرياضية... (كي لاأضيع في التفاصيل لا أريد ذكر التفاصيل كثيراً، التي هي بسيطة (كي لايضيع البعض فيها)...)

"لذلك ف 40 دقيقة هي 2% من ال 100% (33 ساعة)... وتم إعتماد 2% بالضبط وليس أي رقم أخر أقل أو أكثر.. لأنني أعتقد أن 2% مناسب جدا للحصول على دقة ممتازة..."

النتائج:

أولا في الأشهر الأولى (بالضبط في شهر 12 من سنة 2013) كان هنالك أكثر من 1000 مساهمة محذوفة... ربما كان ذلك بسبب بوت ما(...).. عدد المساهمات المحذوفة لم يعد أغلبها (...).

النتائج ممثلة في منحنيات أعمدة | جاهزة من موقع canvasJS

رابط معاينة بقية النتائج النتائج: (4 تمثيلات)

أو في حال تعطله، هذا ربط بديل

عن النتائج:

-نفس البيانات تم ثمتيلها بأربع طرق لجيب عن تطور كم المساهمات أفضل..

من خلال الثمتيل الأول والثاني؛ واضح أن حسوب بالفعل كان أفضل -من ناحية كم المساهمات- قبل ثلات سنواث... حيث في الأربع سنوات الأولى كان الإزدياد واضحا، لكن منذ 2016 فهناك تراجع ملحوظ وغير جيد... ومن المفترد ألا يكون عدد المساهمات في السنة الماضية 2018 أقل من سنة 2014 (التي هي إفتتاح الموقع + 5 أشهر) --

-100% في سنة 2016 أي أكثر من 20200 مساهمة بينما في 2018 أقل من 14000 مساهمة.

-لو أن حسوب iO تطورت في عدد المساهمات منذ 2016 كما كان التطور بين 2014 و 2016 فيجب أن يكون عدد المساهمات في 2019 يقارب ل 30000 مساهمة في حين أن التقديرات تقول أن عدد المساهمات لن تصل إلى 15000 (يعني 50% من المفترضة) في هذه السنة في أحسن أحوالها...

-رقم تثلاتة هي لتطور عدد المساهمات لكل شهر منذ إنطلاق iO إلى نهاية 10/2019

-رقم أربعة هي إستعراض لنسبة المساهمات لكل شهر على حدا.. مثلا شهر 1/2014 ثم 1/2015 ثم 1/2016.... وهكذا إلى 2/2014 ثم 2/2015... لأن الأشهر الأوسط من السنة تحرز عدد أكثر...


عدد المساهمات لايعبر بالضرورة على جودتها ولا تطور جودة مجتمع IO عموما..-ربما هناك سبب أخر لإحساس البعض بأن حسوب قديما أفضل من حسوب اليوم؛ وهو أن بعض معارفهم السابقين (الذين كانو يخوضون معهم معارك طاحنة أحيانا) لم يعودو متواجدين هنا في المجتمع الحسوبي.. وكأي ذكرى إنسانية قديمة يفرز معها الذماغ إحساس السعادة.....

كنت أود معرفة عن عدد الأعضاء الذين كانو في فترة ما نشطين جدا ولم يعودو في البداية، لكن تراجعت عن ذلك..

عن نفسي لاأجد فرقاً بين حسوب منذ تعرفي عليه وحسوب اليوم (ربما لأنني لم أذب في النقاشات عليه)... وأتمنى أن يتطور ويكون أفضل مستقبلاَ..


التعليق السابق

مرحبا

--الجانب التقني بسيط:

-يمكن إستعمال أي لغة لها علاقة بالويب برمجة لذلك... إستخدمت أنا الـPHP..

فقط جلب الصفحة ب curl وإستعمال htmlentities "للوصول" إلى السورس كود.. ومن ثم يمكن جلب كامل الصفحات من التي تحمل الرابط .....com/go/1 إلى أخر عنوان... وإستخراج البيانات المرجوة...

يمكن الملاحظة أن جميع الupvotes تقع داخل الdiv

 <div class="post_points"> *** </div>

وكامل التواريخ موجودة داخل div متميز كذلك... وهكذا

لذلك يمكن إستعمال دوال التعامل مع النصوص...

مسألة بناء كود متناسق يجلب كل تلك الأمور منظمة (لأنه هناك بعض التحديات كأسماء مضيفي التعليقات وماإلى ذلك.. (المجهول لديه نص div مغاير قليلا لنص المستخدم الذي لايستعمل كمجهول)).. هل التي جعلت الكود طويل قليلا من اللازم... ما تبقى هي loops وأدوات برمجية للتعامل مع البيانات Json المستخرجة...

(خوارزمية جلب المعلومات وإعدادها لتكون ملائمة للرسوم البيانية هي في حوالي 500 سطر)

أخيرا تم رسم المنحنيات بإستخدام (مايمكن تسميتها ب مكتبة) وتتوفر في موقع:

شغلت الخورزميات على

((بينما كنت أحتاج vps مجاني شاهدت للتو مساهمتك حول الخدمات التقنية المجانية... التي نفعتني...) فقط لا يمكن تشغير الCloud إلى عندما تكون متصلا به.. (عكس ذلك يلزم الدفع)).

طبعا أي إستفسار أكثر؛ فمرحبااً..

هل إستعملت web crawling معين؟

لا...

إستعملت الخطوات التي ذكرتها بالظبط..

جلب الصفحة => معالجتها بدوال التعامل مع النصوص => إستخراج البيانات وجفظها في ملف Json => (معالجتها وإستخراج قيم متوافقة مع موقع canvasJS)

عمل موفّق, شكراً جزيلاً

Mirro أضف ردا

لاحظت أن الإستضافة الأولى توقفت ولم يتم عرضها كثيراً...

إذا لم يتوقف 000webhostapp سأقوم بتشغيل ملف جلب المبيانات ب Cron job، لتتحدث البيانات بإستمرار... لنعرف أين يتجه حسوب IO..

طبعا مرحبا بأي إستفسار...