كيف تم بناء خدمة التايملاين بتويتر
تحليل ممتاز!
دائماً يعجبني بالشركات الأجنبية أنها تطور أنظمة وأجزاء تعتبر مهمة وأساسية لعملها ثم تفتح مصدرها وتتيح استخدامها للجميع، مما يتيح لشركات أخرى البناء والتطوير عليها حتى وان كان من سيستخدمها منافس لهم.
Apache Hadoop مثلا طور بالاعتماد على ورقة بحث نشرها مهندسين في Google وتستخدمه Yahoo ولينكدان ومئات الشركات الأخرى. فيسبوك طورت Thrift و Cassandra والآن تستخدمه Twitter وهكذا للكثير من التقنيات.
لمن لا يعلم عن ماذا نتحدث، هذه ليست مكتبات برمجية صغيرة مثلاً بل أنظمة معقدة جداً تستخدمها شركات على آلاف الأنظمة لدعم خدمات أساسية كالبحث وتخزين البيانات الضخمة.
هم ينظرون أن فتح مصدر هذه التقنيات سيطور القطاع بشكل عام ويسرع نموعه مما بالمقابل سيعود بالفائدة على الجميع وليس بوجهة نظر محدودة.
و ايضا لديهم رؤية استخدام افضل اداة للعمل مهما كانت و بغض النظر عن منشيء التقنية و طبعا يستفيدوا من فتح مصدر المشروع لاضافة الافكار من الجهات الاخرى و بالتالي افادوا و ايضا استفادوا من الأفكار المقدمة من الشركات الاخرى و تساعدهم في توسع المشروع و زيادة ادائه
و كتبت مقالتين ايضا واحده عن يوتيوب و الأخرى بداية بسيطة عن كيفية عمل انستاقرام و اتفاجأ من كمية المشاريع مفتوحة المصدر المستخدمة و كيف يستخدموها و كيف ان بعضهم عدل عليها لكي تتماشى مع حجم مشروعهم و ايضا نشروا تعديلاتهم و اضافاتهم على المشاريع الاساسية . لدينا مسافة طويلة لكي يتم تبني هذه الثقافة بدلا من الاعتماد الشبه كلي على الشركات الكبرى و تقنياتها المغلقة
نعم تحليل جميل حقا!
هل لديك ما تخبرنا به حول MapReduce؟
على الجانب: مقالة مفيدة كثيرا حول كيف اختارت شركة MarkedUp النظام الأمثل لخدمتها الإحصائية.
شكرا لك .. للأسف لم اكتب عن كيفية عمل MapReduce لكن ان شاء الله سأحاول ان استعرض تاريخها و فكرتها و كيفية عملها و طبعا Hadoop مبنى على ورقة قوقل المشهورة
لكن احب انوه ان قوقل ايضا عرفت محدوديات هذا النمط و عملت ورقه اخرى عن معالجة القراف و اسمته Pregel و نشرته و بالامكان الاطلاع عليه هنا
و لكنه ليس مفتوح المصدر لكن هناك مشروع دخل ضمن مشاريع Hadoop و تمت تسميته Giraph
و هناك مشاريع كثيرة لمعالجة القراف الضخمة سواء كانت من مايكروسوفت او جامعات مثل Carnegie Mellon
اعتقد انها مشاريع يجب علينا دراستها
بالتوفيق للجميع
التعليقات