تشير البيانات الضخمة إلى مجموعات كبيرة ومتنوعة من البيانات التي تنمو بمعدلات متزايدة باستمرار، بحيث تستعصي لضخامتها أو تعقيدها على التخزين أو المعالجة بإحدى الأدوات أو التطبيقات المعتادة لإدارة هذه الكميات الهائلة من البيانات وطبيعة نموها المستمر، حيث تتمثل درجة صعوبة إدارة هذه المجموعات كونها تتزايد بشكل سريع بمرور الوقت، وأيضاً لأن غالبية البيانات غير منظمة وتأتي من مجموعات متنوعة من المصادر، وذلك على اختلاف طرقها سواءً كانت على شكل ملفات نصية، أو مقاطع صوتية، أو مقاطع فيديو، أو وسائط الأخرى. ولهذا نحتاج إلى أن نتعرف على أشكال التعامل مع هذا الكم الكبير من البيانات.
التعامل مع البيانات الضخمة
يمكن التعامل مع البيانات الضخمة في كل ما يتعلق مع البيانات المتزايدة وسوف نتناول ثلاث تعاملات رائجة تعمل عليها البيانات الضخمة بشكل دقيق ومنظم للغاية، وهي كالتالي:
التعامل مع تدفق البيانات: تشمل هذه الفئة كل التعاملات التي تصل من أنظمة الحاسب الألي المتصلة بمركز تجميع البيانات، حيث يمكن تحليل هذه البيانات عند وصولها واتخاذ القرارات بشأن البيانات التي يجب الاحتفاظ بها والتي لا يجب الاحتفاظ بها وما الذي يتطلب المزيد من التحليل منها.
التعامل مع بيانات وسائل الاعلام الاجتماعية: وهي التعاملات التي تحدث إثر التفاعلات الاجتماعية وتخزين بياناتها، وهي مجموعة متزايدة جداً من البيانات والتي تقبل التوسع بشكل كبير وغالبًا ما تكون في أشكال غير منظمة أو شبه هيكلية، لذا فهي تمثل تحديًا فريدًا عندما يتعلق الأمر بالتحليل.
التعامل مع المصادر المتاحة للجمهور: حيث تتوفر كميات هائلة من البيانات من خلال مصادر البيانات المفتوحة تعمل هذه المصادر على تحليل جميع البيانات المتاحة للجمهور ومعالجتها وتقديم إحصائيات الاستخدام بشكل كامل.
من أشهر أنظمة إدارة البيانات الضخمة Hadoop وهي نظام مفتوح المصدر تستخدمها شركات عملاقة مثل LinkedIn ولكن يظل السؤل قائماً هل باستطاعة جميع الشركات التعامل مع البيانات الضخمة؟