السلام عليكم
اريد ان عرف حجم قاعدة البيانات اللازمة لارشفة وعمل اندكس لالف ( 1000 ) موقع في حجم موقع traidnet مثلا
يعني عمل اندكس وارشفة جميع صفحات وجلب بيانات من ( 1000 ) موقع في حجم ترايد نت وغيره من المواقع الكبيرة
كم يتوقع ان تكون حجم قاعدة البيانات التي ستضم ارشفة لجميع صفحات تلك المواقع ؟
الذي سيحدد الرقم التقريبي هو نوع الأرشفة التي ستقوم بها
هل ستقوم بأرشفة كاملة للموقع(صفحات-صور-ملفات-مرئيات-إلخ)؟
أم نُسخة HTML للمحتوى النصي؟
أم ستقوم بعمل بوت لجلب محتوى معين؟
تقريباً لو تم عمل بوت لجلب المحتوى النصي فقط بدون أكواد HTML/CSS/JS ستكون مساحة قاعدة البيانات للمواقع الكبيرة بمُعدل من 25 جيجا بايت إلى 250 جيجا لكل موقع وبالتالي سيكون لديك قاعدة بحجم 25000 إلى 250000 جيجا بايت، هذه البيانات من شخص يعمل في مجال الأرشفة وأخبرني أن قاعدة بيانات موقع مصراوي تقريباً هي 250 جيجا بايت.
في هذه الحالة يجب عليك دراسة التعامل مع البيانات الكبيرة واستخدام أنظمة أكثر ملائمة لهذا الكم الهائل من البيانات كاستخدام قواعد بيانات NoSQL.
التعليقات