ماهو الoverfitting،بالضبط؟

حسب مايظهره المخطط، يمكننا استنتاج أن overfitting أو فرط التخصيص يؤدي لزيادة عدد أخطاء النموذج مع عينات الاختبار (عينات لم يتم التدرب عليها) و يعطي أخطاء أقل مع عينات التدريب.

التعريف: فرط التخصيص (Overfitting): وتشير هذه المشكلة إلى أن النموذج يؤدي عملًا جيدًا مع بيانات التدريب، ولكنه لا يستطيع أن يعمّم التعلّم على البيانات الجديدة.

يحدث فرط التخصيص عندما يكون النموذج معقدًا جدًا بالنسبة لكمية بيانات التدريب وضجيجها. بعض الحلول الممكنة في هذه الحالة هي:

• تبسيط النموذج عن طريق تحديد نموذج بمعلمات أقل (فمثلًا، نختار نموذج خطي بدلًا من نموذج متعدد الحدود عالي الدرجة)، عن طريق تقليل عدد السمات في بيانات التدريب أو عن طريق تقييد النموذج.
• جمع المزيد من بيانات التدريب.
• تقليل الضوضاء في بيانات التدريب (مثل إجراء عملية إصلاح أخطاء البيانات وإزالة القيم المتطرفة وما إلى ذلك).

يمكنك قراءةالمقالة:

المفاهيم الأساسية لتعلم الآلة من اكاديمية حسوب .