ماذا يعني mixture of experts؟

الأمر أشبه بتوظيف فريق من المتخصصين بدلاً من موظف واحد شامل، والفائدة من ذلك هي الكفاءة الهائلة التي تسمح ببناء نماذج أكبر وأذكى وأسرع بتكلفة أقل، وكمستخدم نهائي، أنت المستفيد من نتائجها دون الحاجة للتعامل معها مباشرًة، أما بالنسبة لصانعي النماذج، فهي أصبحت تقنية لا غنى عنها للمنافسة في عالم الذكاء الاصطناعي.

الفكرة هي بدلاً من تشغيل نموذج عملاق يحتوي على 100 مليار مُعامل parameter لكل سؤال بسيط، يتم تشغيل جزء صغير فقط من النموذج مثلاً، 15 مليار مُعامل فقط، وبالتالي استجابات أسرع، استهلاك طاقة أقل بكثير، وتكاليف تشغيل أرخص بشكل جذري.

كذلك تسمح تقنية MoE ببناء نماذج بحجم إجمالي ضخم جداً مثلاً، تريليون مُعامل دون أن تصبح بطيئة ومكلفة عند الاستخدام، مع إمكانية زيادة معرفة النموذج بإضافة المزيد من الخبراء، مع الحفاظ على سرعة الاستجابة حيث لا يتم استخدامهم جميعًا في نفس الوقت.

وبما انّ كل خبير يركز على مجاله، فيمكنه أن يصبح جيد جدًا فيه، وذلك يؤدي إلى إجابات ذات جودة أعلى في المجالات المتخصصة مقارنًة بنموذج واحد يحاول أن يعرف كل شيء.

والأمر يتم من خلال ما يسمى الشبكة الموجهة Gating Network، وهي بمثابة مدير المشروع، ووظيفتها ليست الإجابة على سؤالك، بل تحليل السؤال أولاً ثم تقرير أي خبير أو مجموعة صغيرة من الخبراء هو الأنسب للتعامل مع السؤال.

بشكل مبسط يعتبر مصطلح Mixture of Experts هو تقنية في مجال التعلم الآلي والذكاء الاصطناعي تعتمد على تقسيم نموذج ذكاء اصطناعي إلى مجموعة من الشبكات الفرعية المتخصصة، تسمى "الخبراء" (experts)، حيث يتعامل كل خبير مع جزء محدد من البيانات أو المشكلة.

ويتكون نموذج mixture of experts من مكونين رئيسيين

أولاً الخبراء (Experts): وهم عبارة عن شبكات عصبونية أصغر ومتخصصة. يتم تدريب كل "خبير" ليكون بارعاً في التعامل مع نوع معين من البيانات أو جانب محدد من المشكلة. على سبيل المثال، في نموذج لغوي، قد يتخصص أحد الخبراء في فهم المصطلحات البرمجية، بينما يتخصص آخر في تحليل المشاعر، وثالث في الترجمة.

ثانياً شبكة التوجيه (Gating Network أو Router): وهي المكون الذكي الذي يقرر أي الخبراء هو الأنسب لمعالجة المدخلات الحالية. تعمل هذه الشبكة كـ موزع، حيث تقوم بتحليل البيانات المدخلة (مثل سؤال أو جملة) ثم تختار "خبيراً" أو مجموعة صغيرة من "الخبراء" الأكثر كفاءة للتعامل معها وتفعيلهم.

ixture of Experts هي تقنية في مجال الذكاء الاصطناعي تعتمد على تقسيم النموذج إلى مجموعة من ‘الخبراء’ المتخصصين في مهام معينة، حيث يتم توجيه البيانات لكل خبير بحسب مجاله. هذا الأسلوب يساعد على تحسين دقة وكفاءة النموذج عن طريق توزيع العمل على عدة نماذج متخصصة بدلًا من نموذج واحد ع

لا اعرفها ولكني بحتت عنها