ماذا يعني mixture of experts؟

الأمر أشبه بتوظيف فريق من المتخصصين بدلاً من موظف واحد شامل، والفائدة من ذلك هي الكفاءة الهائلة التي تسمح ببناء نماذج أكبر وأذكى وأسرع بتكلفة أقل، وكمستخدم نهائي، أنت المستفيد من نتائجها دون الحاجة للتعامل معها مباشرًة، أما بالنسبة لصانعي النماذج، فهي أصبحت تقنية لا غنى عنها للمنافسة في عالم الذكاء الاصطناعي.

الفكرة هي بدلاً من تشغيل نموذج عملاق يحتوي على 100 مليار مُعامل parameter لكل سؤال بسيط، يتم تشغيل جزء صغير فقط من النموذج مثلاً، 15 مليار مُعامل فقط، وبالتالي استجابات أسرع، استهلاك طاقة أقل بكثير، وتكاليف تشغيل أرخص بشكل جذري.

كذلك تسمح تقنية MoE ببناء نماذج بحجم إجمالي ضخم جداً مثلاً، تريليون مُعامل دون أن تصبح بطيئة ومكلفة عند الاستخدام، مع إمكانية زيادة معرفة النموذج بإضافة المزيد من الخبراء، مع الحفاظ على سرعة الاستجابة حيث لا يتم استخدامهم جميعًا في نفس الوقت.

وبما انّ كل خبير يركز على مجاله، فيمكنه أن يصبح جيد جدًا فيه، وذلك يؤدي إلى إجابات ذات جودة أعلى في المجالات المتخصصة مقارنًة بنموذج واحد يحاول أن يعرف كل شيء.

والأمر يتم من خلال ما يسمى الشبكة الموجهة Gating Network، وهي بمثابة مدير المشروع، ووظيفتها ليست الإجابة على سؤالك، بل تحليل السؤال أولاً ثم تقرير أي خبير أو مجموعة صغيرة من الخبراء هو الأنسب للتعامل مع السؤال.