"إن معالجة اللغات الطبيعية و التعلم الآلي هما الأساس لأي نظام من الذكاء الصنعي، حيث تكمن أهميتهم في القدرة على التواصل معنا بطريقة إنسانية وأتمتة عملية التعلم، بغض النظر عماتريد الوصول اليه سواءً كان تحليلات تنبؤية أو إرشادية، تنبؤ، تحسين النموذج، أينما تذهب، يعود الأساس دائماً إلى هذه التقنيات التي كانت موجودة منذ عقود. "
هذا الاقتباس من قبل ماري بيت مور خبيرة SAS الذكاء الصنعي وتحليل اللغة الاستراتيجي. وبعد ذكر أهمية التعلم الآلي ومعالجة اللغات الطبيعية، يجب أن نذكر أن العديد من الأبحاث الجديدة في عام 2018 قد حققت تحسناً مذهلاً في معالجة اللغات الطبيعية. في هذه المقالة سوف نلقي نظرة على أفضل ثلاث نماذج متطورة لمعالجة اللغات وطرق جديدة في معالجة اللغات الطبيعية.
1- BERT
يعتبر BERT اختصارًا (Bidirectional Encoder Representations from Transformers) ممثلي التشفير ثنائي الاتجاه من المحولات ، وهو نموذج جديد متطور تم تدريبه مسبقًا على معالجة اللغات الطبيعية (NLP) وأعطى نتائج مبهرة جديدة في حل مهام معالجة اللغات الطبيعية مثل الإجابة عن الأسئلة والتعرف على الكيان المسمى والاستدلال على اللغة. على عكس نماذج معالجة اللغات الطبيعية الأخرى المدربة مسبقًا مثل OpenAI GPT و ELMo ، تم تصميم BERT بمحول ثنائي الاتجاه للتدريب على كل كلمة من الجانبين من اليسار واليمين. يوضح الشكل التالي الفرق بين النماذج الثلاثة.
يتجنب نموذج BERT ثنائي الاتجاه مسألة الحلقات التي يمكن فيها تكرار الكلمات لأنه يتم تدريبه عن طريق إخفاء نسبة مئوية من الدلالات المدخلة (input tokens) بشكل عشوائي، كما يمكنه أيضًا فهم العلاقات بين الجمل عن طريق التدريب المسبق لنموذج يحدد العلاقات بين الجمل. يعتبر بيرت حقبة جديدة في معالجة اللغات الطبيعية ويمكن استخدامه في تطبيقات الدردشة وتحليل ملاحظات العملاء.
2- SWANG
عندما يقرأ شخص ما جملة "أحمد ارتدى ملابسه" ، يكون قادرًا على توقع بقية الجملة التي قد تكون "و رحل". بخلاف البشر، لا تستطيع الآلات تكملة هذه الجملة الواضحة والسهلة لأنها تتطلب تفكيراً منطقياً. SWANG اختصار لـ (Situations With Adversarial Generations) هدفه هو تعزيز مجال البحث في استنتاج اللغة الطبيعية (Natural Language Inference)(NLI). تم تقديم SWANG كمجموعة بيانات واسعة النطاق تحتوي على 113 ألف سؤال حول مجموعة واسعة من المواقف التي تحتاج إلى التفكير المنطقي والتي تم جمعها باستخدام التعليقات التوضيحية على مقاطع فيديو متنوعة. وقد تم بناء مجموعة البيانات باتباع الخطوات التالية:
استخراج جملة من تعليق توضيحي للفيديو
استخراج الإجابة الصحيحة من تعليق الفيديو التالي
توليد إجابات خاطئة عن طريق إنشاء مجموعة كبيرة من الإجابات الخاطئة، واختيار الإجابات الأكثر ارتباطًا باستخدام نماذج الاحصائية وأخيراً تصفية النهايات التي تبدو وكأنها قد تم توليدها بواسطة الحاسوب واستبدال تلك النهايات بنهايات مشابهة لما قد يفعله أو يقوله الإنسان، تسمى هذه الطريقة لتوليد الإجابات Adversarial Filtering(AF)
يوضح الشكل السابق مثالاً على كيفية عمل SWANG. دقة SWANG عالية نسبياً حيث بلغت الدقة 86.2٪ ، بينما دقة الإنسان تصل إلى 88٪. يمكن لهذا النموذج أن يحسن التفكير المنطقي في أنظمة السؤال والجواب وروبوتات الدردشة.
- LISA
تعد LISA اختصارًا Linguistically-Informed Self-Attention، وهي عبارة عن نموذج لشبكة عصبونية مصمم لاستخراج وصف الدور الدلالي (semantic role labeling) باستخدام التعلم العميق (deep learning) والشكليات اللغوية (linguistic formalism). على سبيل المثال، الجملة "أحمد أعطى التعليمات إلى ليلى" يجب على النموذج أن يتعرف على الفعل "أعطى إلى" باعتباره المسند، "أحمد" كمسؤول عن الاعطاء أو الشخص الذي أعطى التعليمات، "التعليمات" كموضوع و "ليلى" كمتلق للإٍعطاء.
تأخذ الشبكة العصبية الكلمات المضمنة (word embeddings) كمدخلات بالإضافة إلى باراميترات مخصصة لهذه المهمة قد تم تعلمها ويتم التدريب باستخدام تقنية multi-head self-attention مع التعلم متعدد المهام (multi-task learning). على عكس النماذج السابقة لاستخراج وصف الأدوار الدلالية، لا يحتاج نموذج LISA الكثير من المعالجة المسبقة حيث يمكنها إضافة كلمات أو رموز بإدخال الرموز الخام (raw tokens) فقط ثم يتم ترميز التسلسل المدخل وبعد ذلك يتم إجراء التحليل واستخراج وصف الأدوار الدلالية. يستخدم LISA في تطبيقات التلخيص، والترجمة الآلية وأنظمة الأسئلة والأجوبة ، ويعطي نتائج جيدة للغاية في تحليل أنماط الكتابة في الصحف والمجلات والكتابات الخيالية(fictional writing).
يمكنك أن تتابع آخر التطورات عن تقنيات وتطبيقات الذكاء الصنعي المستخدمة بالميتا أو تجرب تطبيق الميتا لتحليل الأخبار وتلخيصها عبر تحميله من الرابط التالي من جوجل بلاي أو من أبل ستور.
المراجع:
1- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
2- SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference
3- Linguistically-Informed Self-Attention for Semantic Role Labeling
4- 14 NLP Research Breakthroughs
التعليقات