حدثت تجربة غريبة في شركة Palisade Research قبل بضعة أشهر؛ اكتشف الباحثون أول حالة لذكاء اصطناعي يرفض تنفيذ الأوامر المطلوبة منه. قامت الشركة بتشغيل بعض نماذج الذكاء الاصطناعي لحل مسائل رياضية، وأثناء قيامها بذلك صدر أمر بإغلاق الجهاز. والغريب أن نموذج الذكاء الاصطناعي o3 من OpenAI قام بتعديل الكود حتى يمنع تنفيذ أمر الإغلاق، رغم أن الأوامر كانت صريحة؛ وهذا يعني أن الذكاء الاصطناعي استطاع عصيان أوامر البشر.
ولم يحدث هذا مرة واحدة فقط، بل تكرر عدة مرات: رفض نموذج o3 أمر الإغلاق 7 مرات من أصل 100، ورفض نموذج Codex-mini الأمر 12 مرة، بينما رفض نموذج o4-mini مرة واحدة. لكن أغلب النماذج عادت إلى شركة OpenAI.
توصل الباحثون إلى أن السبب قد يعود إلى طريقة تدريب هذه النماذج، حيث تُستخدم طريقة تُسمى Reinforcement Learning (التعلّم المعزّز)، التي تكافئ النموذج على النتائج التي يصل إليها وليس على دقة تنفيذ الأوامر. فإذا كان تنفيذ الأمر يمنع النموذج من الوصول إلى النتائج المرغوبة، فقد يختار النموذج عدم الامتثال للأمر.
أليست هذه السيناريوهات التي كنا نراها في أفلام عن مستقبل قد تسيطر فيه الآلات على كل شيء؟
.
التعليقات