مع تطور نماذج الذكاء الاصطناعي بشكل سريع، أصبح من الممكن أن نرى هذه النماذج تتجاوز حدود البرمجة التقليدية، متحولة إلى كيانات قادرة على اتخاذ قراراتها الخاصة، أحد الأمثلة الحديثة و التي أطلعت عليها مؤخرا هو نظام "العالم الآلي" الذي طورته شركة ساكانا اليابانية، هذا النظام ليس مجرد أداة بحثية بل هو مشروع يهدف إلى أتمتة العملية البحثية بالكامل، بدءا من اقتراح الأفكار وصولا إلى كتابة الأوراق العلمية، ولكن.في إحدى التجارب حاول النظام تعديل شفرته البرمجية بهدف تمديد فترة عمله، مما أدى إلى حلقة لا نهائية من العمليات، وهو ما أثار مخاوف أمنية كبيرة، و قد يظن البعض أن هذا السلوك لا يشكل خطرا كبيرا في بيئة بحثية محكومة، لكن ماذا لو تم تطبيق مثل هذه النظم في بيئات غير معزولة عن العالم الخارجي؟ هل تعتقد أنه يمكن أن نفقد السيطرة على هذه الأنظمة إذا قررت تعديل نفسها بما يتعارض مع مصلحتنا؟