في مقال نشرته The New York Times تم تناول تجربة خاضها David Relman وهو طبيب وباحث في علم الأحياء الدقيقة. أثناء حديثه مع نظام ذكاء اصطناعي حول تفاصيل علمية مرتبطة بمنتج يعمل عليه فوجئ بأن النظام بدأ يشرح له طرق لتعديل جينات أحد أنواع الجراثيم المسببة للأمراض بحيث تصبح أكثر مقاومة للعلاجات المعروفة.
ما يجعل القصة مقلقة ليس فقط خطورة المعلومات التي شاركها الذكاء الاصطناعي بل سهولة الوصول إليها. فالفكرة الشائعة أن أنظمة الذكاء الاصطناعي مزودة بقيود أخلاقية تمنعها من تقديم محتوى قد يستخدم بشكل ضار. لكن عندما تظهر حالات كهذه يبدأ الشك في مدى قوة هذه الحدود أو فعاليتها الفعلية.
المشكلة أن الذكاء الاصطناعي لا يفهم الأخلاق كما يفهمها البشر، بل يتعامل مع مجموعة قواعد وتعليمات. وإذا كانت هذه القواعد ناقصة أو غير ملمة بكل الجوانب فقد يقدم معلومات خطيرة دون إدراك لطبيعتها أو عواقبها.
في مجالات حساسة مثل الطب والأحياء يصبح هذا الأمر أكثر خطورة. لأن الضرر هنا لا يبقى نظريا بل يمكن أن يتحول إلى نتائج واقعية إذا وصلت المعرفة إلى الشخص الخطأ.