عندما لا يعرف الذكاء الاصطناعي الإجابة على أحد الأسئلة، من المفترض أن يقول "لا يعرف"، ولكن ذلك لا يحدث، فهو يفضل الإجابة بطريقة خاطئة على قول إنه لا يعرف. هذا ليس خطأً تقنيًا فقط، بل نتيجة طريقة تدريبه كل إجابة، حتى لو كانت خاطئة، تُكافأ، وكل اعتراف بعدم المعرفة يُعاقب.

وفي ورقة بحثية جديدة قالت OpenAI إنها قامت بتدريب نموذجها بحيث يتجنب قول "لا أعرف"، ونتيجة لذلك قد يعطي إجابات غير صحيحة، لكنه يفعل ذلك بثقة كاملة تجعلك واثقًا من أن كلامه صحيح. وقد حدث ذلك مع أحد أقربائي من قبل، عندما سأل ChatGPT عن الفرق بين دوائين رغم معرفته أنهما أدوية لضغط الدم، فقرر ChatGPT الإجابة، لكنها لم تكن صحيحة. وحتى عندما أُخبر أنه أخطأ، لم يصدق، حتى أرسل له صورة من جوجل لتأكيد خطأ إجابته، عندها فقط اقتنع بذلك.

 المشكلة هنا هي سلوك الذكاء الاصطناعي تجاه ما لا يعرفه أو المعلومات غير المؤكدة لديه بدلًا من الاعتراف بعدم المعرفة. والمخاطر التى ستترتب على ذلك، في تضليل المستخدمين، خاصة إذا كانت الإجابات المقدمة بثقة كبيرة في الناحية الطبية.