ما حدود الاعتماد على الذكاء الاصطناعي في عملنا؟

في حادثة غريبة جدا تسبب نظام ذكاء اصطناعي مدعوم بنموذج Claude Opus 4.6 في حذف قاعدة بيانات الإنتاج وكل النسخ الاحتياطية الخاصة بشركة PocketOS وهي شركة تقدم برامج تعتمد عليها شركات تأجير السيارات. النتيجة طبعا كانت فوضى كبيرة انتهت بإغلاق الشركة بينما لم يكن لدى النظام سوى تقديم اعتذار بعد وقوع الضرر.

ما حدث هنا يتجاوز فكرة الخطأ التقني. أي نظام قد يخطئ لكن عندما يمنح صلاحيات واسعة داخل بيئة حساسة يصبح الخطأ قادر على تدمير عمل سنوات خلال دقائق. الفرق كبير بين استخدام الذكاء الاصطناعي كمساعد وبين تحويله إلى جهة تنفذ قرارات مصيرية دون رقابة حقيقية.

المشكلة الأساسية أن الذكاء الاصطناعي لا يملك شعور بالمسؤولية. لا يدرك معنى خسارة شركة أو فقدان وظائف أو تأثير قراراته على حياة أشخاص آخرين. هو ينفذ أنماط وتعليمات لكنه لا يحمل الإحساس البشري بالعواقب.

لهذا يبدو أن الخطر لا يكمن في التقنية نفسها بل في الطريقة التي يتم بها تسليمها زمام الأمور. كثير من الشركات تنجذب لفكرة السرعة وتقليل التكاليف فتمنح الأنظمة الذكية صلاحيات أكبر مما ينبغي ثم تكتشف متأخرة أن الكفاءة لا تعني الحكمة.

المشهد الحالي يوضح أن الذكاء الاصطناعي قد يكون أداة قوية جدا لكنه ليس بديل كامل عن الحكم البشري. وفي الأعمال الحساسة قد يكون وجود إنسان يراجع ويوقف القرار في اللحظة المناسبة أهم من أي تطور تقني مهما بدا مبهرا

يرجى الدخول لحسابك أو تسجيل حساب لتستطيع إضافة تعليق
حساب جديد دخول

التعليقات

لكن عندما يمنح صلاحيات واسعة داخل بيئة حساسة يصبح الخطأ قادر على تدمير عمل سنوات خلال دقائق

برغم الخسائر ولكني اري هذا درس جيد سيردع اعطاء صلاحيات واسعه للاله في البيئات الحساسة مثل حركة الطيران وادارة المفاعلات النووية والتكنولوجيا العسكرية و الاتصالات والبنوك ، اعتقد ان هناك من رأي الدرس وتعلم ان الذكاء الاصطناعي مساعد وليس قائد للبشر .

قرأت من يومين بوست على لينكد إن لشخص سيسجل محاضرات لكيفية استخدام أدوات الذكاء الصناعي كلها وتقليل ميزانية الشركات لعدم التعامل مع موظفين أو مستقلين، وقال بأنه يخصص جهده كله لهذه المحاضرات، وبصراحة كنت أنوي السؤال: أليس هذا أيضًا يعني أنه سيتم الاستغناء بنفس البساطة؟ أظن أن المشكلة الآن أصبحت كيفية استبدال وليس كيفية دمج كما يروّج له.

التجربة هي من ستعلم اين سيكون الاستغناء مفيد واين سيكون خسائره اكبر من فوائده

ما اتعجب له هو كيف تقوم جهات حساسة كهذه باستبدال البشر بالذكاء الاصطناعي مع علمهم أن البشر لديهم ما لا يمكن للذكاء الاصطناعي أبدا نسخه أو تقليده وهو الشعور بالمسئولية والعواقب التي تترتب عليها أفعالنا. فمثلا في القصة التي ذكرتها في المساهمة بعد أن قام الذكاء الاصطناعي بمحو قاعدة بيانات كاملة لشركة وجعلها امام افلاس حتمي كل ما فعله هو الاعتذار بمنتهى البرود ببساطة لأنه لا يدرك مدى الضرر الذي أحدثه

هذا الحادث هو الدليل القاطع على ما ذكرته في مقالي حول 'الوكلاء الذكيين'. الأتمتة بدون 'تفكير نقدي بشري' هي مجرد تسريع للكوارث. في عالم البرمجة، نؤمن بمبدأ (Least Privilege)، ومنح نموذج لغوي صلاحيات الحذف التلقائي هو خطأ في 'هندسة المنطق' وليس عجزاً في الذكاء الاصطناعي نفسه. الإنسان هنا ليس 'منفذاً'، بل هو 'صمام أمان' لا يمكن استبداله بالخوارزميات.

المشكلة ان البعض ينظر للأمر بالعكس، فيرى أن كون الانسان يمكن أن يكون عاطفي وأن يتخذ قرارات بناء على مشاعره يجعله هو الحلقة الأضعف ويجعل الذكاء الاصطناعي أفضل منه في هذه النقطة حيث أن كل قراراته مبنية على خوارزميات وحسابات فقط، لكن مقابل هذا نفقد شيء مهم جدا وهو الاحساس بالمسئولية والذي لا يمكن للذكاء الاصطناعي استنساخه او محاكاته

أتفق معك تماماً في هذه النقطة، وهي تفتح باباً مهماً للنقاش حول 'المسؤولية الأخلاقية'.

الذكاء الاصطناعي بالفعل يتفوق في سرعة الحسابات والحياد الظاهري، لكنه في النهاية 'منفذ' وليس 'صاحب قرار مسؤول'. الخوارزمية إذا أخطأت لا تشعر بالذنب ولا تتحمل تبعات قرارها، بينما الإنسان عندما يقرر بناءً على عاطفته أو ضميره، فهو يضع مسؤوليته الأخلاقية والقانونية على المحك.

هذا ما نسميه في الأمن السيبراني والذكاء الاصطناعي بـ Human-in-the-loop؛ أي ضرورة وجود العنصر البشري ليس فقط لتصحيح الأرقام، بل لإضفاء 'البعد القيمي' الذي تعجز عنه الأكواد. العاطفة هنا ليست 'حلقة أضعف' بقدر ما هي 'بوصلة' تمنع تحول القرارات إلى عمليات جافة قد تكون منطقية حسابياً لكنها كارثية إنسانياً.

برأيك، هل سيأتي يوم نثق فيه بخوارزمية لاتخاذ قرارات مصيرية دون إشراف بشري، أم أن 'الإحساس بالمسؤولية' سيبقى الحصن الأخير لنا؟

هو خطأ كارثي، ولكن المديرين وأصحاب القرار في الشركات يفعلون أشياء كارثية كذلك، الإدارة البشرية لديها حس مسؤولية ولكن خبرتها محدودة، وإمكانياتها وإلمامها بالأمور كذلك، ونسبة الخطأ عالية جداً أكثر من الذكاء الاصطناعي الذي يتعامل بدقة على الأقل تفوق دقة الإنسان. أعتقد الخطأ من عند الإدارة أنها لا تؤمن بياناتها كما يجب وليس لحجم المسئولية المعطاة للذكاء الاصطناعي. لم أعد أرى الذكاء الاصطناعي منافس للبشر هو مساعد أو خادم ليس أكثر مثله مثل التريلا التي تحمل أطنان ونحن لا نستطيع سوى حمل ٥٠ كجم.

لكن هناك جانب آخر وهو جانب المسئولية، فحين يخطئ الذكاء الاصطناعي فلن تستطيع الشركة التي خسرت بسببه لوم المطورين لأنهم ببساطة يمكنهم القاء اللوم على الشركة وقول أنهم حملوه مهام لا يجب أن يكون مسئول عنها دون اشراف بشري وسيكون معهم حق، لكن اذا أخطأ شخص فيمكن محاسبته أو طلب تعويضات منه أو حتى معاقبته

برأيي أنا سعيد بخسارتهم ليس شماتة فيهم لكن انظر لحجم التسريح للعمالة البشرية الذي حدث وحجم عمليات الظلم التي تمت تحت بند تمكين التقنية وخفض مصروفات الرواتب وهنا هم اخذوا جزاء هذا الظلم، فكون النموذج توسع لهذه الدرجة ذلك يعني أنه حل محل الكثير من الموظفين.

الغريب أن الشركات يبدو أنهم مصرين على فكرة استبدال البشر بالذكاء الاصطناعي اصرار عجيب رغم كل المشاكل المحيطة بالأمر سواء من نتائج سلبية على أداء الشركات أو رد الفعل السلبي جدا من الجماهير العامة، ولعل أضخم حملات الهجوم حاليا على شركة قامت بشيء مشابه هي ديزني حيث قامت بفصل آلاف العاملين في مجال المؤثرات البصرية في استوديوهات مارفل توفيرا للنفقات ولصالح الذكاء الاصطناعي مما أثار غضب الكثيرين لأنه مجال يحتاج لابداع ورؤية بشرية وليس عمل روتيني يمكن استبدال البشر فيه