لا ترى Sara، المشترية في Northline Apparel، أي أدوات ذكاء اصطناعي يستخدمها موظفو مصنع ما يوميًا. ترى النتائج: ردًا يجيب عن سؤال لم تطرحه، مواصفة تختلف قليلًا عن التي اعتمدتها، تاريخ تسليم يتغير دون سبب واضح. عندما لا يملك مصنع أو مكتب شراء أي قاعدة لكيفية استخدام أدوات الذكاء الاصطناعي، تبدأ هذه النتائج بالظهور بشكل أكثر تكرارًا، ولا تملك Sara طريقة لمعرفة أي منها جاء من ناتج بمساعدة الذكاء الاصطناعي لم يراجعه أحد بعناية.
يشرح هذا الدرس بشكل أساسي مسار القرار الذي يحتاجه المشترون والمصانع معًا: ما الذي يحدث فعليًا عندما يُترك استخدام الذكاء الاصطناعي بلا حوكمة، حتى لا تكون سياسة الدرس 5.1 مجرد إجراء شكلي بل استجابة لمخاطر حقيقية ومحددة. بدون رؤية هذه المخاطر بوضوح، تميل المنشأة إلى معاملة سياسة استخدام الذكاء الاصطناعي كأوراق روتينية بدلًا من كونها الحاجز بين خطأ أداة ذكاء اصطناعي والعميل.
تحتاج إلى: التفكير الذي قدمه الدرس 5.1 عن سبب وجود سياسة استخدام ذكاء اصطناعي. يذهب هذا الدرس أبعد بتسمية المخاطر المحددة التي تسمح بها سياسة غائبة.
بنهاية هذا الدرس تستطيع:
لا يغطي هذا الدرس: كيفية تقييم أداة ذكاء اصطناعي محددة قبل تبنيها (الدرس 5.3) وكيفية تحديد المسؤولية بمجرد وقوع خطأ بالفعل (الدرس 5.4).
| المصطلح | المعنى |
|---|---|
| استخدام غير محكوم للذكاء الاصطناعي | استخدام الذكاء الاصطناعي بلا سياسة مكتوبة، ولا قاعدة معلومات، ولا خطوة مراجعة بشرية في مكانها. |
| خطأ صامت | خطأ في ناتج بمساعدة الذكاء الاصطناعي يبدو واثقًا وصحيحًا، فلا يلاحظه أحد قبل إرساله أو التصرف بناءً عليه. |
| خطأ على نطاق واسع | نفس الخطأ يتكرر تلقائيًا عبر مستندات أو طلبيات أو رسائل كثيرة لأن أداة ذكاء اصطناعي أنتجته مرة واحدة وأُعيد نسخه أو استخدامه. |
| مواصفة مسربة | تفصيل فني أو تجاري من طلبية مؤكدة يُشارَك خارج من يُفترض أن يراه. |
| التزام غير محقق | وعد قُطع لمشترٍ أو مصنع، كتابيًا، ثم تبيّن أنه لا يطابق الحقائق الفعلية. |
كل من هذه المخاطر الثلاثة ينتج مباشرة عمّا تفعله أداة الذكاء الاصطناعي فعليًا. يمكنها الاحتفاظ بما تُعطى له وإعادة استخدامه، وهكذا تُسرَّب المواصفة. تنتج نصًا واثقًا وسلسًا سواء كانت الحقيقة الأساسية صحيحة أم لا، وهكذا يفلت خطأ صامت من قارئ لا يراجع بعناية. ولأنها تستطيع إنتاج نفس نوع الناتج فورًا وبشكل متكرر، فإن خطأً واحدًا لم يُكتشف في طريقتها قد يظهر في مستندات كثيرة قبل أن يلاحظ أحد النمط.
لا يشترط أي من هذه المخاطر الثلاثة أن تكون أداة الذكاء الاصطناعي رديئة بشكل استثنائي؛ إنها تنتج عن سلوك ذكاء اصطناعي عادي يلتقي بعملية عمل لا تملك سياسة ولا قاعدة معلومات ولا خطوة مراجعة تكتشفها.
| ما الذي يختلف؟ | أمثلة عملية | لماذا يهمك؟ |
|---|---|---|
| طلبية تصدير بنظام Make to Order، جانب المشتري | يتلقى المشتري ردًا بمساعدة الذكاء الاصطناعي من مصنع يجيب بثقة لكنه لا يطابق خطة الإنتاج المؤكدة. | لا يملك المشتري طريقة لمعرفة أن الرد كان بمساعدة الذكاء الاصطناعي أو غير مراجَع؛ تقع تكلفة الثقة به على جانب المشتري نفسه. |
| تجديد مخزون محلي بنظام Make to Stock | يترك فريق تخطيط علامة محلية أداة ذكاء اصطناعي تصيغ توصية إعادة طلب من تاريخ المبيعات دون مراجعة. | كمية إعادة طلب خاطئة تربط نقدًا حقيقيًا في مخزون لن يُباع، ولا يُكتشف ذلك إلا حين لا يتحرك المخزون. |
| طلبية هجينة عبر مصنع نسيج | يصيغ مصنع نسيج مواصفة مواد بأداة ذكاء اصطناعي ويعيد استخدام نفس المسودة عبر طلبيتَي مشترٍ هجينتين دون مراجعة أي منهما مقابل اعتماد المشتري الخاص به. | يصبح خطأ صامت واحد في المسودة المشتركة خطأً على نطاق واسع، يتكرر بشكل مطابق عبر أكثر من طلبية دفعة واحدة. |
| مكتب شراء يحمل معلومات أكثر من مشترٍ | يلصق الموظفون سعر مشترٍ واحد المؤكد في أداة ذكاء اصطناعي أثناء طرح سؤال عام، دون قصد كشفه. | مواصفة أو سعر مسرب خرق للسرية حتى لو لم يقصد أحد مشاركته؛ النية لا تغير التعرض للخطر. |
| اختلاف نوع المنتج | تحمل طلبيات الجوارب وknit-to-garment والمناشف والمفروشات المنزلية جميعها نفس المخاطر الثلاثة؛ يتغير فقط المستند المحدد المعرض للخطر (سطر مواصفة، سجل عيوب، تفصيل حافة). | المخاطر الثلاثة عامة لأي استخدام ذكاء اصطناعي على معلومة طلبية مؤكدة، لا خاصة بنوع منتج واحد. |
أكّد Northline Apparel الطلبية A مع Delta Garments: 15,000 تي شيرت، single jersey 180 GSM، Ne 30/1، سعر FOB متفق عليه USD 3.20 للقطعة، وإجمالي قيمة الطلبية USD 48,000. تطلب Sara من Delta Garments تأكيد أن الشحنة لا تزال على المسار الصحيح للأسبوع المتفق عليه. تتلقى ردًا سلسًا وواثقًا يؤكد الأسبوع الأصلي، موقّعًا من عضو في فريق ميرشندايزنج Delta Garments.
ما لا تعرفه Sara هو أن الرد صاغته أداة ذكاء اصطناعي من نسخة أقدم من جدول الإنتاج، لأن الموظف لم يحدّث المعلومة المُعطاة للأداة بعد تسجيل تأخير يومين في صباح ذلك اليوم نفسه. لم يراجع أحد في Delta Garments الرد مقابل الجدول الحالي قبل إرساله، لأن لا سياسة اشترطت ذلك.
تخطط Sara جدول استلام مستودعها بناءً على الأسبوع المؤكد. عندما تصل الشحنة متأخرة يومين، لا سبب لديها لتوقع ذلك، لأن الرد الذي تلقته لم يعطها أي إشارة على أن شيئًا تغيّر. تقع تكلفة الاستخدام غير المحكوم للذكاء الاصطناعي على جانب Sara في الطلبية، لا على جانب Delta Garments حيث وقع الخطأ.
الرقم المحسوبخطأ صامت لمدة يومين صغير أمام هامش تخطيط مدته أسبوعان، لذا قد لا يكلف قيمة الطلبية كاملة في هذه الحالة؛ لكن نفس العملية غير المحكومة يمكن أن تخفي بسهولة تأخيرًا أطول، أو كمية خاطئة، أو تفصيل مواصفة خاطئ، وكل منها قادر على تعريض قيمة الطلبية الكاملة USD 48,000 للخطر إذا وصل إلى Sara دون مراجعة. حجم الخطر يحدده ما هو على المحك في الطلبية، لا مدى صغر هذا الخطأ بالتحديد.
أداة ذكاء اصطناعي تصيغ ردودًا سلسة وواثقة تبدو موثوقة، وهذا بالضبط سبب خطورة الخطأ الصامت داخلها: طلاقة الناتج لا علاقة لها بصحة الحقيقة الأساسية. الحكم على هذا الأساس يفوّت السؤال الحقيقي، وهو أي معلومة مؤكدة تلمسها الأداة ومن يقرأ ناتجها دون مراجعة.
القاعدة الأفضل بسيطة: احكم على خطر أداة ذكاء اصطناعي حسب أي معلومة عمل مؤكدة تلمسها ومن يستلم ناتجها دون مراجعة، لا حسب مدى ثقة إجاباتها.
أداة ذكاء اصطناعي بلا قاعدة حولها أشبه برسول سريع وواثق سيكرر ما يتذكره نصفيًا، بصوت هادئ ومقنع، دون أن يعرف هل هو صحيح. إذا حمل هذا الرسول سعرك المؤكد أو تاريخك المؤكد أو مواصفتك المؤكدة دون أن يراجع أحد ما يقوله أولًا، قد يصل خطأ صغير إلى مشترٍ أو مصنع وكأنه حقيقة، وقد يصل إلى عدة مشترين أو عدة طلبيات في الوقت الذي يستغرقه إعادة استخدام نفس المسودة.
الحل ليس التوقف عن استخدام الأداة؛ بل معرفة بالضبط أين يصل ناتجها إلى من سيتصرف بناءً عليه، ووضع شخص هناك قبل أن يحدث ذلك.
يستخدم عضو في فريق Delta Garments أداة ذكاء اصطناعي لتلخيص تقرير فحص داخلي طويل في تحديث قصير لـ Sara، قبل مكالمة مجدولة. يفيد الملخص المولَّد بالذكاء الاصطناعي بأن الشحنة اجتازت الفحص دون مشاكل. التقرير الأصلي، الذي لم يُعِد عضو الفريق قراءته بعد توليد الملخص، يسجل فعليًا نوع عيب واحد فوق حد الجودة المقبول المتفق عليه على عينة صغيرة من الكراتين.
هل تعتمد Sara الإفراج عن الدفعة بناءً على الملخص كما هو؟ قرري أولًا ثم افتحي الإجابة.
لا. يُوقَف الإفراج عن الدفعة حتى يُراجَع تقرير الفحص الأصلي مباشرة مقابل حد العيوب.
1. أغفل الملخص المولَّد بالذكاء الاصطناعي عيبًا سجله التقرير الأصلي بوضوح، ما يوضح أن الملخص لا يمكن الوثوق به كبديل عن التقرير نفسه في قرار دفع. 2. لم يقارن أحد الملخص بالتقرير الأصلي قبل إرساله، وهذا هو الضابط الغائب، لا سببًا للوثوق بالملخص هذه المرة. 3. الإفراج عن دفعة بُني على ملخص خاطئ سيحتاج إلى عكس أو نزاع بمجرد اكتشاف العيب، وهذا يكلف وقتًا وثقة أكبر بكثير من مراجعة التقرير الأصلي الآن.
تكلفة الإفراج عن الدفعة بناءً على الملخص الخاطئ لا تقتصر على العيب نفسه؛ بل إن Sara ستكون قد أفرجت عن دفعة بناءً على مستند لا يعكس نتيجة الفحص الحقيقية، مما يضعف كل ملخص مستقبلي ترسله Delta Garments إليها.
قيمة الطلبية A الإجمالية الثابتة توضح ما هو على المحك بالفعل قبل إضافة أي خطر متعلق بالذكاء الاصطناعي:
نادرًا ما تدمر أداة ذكاء اصطناعي غير محكومة هذه القيمة في حدث واحد واضح. تكلفتها الحقيقية مواصفة مسربة تقوّض اتفاق سرية، أو خطأ صامت يصل إلى مشترٍ كأنه حقيقة، أو خطأ يتكرر عبر عدة مستندات قبل أن يلاحظ أحد النمط. كل من هذه أصعب في الاكتشاف من خطأ واضح، وكل منها يآكل الثقة التي يضعها مشترٍ في كل رد أو عرض سعر أو تقرير مستقبلي ترسله المنشأة، إلى ما هو أبعد بكثير من قيمة الطلبية الواحدة التي حدث فيها.
أرخص نقطة لمنع هذه التكلفة هي بالضبط حيث تضعها سياسة الدرس 5.1: قبل أن يغادر الناتج بمساعدة الذكاء الاصطناعي المنشأة دون مراجعة.
استخدم ملف قائمة تدقيق حوكمة الذكاء الاصطناعي ومخاطره الخاص بالمسار T18-C05. في ورقة نقاط مخاطرة الذكاء الاصطناعي، سجل كل موضع في المنشأة يصل فيه ناتج بمساعدة الذكاء الاصطناعي إلى شخص خارج الفريق الذي أنتجه، وأي نوع من المعلومات معرض للخطر هناك، وهل يراجعها مراجع معلوم حاليًا. ابدأ بنقاط مخاطرة الرد والملخص الخاصة بـ Delta Garments على الطلبية A، ثم كرر التمرين على منشأتك.
[تحميل قائمة تدقيق حوكمة الذكاء الاصطناعي ومخاطره](../../templates/T18-C05-ai-governance-and-risk-checklist.xlsx)
1. لماذا يكون خطأ صامت وواثق في رد بمساعدة الذكاء الاصطناعي أخطر من خطأ خاطئ بوضوح؟
2. لدى الطلبية B (3,000 بنطلون جينز، سعر FOB مستهدف متفق عليه USD 9.80 للقطعة) مواصفة صيغت بمساعدة الذكاء الاصطناعي وأُعيد استخدامها دون مراجعة عبر طلبيتين هجينتين تستخدمانها كلتاهما. يتكرر خطأ واحد في المسودة في كلتا الطلبيتين. ما نوع هذا الخطر؟
| AR | EN | FR | TR | المعنى |
|---|---|---|---|---|
| استخدام غير محكوم للذكاء الاصطناعي | Ungoverned AI use | Usage non gouverné de l'IA | Yönetişimsiz yapay zekâ kullanımı | استخدام الذكاء الاصطناعي بلا سياسة مكتوبة، ولا قاعدة معلومات، ولا خطوة مراجعة بشرية في مكانها. |
| خطأ صامت | Silent error | Erreur silencieuse | Sessiz hata | خطأ في ناتج بمساعدة الذكاء الاصطناعي يبدو واثقًا وصحيحًا، فلا يلاحظه أحد قبل إرساله أو التصرف بناءً عليه. |
| خطأ على نطاق واسع | Error at scale | Erreur à grande échelle | Ölçekte hata | نفس الخطأ يتكرر تلقائيًا عبر مستندات أو طلبيات أو رسائل كثيرة لأن أداة ذكاء اصطناعي أنتجته مرة واحدة وأُعيد نسخه أو استخدامه. |
| مواصفة مسربة | Leaked specification | Spécification divulguée | Sızdırılmış spesifikasyon | تفصيل فني أو تجاري من طلبية مؤكدة يُشارَك خارج من يُفترض أن يراه. |
| التزام غير محقق | Broken commitment | Engagement non tenu | Yerine getirilmeyen taahhüt | وعد قُطع لمشترٍ أو مصنع، كتابيًا، ثم تبيّن أنه لا يطابق الحقائق الفعلية. |
في الدرس التالي ستتعلم ما يجب التحقق منه قبل تبني أي أداة ذكاء اصطناعي، حتى لا تخلق نفس المخاطر التي أوضحها هذا الدرس للتو. العودة إلى خريطة الدورة