لماذا لا يبقى نظام الذكاء الاصطناعي بالجودة نفسها
البرمجيات التقليدية تواصل ما كانت تفعله ما دام أحد لم يمسّها. أما نظام الذكاء الاصطناعي فقد يتراجع دون أن يلمسه أحد. تتغير سياسة ما، ولا تُحدَّث المستندات التي يقرؤها. ويبدأ العملاء بالسؤال عن منتج جديد لم يره قط. ويستبدل المزوّد إصدار النموذج بإصدار أحدث يصوغ الكلام بطريقة مختلفة أو يتبع التعليمات بصرامة أقل. وتزحف التكاليف صعوداً كلما طالت المحادثات.
ولا يطلق أي من ذلك إنذاراً في المراقبة التقنية المعتادة، لأنها لا تخبرك إلا هل يعمل النظام أم لا. والنظام يعمل فعلاً، لكنه يعطي إجابات أسوأ. لذلك فإن رعاية نظام الذكاء الاصطناعي تعني مراقبة ما يقوله، لا الاكتفاء بالتأكد من أنه يستجيب.
ما الذي تراقبه
| الجانب | المؤشرات | ما تخبرك به |
|---|---|---|
| الجودة | نتيجة مجموعة الاختبار، ودرجات المراجعة على العينات، وتقييمات المستخدمين، والأخطاء المبلّغ عنها | هل ما زالت الإجابات صحيحة |
| الاستخدام | المستخدمون النشطون، وعدد الطلبات لكل مستخدم، والمواضيع التي يُسأل عنها، والجلسات المتروكة | هل يجده الناس مفيداً، وماذا يريدون منه |
| ما لم يُجب عنه وما رُفض | أسئلة عجز عن الإجابة عنها، وتحويلات إلى موظفين، وإعادة صياغة متكررة للسؤال | أي محتوى أو قدرة تنقصه |
| التكلفة | الإنفاق لكل يوم ولكل مستخدم ولكل مهمة، مقارنة بالميزانية | هل ما زالت الجدوى الاقتصادية قائمة |
| السرعة والأعطال | زمن الاستجابة، وانتهاء المهلة، وأخطاء المزوّد، والمخرجات المشوهة | هل التجربة مقبولة |
| السلامة وإساءة الاستخدام | الطلبات المحظورة، ومحاولات استخراج البيانات أو الالتفاف على القواعد، ومخالفات السياسة | هل يختبر أحدهم حدوده، وهل تعمل الضوابط |
كثيراً ما تتضمن المحادثات بيانات شخصية. لذلك قرّر مع مستشارك في حماية البيانات، قبل أن تبدأ المراقبة، ما الذي يُحفظ، ومن يحق له قراءته للمراجعة، وكم يُحتفظ به، وكيف يُبلَّغ المستخدمون.
راجع مخرجات حقيقية وفق جدول ثابت
الأرقام تُظهر أن شيئاً قد تغيّر، والقراءة تُظهر ما هو. وأثمن ما في المراقبة أن يقرأ شخص يعرف الموضوع عينة من التفاعلات الحقيقية كل أسبوع.
- 01
اختر العينة عن قصد
مجموعة عشوائية، ومعها كل ما حصل على تقييم سيئ، وكل ما حُوّل إلى موظف، ومختارات من أطول المحادثات.
- 02
قيّم بمعايير الإطلاق نفسها
استخدم تعريفات «الصحيح» و«المستند إلى المصادر» و«المكتمل» نفسها التي استُخدمت قبل الإطلاق، كي تبقى النتائج قابلة للمقارنة مع الوقت.
- 03
ابحث عن سبب كل إخفاق
محتوى ناقص، أو محتوى خاطئ، أو إخفاق في استرجاع المعلومة، أو خطأ من النموذج، أو سؤال غير واضح، أو طلب خارج النطاق.
- 04
عالج المشكلة من مصدرها
معظم الإخفاقات تُعالج في المحتوى أو التعليمات، لا في النموذج. أسند كل إخفاق إلى المسؤول عنه.
- 05
أضف الإخفاقات إلى مجموعة الاختبار
كل إخفاق حقيقي يصبح سؤال اختبار دائماً، كي لا يعود خلسة.
أدِر تغيّر النماذج والمزوّدين
يطلق مزوّدو النماذج إصدارات جديدة بكثرة، ويوقفون القديمة وفق جداول معلنة. وكثيراً ما يكون النموذج الأحدث أفضل عموماً، لكنه أسوأ في مهمة بعينها من مهامك. لذلك تعامل مع كل تغيير في النموذج على أنه إصدار جديد لنظامك أنت.
- 01
إصدار مثبّت
ما يجب أن يكون جاهزاًاستخدم إصداراً محدداً من النموذج، لا اسماً عاماً يشير تلقائياً إلى أحدث إصدار، كي لا يتغير السلوك إلا حين تقرر أنت.
- 02
متابعة إشعارات الإيقاف
ما يجب أن يكون جاهزاًشخص مشترك في إعلانات المزوّد، والمواعيد مدوّنة في التقويم.
- 03
مجموعة اختبار جاهزة للتشغيل
ما يجب أن يكون جاهزاًالأسئلة وطريقة التقييم نفسها التي استُخدمت عند الإطلاق، وبها تستطيع مقارنة النموذج المرشح بالنموذج الحالي خلال يوم واحد.
- 04
انتقال على مراحل
ما يجب أن يكون جاهزاًجرّب الإصدار الجديد على نسبة من الطلبات أو مع مجموعة تجريبية قبل نقل الجميع إليه.
- 05
طبقة خاصة بك
ما يجب أن يكون جاهزاًيُستدعى النموذج عبر واجهة تتحكم فيها، كي لا يعني تغيير الإصدار أو المزوّد إعادة كتابة التطبيق.
- 06
سجل
ما يجب أن يكون جاهزاًأي إصدار عمل في أي فترة، كي يمكن تتبّع أي تغيّر في الجودة.
أبقِ المحتوى محدّثاً
حين يجيب النظام من مستندات أو بيانات، تكون رعايته في معظمها رعاية لتلك المصادر. فالمستندات الجديدة والمعدّلة يجب أن تصل إليه، والمسحوبة يجب أن تخرج منه، ويجب أن يتابع أحدٌ قائمة الأسئلة التي عجز عن الإجابة عنها.
محتوى تحت السيطرة
- لكل مصدر مسؤول وموعد مراجعة
- التغييرات في المصدر تصل إلى النظام تلقائياً
- الأسئلة التي لم يُجب عنها تُراجع، وينتج عنها محتوى جديد
- إطلاق أي منتج أو سياسة جديدة يشمل تحديث مصادر النظام
- النسخ القديمة تُحذف، ولا تُترك بجانب الجديدة
محتوى بلا متابعة
- مستندات رُفعت مرة واحدة عند الإطلاق ولم تُمس منذ ذلك الحين
- لا أحد يعرف أي نسخة يقرؤها النظام
- السؤال نفسه يفشل كل أسبوع
- الموظفون يتوقفون عن استخدامه بصمت، ويعودون إلى سؤال زملائهم
- تغييرات المحتوى تُكتشف من شكاوى العملاء
مثال تطبيقي
ستة أشهر من تشغيل مساعد داخلي للدعم التقني
هذا مثال افتراضي يوضح نوع الأحداث التي تكشفها المراقبة. شركة فيها 600 موظف تشغّل مساعداً يجيب عن أسئلة تقنية المعلومات من مقالات المساعدة لديها.
- الشهر الأولتكشف المراجعة الأسبوعية لخمسين محادثة أن الأسئلة عن أداة المصروفات الجديدة تفشل، لأن دليلها لم يُضف أصلاً. فيُضاف الدليل، ومعه ثلاثة أسئلة اختبار.
- الشهر الثانيتتضاعف التكلفة اليومية خلال أسبوع. وتُظهر بيانات الاستخدام فريقاً يلصق ملفات سجلات كاملة في المساعد. ويحل المشكلة حدٌّ لطول المدخلات وتنبيه قصير.
- الشهر الرابعيعلن المزوّد إيقاف إصدار النموذج المستخدم. فتُشغَّل مجموعة الاختبار على الإصدار البديل: النتيجة الإجمالية أعلى قليلاً، لكنه صار يجيب عن سؤالين كان يجب أن يرفضهما. فتُعدَّل التعليمات وتُختبر من جديد قبل الانتقال.
- الشهر الخامستنخفض تقييمات المستخدمين. وتتتبع المراجعة السبب إلى تغيير في إجراء الدخول عن بُعد خلّف مقالتين متناقضتين، فتُسحب القديمة منهما.
- الشهر السادسيعرض التقرير الربعي عدد الأسئلة التي أُجيب عنها، والمواضيع الأكثر إخفاقاً، وتكلفة كل سؤال مُجاب، ويقترح إضافة طلبات الأجهزة موضوعاً جديداً.
لم يكن أي من هذه الأحداث توقفاً للنظام، ولظلت المراقبة المعتادة تُظهر اللون الأخضر طوال الوقت. وقد اكتُشف كل منها خلال أيام لأن أحداً كان يقرأ ويعدّ ويختبر.
الأدوار واتفاقية الدعم والتقارير
- المسؤول من جهة العمل. يُسأل عن جدوى النظام. يتسلم التقرير، ويقرر النطاق والميزانية، ويملك صلاحية إيقاف النظام مؤقتاً.
- المسؤول عن المحتوى. يحافظ على صحة المصادر، ويتابع الأسئلة التي لم يُجب عنها.
- مراجع الجودة. يقرأ العينة الأسبوعية ويقيّمها، ويحافظ على مجموعة الاختبار. ويجب أن يكون ممن يعرفون الموضوع.
- الدعم التقني. يراقب التكلفة والسرعة والأعطال ومؤشرات الأمان، وينفذ التغييرات، ويدير إصدارات النموذج. وكثيراً ما تتولاه الشركة التي بنت النظام بموجب اتفاقية دعم.
- تقرير دوري. شهري أو ربعي: الاستخدام، والجودة مقارنة بمستوى الإطلاق، والتكلفة، وأبرز الإخفاقات وما اتُّخذ بشأنها، والتوصيات.
يجب أن تحدد اتفاقية الدعم لنظام الذكاء الاصطناعي المراقبة المشمولة، وأوقات الاستجابة للأعطال، ومن يعيد تشغيل مجموعة الاختبار ومتى، وكيف يُتعامل مع تغيّر النماذج، وما الذي يُرفع في التقارير. وتشرح صفحة تقييم أنظمة الذكاء الاصطناعي ومراقبتها كيف نقدّم ذلك.
قائمة التحقق من المراقبة والدعم
قائمة التحقق من مراقبة الذكاء الاصطناعي ودعمه
0 من 11 منجزةماذا تفعل الآن
إن كان لديك نظام ذكاء اصطناعي يعمل، فاقرأ بنفسك عشرين تفاعلاً حقيقياً من الأسبوع الماضي. ثم اسأل: من سيلاحظ لو ساءت إجاباته الشهر المقبل؟ فإن كان الجواب «لا أحد»، فهذا أول دور يجب أن تسنده.
وإن لم يكن النظام قد أُطلق بعد، فإن قائمة التحقق من جاهزية النموذج الأولي للتشغيل الفعلي تغطي ما يجب تجهيزه أولاً. أخبرنا بما تشغّله، وسنقترح عليك ما يستحق المراقبة.
أسئلة شائعة
لماذا قد يتراجع نظام الذكاء الاصطناعي بعد الإطلاق؟
لأن ما يحيط به يتغير: المستندات تتقادم، والمستخدمون يسألون عن مواضيع جديدة، والمزوّدون يحدّثون النماذج، وأنماط الاستخدام تتبدل. وقد تبقى البرمجيات على حالها بينما تتراجع جودة إجاباتها. والمراقبة المعتادة لتشغيل النظام لا ترى ذلك، ولهذا تحتاج إلى مراجعة منتظمة للمخرجات الحقيقية، وإلى مجموعة اختبار تُحدَّث باستمرار.
كم مرة يجب أن نراجع مخرجات النظام؟
أسبوعياً في الأشهر الأولى، بعينة كبيرة بما يكفي لتغطية المواضيع الرئيسية، وشهرياً على الأقل بعد أن يستقر. وراجع فوراً بعد أي تغيير في النموذج أو التعليمات أو المحتوى المهم. ويجب أن يعكس معدل المراجعة تكلفة الإجابة الخاطئة: فالنظام الذي يخاطب العملاء يستحق متابعة أدق من أداة داخلية تساعد في كتابة المسودات.
كم يكلّف تشغيل نظام ذكاء اصطناعي؟
تشمل تكاليف التشغيل استخدام النموذج، الذي يزداد مع حجم الاستخدام وطول المدخلات والمخرجات، والاستضافة، وأدوات المراقبة، ووقت الأشخاص الذين يراجعون النظام ويصونونه. واستخدام النموذج هو البند الأكثر تقلباً. لذلك قِس تكلفة كل مهمة من البداية، وضع حدوداً وتنبيهات، وراجع الأرقام شهرياً، لأن الأسعار تتغير، وكذلك الاستخدام.
ماذا يحدث حين يوقف المزوّد نموذج الذكاء الاصطناعي الذي تستخدمه؟
يعلن المزوّدون عن إيقاف النماذج مسبقاً. فإن كان لديك إصدار مثبّت، ومتابعة للإعلانات، ومجموعة اختبار، يصبح التغيير أمراً روتينياً: اختبر الإصدار البديل على حالاتك، وعدّل التعليمات إن اختلفت النتائج، وانقل مجموعة تجريبية، ثم الجميع. ومن دون ذلك، قد تكون أول إشارة رسالة خطأ أو تغيّراً مفاجئاً في السلوك.
هل نحتاج إلى عقد دعم لنظام الذكاء الاصطناعي؟
نعم، إن لم تكن لديك داخل الشركة المهارات اللازمة لإدارة تغيّر النماذج والتكلفة والأعطال والأمان. وبخلاف دعم البرمجيات المعتاد، يجب أن تغطي الاتفاقية الجودة أيضاً: من يعيد تشغيل مجموعة الاختبار، ومن يراجع المخرجات، وما الذي يُرفع في التقارير. أما المسؤولية عن المحتوى ومراجعته من أهل الاختصاص فتبقى عادةً داخل مؤسستك، أياً كان الترتيب التقني.
