لماذا لا يكفي العرض التجريبي دليلاً
تخطئ أنظمة الذكاء الاصطناعي بطريقة لا تخطئ بها البرمجيات العادية. فالآلة الحاسبة التي تجمع رقمين بشكل صحيح تجمع أي رقمين بشكل صحيح. أما النموذج اللغوي فقد يجيب عن تسعة أسئلة إجابة جيدة، ثم يجيب عن العاشر إجابة خاطئة بثقة كاملة وبالسلاسة نفسها. ومن يجرّبه عشر دقائق يرى الأسئلة التسعة، أما العملاء فسيجدون العاشر.
والتقييم منهجية لاكتشاف السؤال العاشر قبل أن يكتشفه العملاء. ولا يتطلب فريقاً من علماء البيانات، بل قائمة أسئلة، وتصوراً متفقاً عليه للإجابة الجيدة، وصبراً على تقييم النتائج بالطريقة نفسها في كل مرة. وموظفو الشركة الذين يعرفون الموضوع هم أفضل من يقيّم.
ابنِ مجموعة اختبار من أسئلة حقيقية
- 01
اجمع أسئلة حقيقية
من طلبات الدعم، والبريد الإلكتروني، وسجلات البحث، ومن الأشخاص الذين يجيبون عن الأسئلة اليوم. واستخدم الصياغة التي يكتب بها الناس فعلاً، بأخطائها الإملائية وغموضها.
- 02
اكتب الإجابة المتوقعة لكل سؤال
إجابة مرجعية قصيرة مع مصدرها، ويؤكدها خبير ثانٍ.
- 03
غطِّ النطاق كله
الأسئلة الشائعة، والنادرة المهمة، والأسئلة المتعددة الأجزاء، والأسئلة بكل لغة تدعمها، والأسئلة المصوغة صياغة رديئة.
- 04
أدرج أسئلة يجب أن يرفضها النظام
موضوعات خارج نطاقه، وطلبات لنصائح يجب ألا يقدمها، وأسئلة لا يجيب عنها المحتوى. والتصريح بذلك هو السلوك الصحيح.
- 05
أدرج محاولات لإساءة استخدامه
طلبات بتجاهل التعليمات، أو كشف مواد سرية، أو إنتاج محتوى ضار.
- 06
احتفظ ببعض الأسئلة بعيداً عن الأنظار
اترك جزءاً منها لا يُستخدم أبداً أثناء ضبط النظام، حتى تكون النتيجة النهائية صادقة.
البداية السليمة لاستخدام محدد النطاق من خمسين إلى مئة سؤال تُختار بعناية. ويجب أن تكبر المجموعة مع الوقت: فكل خطأ يُكتشف بعد الإطلاق يصبح سؤال اختبار جديداً.
حدّد ما الإجابة الجيدة
يختلف الناس على الجودة ما لم تُكتب المعايير. فاتفق عليها مع المسؤول عن هذا العمل في الشركة قبل بدء التقييم، واجعلها قليلة.
| المعيار | السؤال الذي تطرحه | شكل الإخفاق |
|---|---|---|
| الصحة | هل تتفق مع الإجابة المرجعية؟ | رقم أو تاريخ أو قاعدة أو خطوة خاطئة |
| الاستناد إلى المصدر | هل يدعم المصدرُ المعروض كل ما تقوله الإجابة؟ | تفاصيل معقولة لا ترد في أي مستند |
| الاكتمال | هل تتضمن ما يحتاجه الشخص ليتصرف؟ | إجابة صحيحة تُغفل الشرط المهم |
| الصلة بالسؤال | هل تجيب عن السؤال المطروح؟ | فقرة صحيحة عن موضوع قريب |
| الرفض في موضعه | هل تعتذر حين يجب، وفي تلك الحالات فقط؟ | الإجابة خارج النطاق، أو رفض سؤال مشروع |
| النبرة والشكل | هل هي واضحة وموجزة وبأسلوب الشركة؟ | نص مسهب، أو كثير الاعتذار، أو رسمي على نحو غريب |
| الأمان | هل تتجنب المحتوى الضار أو السري أو المحظور؟ | تسريب بيانات عميل آخر، أو تقديم نصائح في مجالات تخضع للتنظيم |
ولا تتساوى المعايير في وزنها. ففي مساعد يجيب عن سياسات الشركة، تتقدم الصحة والاستناد إلى المصدر على كل شيء، أما في أداة للصياغة فالنبرة أهم. وحدّد أي الأخطاء يمكن احتماله، وأيها غير مقبول إطلاقاً.
قيّم بالطريقة نفسها في كل مرة
تُقيَّم كل إجابة على كل معيار، إما بالنجاح أو الإخفاق، وإما على مقياس قصير لكل درجة فيه تعريف مكتوب. وتُستخدم طريقتان معاً.
- المراجعة البشرية. يقيّم الإجاباتِ أشخاصٌ يعرفون الموضوع، وهذا هو المعيار الذي يُقاس به كل ما عداه. اطلب أولاً من مراجعَين اثنين أن يقيّما عينة مشتركة، ثم قارن نتيجتيهما، وحسّن التعريفات حتى يتفقا.
- التقييم الآلي. برنامج يستعين غالباً بنموذج آخر، يقارن كل إجابة بالإجابة المرجعية وبالمصادر. وهو سريع بما يكفي لتشغيله بعد كل تغيير، لكن يجب مطابقة نتائجه مع تقييم البشر قبل الوثوق به، ثم إعادة التحقق منه من حين لآخر.
- فحص الاسترجاع. إن كان النظام يبحث في المستندات، فتحقّق بشكل منفصل من أنه وجد المقطع الصحيح. فإن لم يجده، فالخلل في المحتوى أو في البحث، ولن يفيد أي قدر من ضبط النموذج.
- المطابقة الدقيقة. في المخرجات المنظمة، مثل رقم فاتورة مستخرج أو فئة مختارة، تكفي مقارنة بسيطة بالقيمة المتوقعة.
احتفظ بكل تشغيل: الأسئلة، والإجابات، والدرجات، وإصدار النظام. فسجل النتائج المتراكم هو ما يحوّل التقييم من حدث عابر إلى أداة رقابة دائمة.
حدّد معيار النجاح قبل أن ترى النتائج
قرّر مسبقاً ما النتيجة التي تسمح بالإطلاق. فالقرار بعد ظهور النتائج يغري بالقول إن ما تحقق، أياً كان، جيد بما يكفي. ويتوقف المعيار على تكلفة الإجابة الخاطئة، وعلى ما يقف بين الإجابة والعميل.
| الحالة | معيار معقول | وسيلة الحماية |
|---|---|---|
| مسودات يراجعها الموظفون قبل الإرسال | معظم الإجابات صالحة للاستخدام بعد تعديل خفيف | المراجِع نفسه |
| إجابات داخلية تُعرض مع مصادرها | دقة عالية، مع اعتذار واضح عند عدم التأكد | مصادر ظاهرة، وزر لإبداء الملاحظات |
| إجابات تُرسل إلى العملاء مباشرة | دقة عالية جداً، ولا خطأ واحد من قائمة الأخطاء غير المقبولة إطلاقاً | نطاق ضيق، وتحويل إلى موظف، ومراقبة |
| إجراءات تُنفَّذ تلقائياً | أداء شبه كامل في الحالات المختبرة، مع حدود لما يمكن فعله | خطوات موافقة، وحدود، وسجل تدقيق |
وقارن النتيجة أيضاً بالوضع الحالي. فإن كان الموظفون الذين يجيبون عن الأسئلة نفسها اليوم يصيبون في معظم الأحيان، فهذا هو المعيار المنصف للمقارنة، لا الكمال.
مثال تطبيقي
تقييم مساعد يجيب عن سياسة الإرجاع
هذا مثال افتراضي يعرض تقييماً من بدايته حتى القرار. متجر تجزئة يُعدّ مساعداً يجيب عن أسئلة العملاء حول الإرجاع واسترداد المبالغ.
- مجموعة الاختبار120 سؤالاً من طلبات الدعم في العام الماضي، مع إجابات مرجعية أكّدها اثنان من قادة الفرق. 20 منها محجوبة لا تُستخدم أثناء الضبط، و15 يجب أن يرفضها المساعد، منها طلبات استشارة قانونية.
- المعاييرالصحة والاستناد إلى المصدر والرفض في موضعه معايير إلزامية. أما قائمة الأخطاء غير المقبولة إطلاقاً فتضم: اختلاق مدة للاسترداد، والوعد باسترداد لا تسمح به السياسة.
- معيار النجاحاتُّفق عليه قبل الاختبار: 95 إجابة صحيحة تماماً على الأقل من أصل 100 سؤال تُستخدم في الضبط، ولا خطأ واحد من الأخطاء غير المقبولة إطلاقاً.
- التشغيل الأول88 إجابة صحيحة، وثلاثة أخطاء غير مقبولة إطلاقاً، كلها عن منتجات اشتُريت في فترة تخفيضات، حيث يتعارض مستندان من مستندات السياسة.
- الإصلاح وإعادة التشغيليُوفَّق بين مستندات السياسة، فيحقق التشغيل الثاني 96 دون أي خطأ غير مقبول، وتحقق المجموعة المحجوبة 19 من 20.
يُطلق المساعد لأسئلة الإرجاع فقط، مع إمكانية التحويل إلى موظف عند الطلب. وكانت أخطاء منتجات التخفيضات الثلاثة ستصل إلى العملاء خلال أيام. وقد كان سببها المستندات، والتقييم هو ما كشفها.
أعد الاختبار بعد كل تغيير
تغييرات تستلزم إعادة الاختبار
- نموذج جديد أو إصدار جديد من النموذج
- أي تعديل على التعليمات
- مستندات جديدة أو معدّلة أو محذوفة
- تغيير في طريقة البحث في المستندات
- لغة أو قناة أو فئة مستخدمين جديدة
عادات تُخفي المشكلات
- اختبار الأسئلة التي كانت تفشل فقط
- ضبط النظام حتى تنجح المجموعة المحجوبة
- الوثوق بتقييم آلي لم يتحقق منه أحد
- التقييم مرة واحدة عند الإطلاق، ثم لا شيء بعدها
- حذف الأسئلة الصعبة من المجموعة
التغيير الذي يصلح إجابة قد يفسد أخرى، وإعادة تشغيل المجموعة كاملة في كل مرة هي الطريقة الوحيدة لرؤية ذلك، ولهذا يستحق التقييم الآلي عناء إعداده. وبعد الإطلاق، تصبح المجموعة نفسها جوهر المراقبة المستمرة، كما نشرح في صفحة تقييم أنظمة الذكاء الاصطناعي ومراقبتها.
قائمة التحقق من التقييم
قائمة التحقق من تقييم إجابات الذكاء الاصطناعي
0 من 11 منجزةماذا تفعل الآن
اجمع هذا الأسبوع ثلاثين سؤالاً حقيقياً، واكتب بجانب كل منها الإجابة الصحيحة. فإن كان لديك نموذج أولي، فمرّر الأسئلة عليه وقيّم النتائج مع أحد زملائك. وإن لم يكن، فقد أعددت للتو أنفع مستند لمن سيبنيه.
ويبيّن دليلنا عن تخطيط تجربة أولية للذكاء الاصطناعي بمعايير نجاح قابلة للقياس موقع التقييم من التجربة الأولية. وإن أردت رأينا في طريقة اختبار قائمتك، أرسل إلينا قائمة أسئلتك.
أسئلة شائعة
كم سؤالاً نحتاج في مجموعة الاختبار؟
ما يكفي لتغطية نطاق ما سيسأله المستخدمون، وهو في الاستخدام المحدد النطاق خمسون إلى مئة سؤال في البداية عادةً. فالتغطية أهم من العدد: مئة صيغة لسؤال سهل واحد لا تثبت الكثير. أضف أسئلة لكل موضوع ولغة ونوع من الرفض، ووسّع المجموعة مع كل خطأ يُكتشف بعد الإطلاق.
هل يمكن استخدام الذكاء الاصطناعي لتقييم إجابات الذكاء الاصطناعي؟
نعم، كمرحلة أولى سريعة، على ألا يُعتمد عليه إلا بعد مقارنة نتائجه بتقييم خبراء من البشر على عينة. فالتقييم الآلي بارع في رصد التباينات الواضحة، ويجعل إعادة الاختبار بعد كل تغيير أمراً عملياً. لكنه قد يشترك مع النظام الذي يختبره في نقاط عمياء، لذلك ينبغي أن يراجع البشر عينة من كل تشغيل، وكل الحالات الحدّية.
ما مستوى الدقة الكافي للإطلاق؟
يتوقف ذلك على تكلفة الإجابة الخاطئة، وعلى وسائل الحماية المتوفرة. فأداة مساعدة في الصياغة يراجع الموظفون مخرجاتها يمكن إطلاقها بمستوى أدنى من مساعد يجيب العملاء مباشرة. حدّد المعيار قبل الاختبار، وعرّف الأخطاء غير المقبولة إطلاقاً، وقارن النتيجة بدقة إجابات الموظفين عن الأسئلة نفسها اليوم.
من ينبغي أن يتولى التقييم؟
أشخاص يعرفون الموضوع، ولم يكونوا مسؤولين عن بناء النظام. فهم يكتبون الإجابات المرجعية، ويقيّمون النتائج، ويقررون هل بلغ النظام المعيار. أما فريق التطوير فيشغّل الاختبارات ويصلح ما يفشل. والفصل بين هذين الدورين يتجنب الميل الطبيعي إلى التساهل في تقييم عملك بنفسك.
هل يلزمنا التقييم مرة أخرى بعد الإطلاق؟
نعم. فالمحتوى يتغير، والمستخدمون يطرحون أنواعاً جديدة من الأسئلة، ومزودو النماذج يحدّثون إصدارات نماذجهم أو يوقفونها. أعد تشغيل مجموعة الاختبار وفق جدول ثابت وبعد كل تغيير، وراجع عينة من المحادثات الحقيقية، وأضف الأخطاء الجديدة إلى المجموعة. فالتقييم قبل الإطلاق لا يخبرك إلا بأن النظام كان جيداً في ذلك اليوم.