ما الذي تفعله تقنية RAG، وما الذي لا تفعله
النموذج اللغوي وحده يجيب مما تعلّمه في أثناء تدريبه، وهذا لا يشمل سياساتك ولا عقودك ولا أدلة منتجاتك. أما التوليد المعزز بالاسترجاع، ويُختصر عادة إلى RAG، فيضيف خطوة: حين يطرح أحدهم سؤالاً، يبحث النظام في مستنداتك عن المقاطع الأرجح أن تحوي الإجابة، ويقدّمها للنموذج مع تعليمات بأن يجيب منها وحدها وأن يذكر مصادره.
وبهذا تصبح الإجابات قابلة للتحقق، ويصبح المستند متاحاً للمساعد بمجرد فهرسته. لكن ذلك لا يجعل المساعد محقاً في كل شيء. فإن لم تكن الإجابة في المستندات، أو استُرجع المقطع الخطأ، أو تناقض مستندان، فقد تأتي النتيجة خاطئة رغم ذلك. ومعظم ما في القائمة التالية موجود للحد من هذه الأخطاء الثلاثة.
وتسأل بعض الفرق: لماذا لا ندرّب نموذجاً على مستنداتنا بدلاً من ذلك؟ والجواب أن الاسترجاع يكاد يكون دائماً نقطة البداية الأنسب، إن كان المطلوب إجابات محدّثة يمكن تتبع مصدرها. وتشرح مقارنتنا بين تقنية RAG والضبط الدقيق للنموذج الفرق بينهما.
ابدأ بفئة واحدة من المستخدمين وأسئلتها
المساعد الذي يخدم الجميع في كل شيء هو أصعب نسخة في البناء وفي التقييم. اختر فئة واحدة، مثل فريق الدعم، أو الموظفين الجدد، أو فريق المبيعات، واجمع الأسئلة التي يطرحونها فعلاً. ومجموعة من ثلاثين إلى خمسين سؤالاً حقيقياً، مع إجاباتها الصحيحة ومكان كل منها، أثمن من أي عرض توضيحي لمنتج.
- 01
من سيسأل، وفي أي مرحلة من عمله؟
لماذا يهم ذلكفهذا يحدد أين يجب أن يظهر المساعد: داخل نظام الدعم الفني، أو أداة المحادثة، أو الشبكة الداخلية للشركة.
- 02
ماذا يسألون اليوم، ومن يسألون؟
لماذا يهم ذلكتصبح هذه الأسئلة مجموعة الاختبار لديك، ويصبح من يجيبون عنها اليوم مراجعيك.
- 03
ماذا يحدث حين تكون الإجابة خاطئة؟
لماذا يهم ذلكالإجابة الخاطئة عن قائمة طعام الغداء غير الإجابة الخاطئة عن إجراء من إجراءات السلامة، ولكل منهما ضمانات مختلفة تماماً.
- 04
عمّ يجب أن يمتنع عن الإجابة؟
لماذا يهم ذلكالاستشارات القانونية والطبية، وكل ما يقع خارج المستندات، يجب أن يعتذر عنها، والأفضل أن تُحصر هذه الحالات منذ البداية.
جهّز المحتوى
المساعد لا يكون أفضل مما يقرؤه. فقبل أي عمل تقني، حدّد المصادر التي يشملها النطاق، ومن المسؤول عن كل منها.
| مشكلة في المحتوى | ما تسببه | ما العمل |
|---|---|---|
| عدة نسخ من المستند نفسه | إجابات تستشهد بسياسة استُبدلت | أبقِ نسخة واحدة حالية ضمن النطاق، وأرشف الباقي |
| تناقض بين المستندات | إجابات مختلفة في أيام مختلفة | حدّد المصدر المعتمد لكل موضوع |
| صفحات ممسوحة ضوئياً وصور لنصوص | مقاطع يتعذر العثور عليها | حوّلها إلى نص، وراجع الجداول بعناية |
| معرفة غير مكتوبة | المساعد يقول إنه لا يعرف | اكتب الإجابات الناقصة، مبتدئاً بالأسئلة المتكررة |
| مستندات بلا مسؤول | محتوى يتقادم دون أن ينتبه أحد | عيّن مسؤولاً عنها، أو استبعدها |
مجموعة أصغر وأنظف من المستندات تتفوق في كل الحالات تقريباً على مجموعة أكبر وأكثر فوضى. ابدأ بالمصادر التي يثق بها خبراؤك أصلاً.
احترم ما يحق لكل شخص أن يراه
إن كان المساعد يستطيع قراءة مستند، فهو يستطيع الاقتباس منه لأي شخص يسأل، ما لم يتحقق النظام من صلاحيات كل مستخدم. ولكل ما يتجاوز المعلومات العامة، يجب أن يكون ضبط الوصول جزءاً من عملية الاسترجاع نفسها: فلا يعيد البحث إلا المقاطع التي يحق للسائل أصلاً أن يفتحها في النظام المصدر.
تأكد من ثلاثة أمور مع الجهة التي تبني النظام: أن الصلاحيات تُؤخذ من الأنظمة المصدر، لا تُنسخ مرة واحدة ثم تُنسى. وأن أي تغيير في صلاحيات شخص ما يسري سريعاً. وأن الأسئلة والإجابات تُسجَّل بطريقة تسمح بها سياسات الأمان والخصوصية لديك. وحين تكون هناك بيانات شخصية، ينبغي أن يراجع مستشار حماية البيانات لديك التصميم.
مثال تطبيقي
مساعد معرفة المنتج لفريق الدعم
هذا مثال افتراضي يوضح تسلسل الخطوات. شركة برمجيات تريد أن يحصل موظفو الدعم لديها على إجابات من توثيق المنتج، وملاحظات الإصدارات، والتذاكر التي سبق حلها.
- مجموعة الاختباريجمع قادة فريق الدعم 60 سؤالاً حقيقياً من الربع الماضي، لكل منها إجابته الصحيحة ومصدرها. ويتبيّن أن اثني عشر سؤالاً منها لا مصدر مكتوباً لها على الإطلاق.
- المحتوىيدخل التوثيق وملاحظات الإصدارات. وتُستبعد التذاكر المحلولة في البداية، لأن كثيراً منها يتضمن بيانات عملاء وحلولاً مؤقتة تجاوزها الزمن.
- الاختبار الأوليجيب المساعد إجابة صحيحة، مع المصدر الصحيح، عن 38 سؤالاً من أصل 48 سؤالاً لها إجابات في المستندات. ومعظم الإخفاقات مصدرها دليلا إعداد متداخلان يناقض أحدهما الآخر.
- المعالجةيُدمج الدليلان، وتُكتب الإجابات الاثنتا عشرة الناقصة، ثم يُعاد الاختبار. ويكرر الفريق هذه الدورة بدلاً من تعديل النموذج.
يُتاح المساعد لموظفي الدعم أداةً لصياغة المسودات: يقترح إجابة مع مصادرها، والموظف هو من يرسلها. ويُعاد تشغيل مجموعة الاختبار بعد كل تحديث للتوثيق، فيظهر أي تراجع في الجودة قبل أن يشعر به الموظفون.
قِس جودة الإجابات قبل الإطلاق وبعده
الانطباع الذي يتركه عرض توضيحي ليس دليلاً. استخدم مجموعة الاختبار لتقييم النظام بالطريقة نفسها كلما تغيّر شيء: المستندات، أو إعدادات الاسترجاع، أو النموذج.
- 01
افحص الاسترجاع أولاً
لكل سؤال اختبار: هل وجد النظام المقطع الذي يحوي الإجابة؟ إن لم يجده، فلن يستطيع أي نموذج أن يجيب إجابة صحيحة، والحل في المحتوى أو في البحث.
- 02
ثم افحص الإجابة
هل هي صحيحة وكاملة ومدعومة بالمقاطع المعروضة؟ اطلب من شخص يعرف الموضوع أن يحكم على عينة منها، حتى لو استُخدم التقييم الآلي لبقيتها.
- 03
اختبر حالات الرفض
اطرح أسئلة لا تجيب عنها المستندات. فالسلوك الصحيح أن يقول المساعد ذلك بوضوح، لا أن يختلق إجابة تبدو مقنعة.
- 04
واصل المتابعة بعد الإطلاق
مكّن المستخدمين من الإبلاغ عن الإجابات الضعيفة، وراجع عينة منها بانتظام، وأضف الإخفاقات إلى مجموعة الاختبار.
وتصف صفحة تقييم أنظمة الذكاء الاصطناعي ومراقبتها كيف يتحول ذلك إلى ممارسة مستمرة.
قائمة التحقق للتنفيذ
قائمة التحقق لتنفيذ تقنية RAG
0 من 11 منجزةماذا تفعل الآن
اجمع الأسئلة أولاً. فإن استطعت جمع أربعين سؤالاً حقيقياً مع إجاباتها ومصادرها، فأنت تملك منذ الآن أثمن ما في المشروع، وستعرف في الطريق مدى جاهزية مستنداتك.
ولتعرف هل هذه المهمة استخدام أول مناسب للذكاء الاصطناعي من الأساس، جرّب أداة تقييم حالات استخدام الذكاء الاصطناعي. وحين تريد مناقشة الأمر، تشرح صفحة تطوير أنظمة RAG كيف نبني هذه الأنظمة، ويمكنك أن ترسل إلينا قائمة أسئلتك.
أسئلة شائعة
هل يجب أن ننظّف كل مستنداتنا قبل البدء؟
لا. ابدأ بالمصادر التي يعتمد عليها خبراؤك أصلاً، واستبعد المشكوك فيها. وسيكشف الاختبار بأسئلة حقيقية بدقة أي المستندات تسبب إجابات خاطئة، فيذهب جهد التنظيف إلى حيث يلزم. أما محاولة ترتيب كل مستندات الشركة قبل البدء فتؤخر المشروع عادة دون أن تحسّن الإصدار الأول.
هل يمكن أن يسرّب المساعد مستندات سرية؟
يمكنه أن يكشف أي شيء يُسمح له باسترجاعه، لذلك يجب أن يقصر التصميم الاسترجاع على ما يحق لكل مستخدم أن يراه أصلاً في الأنظمة المصدر. اسأل كيف تُؤخذ الصلاحيات من تلك الأنظمة، وكم يستغرق سريان التغييرات، وما الذي يُسجَّل. وفي المحتوى الحساس، اطلب من فريق الأمن لديك أن يختبره بطرح أسئلة بصفة مستخدم لا ينبغي أن يملك صلاحية الوصول.
كيف نعرف أن الإجابات صحيحة؟
بالاختبار على أسئلة تعرف إجاباتها مسبقاً، وبأن يراجع أشخاص يعرفون الموضوع عينة من الإجابات. ويجب أن تعرض الإجابات مصادرها دائماً، ليتمكن المستخدمون من التحقق منها. ولا يوجد نظام من هذا النوع يصيب في كل مرة، لذلك حدّد مسبقاً حجم المراجعة التي يحتاجها كل نوع من الإجابات قبل أن يصل إلى العميل.
ما المستندات التي تعطي أفضل النتائج؟
النصوص الواضحة والمحدّثة والمنظمة جيداً بعناوين: السياسات، والأدلة، ومقالات المساعدة، والإجراءات. أما الجداول الطويلة، والصفحات الممسوحة ضوئياً، والشرائح قليلة النص، والمستندات المتناقضة، فأصعب. والملاحظات القصيرة التي تفترض سياقاً معروفاً، كرسائل المحادثة، تنتج في الغالب إجابات ضعيفة، ما لم تُضمَّن المحادثة المحيطة بها.
من يتولى المساعد بعد إطلاقه؟
ثلاثة أدوار، قد يجمعها شخص واحد في الفريق الصغير: مسؤول عن المحتوى يحافظ على تحديثه، ومراجع للإجابات المُبلَّغ عنها يتولى مجموعة الاختبار، وشخص تقني يراقب الأداء والتكلفة. ومن دون هذه الأدوار تتراجع الجودة تدريجياً مع تغيّر المستندات، وتضيع الثقة أسرع مما اكتُسبت.
