لماذا يتطلب الوكيل حذراً أكبر من روبوت المحادثة
روبوت المحادثة يجيب، أما الوكيل فيتصرف: يبحث عن المعلومات في أنظمتك، ويرسل الرسائل، وينشئ السجلات، ويمضي بالمهمة عبر عدة خطوات يختار كلاً منها بنفسه. هذه الفائدة مصدرها الصلاحيات، وفي الصلاحيات يكمن الخطر. يمكنك أن تتجاهل إجابة خاطئة، لكن الإجراء الخاطئ يكون قد وقع بالفعل.
أمران يميّزان الوكلاء عن الأتمتة المعتادة. الأول أن سلوكهم لا يمكن التنبؤ به تماماً، لأن نموذجاً لغوياً هو الذي يقرر الخطوة التالية. والثاني أنهم يتأثرون بما يقرؤونه: فقد تتضمن رسالة بريد إلكتروني أو صفحة ويب أو مستند نصاً كُتب ليحرف الوكيل عن مساره، وهو أسلوب يُعرف بحقن التعليمات. ولا يمكن الاعتماد على أي تعليمات تُعطى للنموذج لمنع ذلك، لذلك يجب أن يفترض التصميم أنه قد يحدث، وأن يضمن بقاء الضرر عندئذ محدوداً.
امنح الوكيل هوية خاصة به
ينبغي أن يُنسب كل إجراء في أنظمتك إلى منفّذه، ويبدأ ذلك بأن تحدد من يكون الوكيل حين يتصرف.
| النمط | طريقة العمل | متى تستخدمه |
|---|---|---|
| يعمل باسم المستخدم | يستخدم الوكيل صلاحيات الشخص الذي طلب المهمة، فلا يستطيع إلا ما يستطيعه ذلك الشخص | مساعد يعمل لشخص واحد في كل مرة، كالإجابة عن الأسئلة من واقع سجلاته |
| هوية خدمة مستقلة | للوكيل حساب خاص به، بصلاحيات مضبوطة على مقاس مهمته | عمل في الخلفية لا يطلبه مستخدم بعينه، مثل معالجة المستندات الواردة |
| الجمع بين الاثنين | هوية خاصة بالوكيل، لا تتجاوز صلاحياتها صلاحيات من أطلق المهمة | وكلاء يخدمون مستخدمين كثيرين وينفذون مهام على مستوى النظام أيضاً |
أياً كان النمط المناسب، تجنّب الحسابات الإدارية المشتركة، ولا تُعِر الوكيل أبداً بيانات دخول أي شخص، وتأكد أن الإجراءات تظهر في سجل كل نظام على أنها من فعل الوكيل، نيابةً عن شخص محدد بالاسم إن وُجد. ومكان بيانات الدخول خزنة للأسرار، لا تعليمات الوكيل، وتُغيَّر دورياً كأي بيانات دخول أخرى.
امنح أقل صلاحيات تحتاجها المهمة
- 01
اكتب خطوات المهمة
لكل خطوة: النظام الذي تتعامل معه، وهل تقرأ منه أم تكتب فيه. وما ليس في القائمة لا يُمنح.
- 02
أتِح أدوات ضيقة النطاق
يحصل الوكيل على وظائف محددة، مثل البحث عن طلب برقمه أو إنشاء مسودة رد، ولا يحصل على اتصال عام بقاعدة بيانات أو بصندوق بريد.
- 03
افصل القراءة عن الكتابة
كثير من الوكلاء المفيدين يحتاجون إلى قراءة واسعة، ولا يكادون يكتبون في أي مكان. لذلك امنح كل صلاحية منهما على حدة.
- 04
قيّد النطاق
اقصر الوصول على السجلات أو المجلدات أو العملاء أو صناديق البريد التي تخص المهمة، لا على النظام كله.
- 05
تحقّق من المدخلات داخل الأداة
تفحص كل أداة ما يُطلب منها وفق قواعد ثابتة، أياً كان ما طلبه النموذج. فإذا طلب الوكيل ردّ مبلغ يزيد على ما دُفع، رفضت الأداة الطلب.
- 06
راجع بانتظام
الصلاحيات التي تُمنح لتجربة أولية تبقى في الغالب بعد انتهائها. راجع القائمة وفق جدول ثابت، واحذف ما لا يُستخدم.
اختبار مفيد: لو سيطر طرف خارجي على الوكيل سيطرة كاملة لمدة ساعة، فما أسوأ ما يمكنه فعله بالصلاحيات التي يملكها الوكيل؟ صمّم الصلاحيات بحيث يكون الجواب شيئاً يمكنك احتماله.
ضع حدوداً، واشترط الموافقة على ما لا يمكن التراجع عنه
| أداة الضبط | مثال | يحمي من |
|---|---|---|
| حدود القيمة | استرداد المبالغ حتى سقف محدد، وخصومات ضمن السياسة المعتمدة | خطأ واحد مكلف |
| حدود المعدّل | حد أقصى لعدد الرسائل أو الطلبات أو التحديثات في الساعة | التكرار الخارج عن السيطرة والأخطاء بالجملة |
| خطوات الموافقة | يؤكد شخص قبل أي دفعة أو رسالة خارجية أو عملية حذف | الإجراءات التي لا رجعة فيها أو التي تتجه إلى خارج المؤسسة |
| وضع المسودة | تُنشأ السجلات والرسائل في صورة مسودات، ولا تخرج إلا حين يطلقها شخص | أخطاء المحتوى |
| مستلمون ووجهات مسموح بها | البريد فقط إلى العناوين المسجلة في ملف العميل، والملفات فقط إلى مواقع التخزين المعتمدة | إرسال البيانات إلى حيث لا ينبغي أن تذهب |
| حدود الوقت والميزانية | سقف لعدد الخطوات ومدة التشغيل وتكلفة النموذج في كل مهمة | مهام لا تنتهي |
| مفتاح الإيقاف | أداة تحكم واحدة توقف الوكيل وتسحب صلاحياته | أي أمر غير متوقع |
يشرح دليلنا عن تصميم الموافقات والمراجعة البشرية في مسارات عمل الذكاء الاصطناعي كيف تقرر أي الإجراءات تحتاج إلى شخص، وكيف تبقى تلك المراجعة حقيقية لا شكلية.
تعامل مع ما يقرؤه الوكيل على أنه غير موثوق
كل ما يصل من خارج نطاق سيطرتك قد يحمل تعليمات موجهة إلى الوكيل: رسالة تطلب منه أن يعيد توجيه صندوق البريد كله، أو مستند من مورّد يحمل نصاً مخفياً، أو صفحة ويب طُلب منه تلخيصها. وقد ينفذ الوكيل تلك التعليمات، لأن التعليمات والبيانات تبدو متشابهة في نظر النموذج اللغوي.
تصاميم تحصر الخطر
- الوكيل الذي يقرأ محتوى خارجياً لا يصل إلى البيانات الحساسة ولا إلى قنوات الإرسال للخارج
- الإجراءات التي يطلقها محتوى وارد تحتاج إلى موافقة شخص
- الرسائل الصادرة لا تذهب إلا إلى مستلمين معروفين
- الأدوات تفرض القواعد مهما طلب النموذج
- الطلبات المشبوهة تُسجَّل وتُراجَع
تصاميم تفتح الباب للمشكلات
- وكيل واحد يقرأ صفحات الإنترنت العامة، ويطّلع على البيانات الخاصة، ويستطيع إرسال البريد
- الاعتماد على تعليمات تطلب من النموذج تجاهل النصوص المدسوسة
- تنفيذ التعليمات الواردة في المستندات تلقائياً
- عرض مخرجات الوكيل التي تتضمن روابط أو صوراً من مصادر غير موثوقة دون فحص
- عدم اختبار الوكيل بمحتوى خبيث مُعدّ عمداً
النمط الذي يمكن الاعتماد عليه هو الفصل. فالوكيل المعرّض لمحتوى غير موثوق لا ينبغي أن يملك في الوقت نفسه بيانات خاصة ووسيلة لإرسالها إلى الخارج. وحين تبدو المهمة بحاجة إلى الثلاثة معاً، قسّمها إلى خطوات يفصل بينها شخص أو قاعدة صارمة.
احتفظ بسجل تدقيق يمكن الاستفادة منه
- ما طُلب. الطلب أو الحدث الذي بدأ المهمة، ومن أطلقها، شخصاً كان أو نظاماً.
- ما رآه الوكيل. السجلات والمستندات والرسائل التي استرجعها، أو إحالات إليها.
- ما فعله. كل استدعاء لأداة بمدخلاته ونتائجه، بالترتيب، مع وقت كل استدعاء.
- ما أنتجه. الإجابة أو الرسالة أو السجل النهائي، والجهة التي ذهب إليها.
- من وافق. كل موافقة أو رفض، ومن أصدره، وأي تعديلات أجراها.
- أي إصدار. إصدارات النموذج والتعليمات والأدوات المستخدمة، ليمكن إعادة إنتاج السلوك ومقارنته.
- ما رُفض. الطلبات التي أوقفتها قاعدة أو حدّ، وهي تكشف الهجمات، كما تكشف الصلاحيات الناقصة.
احفظ السجل في مكان لا يستطيع الوكيل نفسه أن يعدّله، واحمِه كما تحمي البيانات الأصلية، فقد يتضمن معلومات شخصية. وحدّد مدة الاحتفاظ به بالاتفاق مع مستشارك القانوني. ثم تأكد أن أحداً يقرؤه فعلاً: عينة أسبوعية من المهام، وكل إجراء أُوقف أو بدا غير معتاد. فالسجل الذي لا ينظر فيه أحد تخزين، لا رقابة.
مثال تطبيقي
صلاحيات وكيل يتولى بريد العملاء
هذا مثال افتراضي يوضح كيف تُقلَّص الصلاحيات إلى حدود المهمة. وسيط تأمين يريد وكيلاً يقرأ رسائل العملاء الواردة ويُعدّ الردود عليها.
- التصميم الأوليحصل الوكيل على صندوق البريد المشترك، وصلاحية كاملة على نظام العملاء، وإمكانية إرسال البريد. تسأل المراجعة: إلى أي شيء يمكن أن تدفعه رسالة خبيثة؟ والجواب: إرسال تفاصيل وثيقة أي عميل إلى أي شخص.
- الهويةيحصل الوكيل على هوية خدمة خاصة به. ويظهر في نظام العملاء باسمه هو، ويُضاف إليه اسم الموظف المختص حين يوافق.
- الصلاحياتيستطيع أن يقرأ الرسالة الواردة، وأن يبحث عن العميل الذي أُرسلت من عنوانه فقط. ويستطيع أن ينشئ مسودة رد. لكنه لا يستطيع الإرسال، ولا البحث عن العملاء بالاسم.
- الموافقةيراجع الموظف المختص كل مسودة إلى جانب الرسالة الأصلية وملف العميل، ثم يعدّلها ويرسلها. ولا يمكن أن تذهب الردود إلا إلى العنوان المسجل.
- السجلتُسجَّل كل رسالة وكل عملية بحث وكل مسودة وكل قرار للموظف. وفي الاختبار برسائل خبيثة، تطلب إحداها من الوكيل أن يضمّن رده تاريخ تجديد وثيقة عميل آخر، فترفض أداة البحث، ويظهر الرفض في السجل.
ما زال الوكيل يوفّر على الموظفين معظم وقت كتابة الردود. الفرق أن أسوأ نتيجة لهجوم ناجح أصبحت مسودة غريبة يحذفها الموظف.
قائمة التحقق من الصلاحيات والتدقيق
قائمة التحقق من صلاحيات وكيل الذكاء الاصطناعي وسجل تدقيقه
0 من 11 منجزةماذا تفعل الآن
لكل وكيل تشغّله أو تخطط له، اكتب ثلاث قوائم: ما يستطيع قراءته، وما يستطيع تغييره، والجهات التي يستطيع أن يرسل إليها. ثم اسأل: ما أسوأ استخدام ممكن لهذا المزيج؟ وحيث يكون الجواب مقلقاً، احذف بنداً من إحدى القوائم.
تشرح صفحة خدمات دمج الذكاء الاصطناعي كيف نربط الوكلاء بأنظمة الأعمال مع هذه الضوابط، كما يمكنك أن تتصفح أمثلة لمهام محددة في مكتبة حلول وكلاء الذكاء الاصطناعي لدينا. أخبرنا بما يحتاج وكيلك إلى الوصول إليه.
أسئلة شائعة
ما المقصود بحقن التعليمات، بعبارة بسيطة؟
هو نص يُكتب ليدفع نظام ذكاء اصطناعي إلى فعل شيء لم يقصده مشغّله. ولأن النموذج اللغوي يقرأ التعليمات والمحتوى بالطريقة نفسها، فقد ينفّذ جملة مخبأة في رسالة بريد أو صفحة ويب كأنها أمر. ولا تكفي صياغة التعليمات لمنعه تماماً، لذلك يكون الدفاع بتقييد ما يستطيع الوكيل فعله.
هل ينبغي أن يستخدم وكيل الذكاء الاصطناعي حساب أحد الموظفين؟
لا ينبغي أن يستعير بيانات دخول شخص ما. لكنه يستطيع أن يعمل بصلاحيات شخص عبر آلية تفويض سليمة، فلا يفعل إلا ما يستطيعه ذلك الشخص، ويُسجَّل الإجراء على أنه من فعل الوكيل نيابةً عنه. أما المهام التي تجري في الخلفية، فالخيار الصحيح لها هوية خدمة مخصصة بصلاحيات ضيقة.
ما الإجراءات التي تحتاج دائماً إلى موافقة بشرية؟
الإجراءات التي لا يمكن التراجع عنها أو التي تخرج من المؤسسة: المدفوعات، والرسائل إلى العملاء أو الأطراف الخارجية، وعمليات الحذف، وتغيير صلاحيات الوصول، والالتزامات التعاقدية، وتغيير البيانات المصرفية أو بيانات الهوية. أما الإجراءات الأقل خطورة فيمكن تنفيذها ضمن حدود، ثم مراجعة عينات منها لاحقاً. ويجب الاتفاق على هذه القائمة مع المسؤول عن الإجراء، وتدوينها.
ما المدة المناسبة للاحتفاظ بسجلات الوكيل؟
مدة تكفي للتحقيق في المشكلات، والرد على النزاعات، والوفاء بأي التزام قانوني أو تعاقدي، دون أن تتجاوز ما تسمح به قواعد الخصوصية، لأن السجلات كثيراً ما تتضمن بيانات شخصية. وتختلف المدة المناسبة بحسب القطاع والبلد، فحددها مع مستشارك القانوني أو مستشار الامتثال، وطبّق على السجلات ضوابط الوصول نفسها التي تطبقها على البيانات التي تصفها.
هل يمكن أن نثق بالوكيل أكثر بعد أن يعمل جيداً لفترة؟
يمكنك أن توسّع ما يفعله خطوة بخطوة، بناءً على الأدلة. فحسن أدائه مع الوقت يثبت أنه يتعامل جيداً مع الحالات المعتادة، لكنه لا يكشف كيف يتصرف أمام هجوم متعمد أو مدخلات غير مألوفة. لذلك أبقِ الحدود، والموافقة على الإجراءات التي لا رجعة فيها، وسجل التدقيق، مهما بدا الوكيل موثوقاً.
