ما الغرض من التجربة الأولية
تُجرى التجربة الأولية لتجيب بالدليل عن سؤال واحد: هل نستثمر في هذا، أم نغيّره، أم نتخلى عنه؟ وكل ما في الخطة يخدم هذا القرار. فالتجربة التي تنتهي بعبارة «تبدو واعدة» تجربة فاشلة، أياً كان ما فعلته التقنية.
التجربة الأولية هي
- مسار عمل واحد، ببيانات حقيقية ومستخدمين حقيقيين
- محدودة بوقت، ولها موعد للقرار
- تُقاس مقارنةً بالأداء الحالي
- تجري مع مراجعة بشرية لمخرجاتها
- مصممة بحيث يكون التوقف نتيجة مقبولة
التجربة الأولية ليست
- عرض توضيحي يُبنى لإبهار الحاضرين في اجتماع
- اختبار لكل ما تستطيعه التقنية
- تجربة مفتوحة بلا تاريخ انتهاء
- إطلاق لكل المستخدمين دفعة واحدة
- التزام بالاستمرار أياً كانت النتائج
اختر نطاقاً يمكنك قياسه
| القرار | خيار جيد | خيار ضعيف |
|---|---|---|
| مسار العمل | مهمة واحدة بمدخلات ومخرجات واضحة، تتكرر مرات كثيرة في الأسبوع | إدارة كاملة، أو مهمة لا تحدث إلا بضع مرات في السنة |
| المستخدمون | مجموعة صغيرة تؤدي العمل يومياً ومستعدة لإبداء رأيها | الجميع، أو المديرون وحدهم |
| البيانات | حالات حقيقية من عملياتك، بما فيها الحالات الصعبة | عينات نظيفة اختيرت لأنها تنجح |
| المدة | مدة تكفي لتغطية دورة عمل عادية، ولها تاريخ انتهاء | إلى أن نقتنع |
| الأنظمة | أقل قدر لازم من الربط، مع خطوات يدوية حيث تكون أكثر أماناً | ربط كامل قبل أن يثبت أي شيء |
| المسؤول | شخص واحد من جهة العمل يملك صلاحية القرار | لجنة، أو المورّد |
وإن لم تكن قد اخترت مسار العمل بعد، فإن دليل كيف تحدد إجراءات العمل المناسبة للذكاء الاصطناعي يقدّم طريقة لتقييمها بالنقاط.
سجّل أداء مسار العمل اليوم
من دون خط أساس، كل ما تستطيع قوله إن التجربة أنتجت أرقاماً، لا إنها أفادت. لذلك قِس الإجراء الحالي أولاً، ولو بصورة تقريبية.
- 01
احسب الحجم
عدد الحالات في اليوم أو الأسبوع، ومدى تفاوته.
- 02
قِس وقت العمل
كم تستغرق الحالة الواحدة من الموظف، مقيساً على عينة لا مقدّراً من الذاكرة.
- 03
قِس الجودة الحالية
راجع عينة من الحالات المنجزة، وسجّل نسبة الأخطاء. فالبشر يخطئون أيضاً، والتجربة يجب أن تُقارن بالواقع لا بالكمال.
- 04
سجّل وقت الانتظار
كم تبقى الحالة معلّقة قبل أن يتناولها أحد.
- 05
سجّل التكلفة
الوقت مضروباً في تكلفته، مضافاً إليه أي عمل يُعاد بسبب الأخطاء.
حدّد معايير النجاح
اختر عدداً قليلاً من المقاييس، يرتبط كل منها بأمر يهم العمل. ثم حدّد لكل مقياس حد نجاح بالأرقام قبل أن تبدأ التجربة. فإن تركت تحديد ما يُعدّ جيداً إلى ما بعد النتائج، فسيرى كل طرف فيها ما كان يأمله.
| الجانب | المقياس | طريقة جمعه |
|---|---|---|
| الجودة | نسبة المخرجات التي يقبلها المراجع دون تصحيح | يصنّف المراجعون كل مُخرج: مقبول، أو مصحَّح، أو مرفوض |
| الأخطاء الجسيمة | عدد المخرجات التي كانت ستسبب ضرراً لو لم تُكتشف | يعلّمها المراجعون، ويُفحص كل منها |
| الوقت | الوقت الذي يحتاجه الموظف لإنجاز حالة بمساعدة النظام، مقارنةً بخط الأساس | عينات مقيسة الوقت، خلال التجربة |
| التغطية | نسبة الحالات التي يتولاها النظام، بدلاً من تحويلها إلى موظف | سجلات النظام |
| التكلفة | تكلفة التشغيل لكل حالة | تقارير الاستخدام من مزوّد النموذج ومن جهة الاستضافة |
| الإقبال على الاستخدام | هل يختار مستخدمو التجربة الاستمرار في استخدامه | سجلات الاستخدام، ومقابلة قصيرة في النهاية |
اجعل بين المقاييس واحداً على الأقل يكفي وحده لإفشال التجربة، وهو في العادة الأخطاء الجسيمة. فالنظام السريع الرخيص الذي يُحدث ضرراً بين حين وآخر لم ينجح.
مثال تطبيقي
خطة تجربة لإدخال فواتير الموردين
شركة توزيع تجرّب نظاماً يقرأ فواتير الموردين ويُعدّ القيود لنظامها المحاسبي. الشركة وكل الأرقام افتراضية، والغرض أن ترى كيف تبدو الخطة مكتوبة.
- السؤالهل نستخدم الذكاء الاصطناعي لإعداد قيود الفواتير لكل الموردين؟
- النطاقفواتير أكبر عشرين مورداً، وموظفان من قسم الحسابات. يُعدّ النظام القيد، ويعتمده الموظف.
- خط الأساسقِيس على مدى أسبوعين قبل التجربة: الوقت اللازم لكل فاتورة، والأخطاء التي تكشفها مراجعة نهاية الشهر.
- حدود النجاحقبول تسعة قيود من كل عشرة دون تصحيح. وعدم ترحيل أي قيد بمورد خاطئ أو مبلغ خاطئ. وانخفاض وقت الموظف لكل فاتورة إلى النصف على الأقل. وتكلفة تشغيل لكل فاتورة أقل من الرقم المتفق عليه.
- مجموعة الاختبارثلاثمئة فاتورة سابقة مع القيود التي رُحّلت لها في النهاية، بما فيها إشعارات دائنة وفواتير بلغة ثانية.
- المراجعةيعتمد الموظف كل قيد خلال التجربة، وتُسجَّل التصحيحات مع سببها.
- قواعد القرارإن تحققت كل حدود النجاح، فالتوسع إلى كل الموردين. وإن تحققت الجودة ولم يتحقق الوقت، فتحسين شاشة المراجعة وإعادة التجربة. وإن وقع خطأ جسيم لم تكشفه المراجعة، فالتوقف وإعادة التقييم.
كُتب كل ما في هذه الخطة قبل أن تبدأ التجربة. لذلك لا يحتاج أحد في اجتماع القرار إلى الجدال حول معنى الأرقام.
ابنِ مجموعة الاختبار من حالات حقيقية
مجموعة الاختبار هي حالات حقيقية سابقة مع نتائجها الصحيحة. يُشغَّل النظام عليها قبل أن يراه أي مستخدم، ثم بعد كل تغيير. وهي أثمن ما تنتجه التجربة، لذلك اتفق كتابةً على من يحتفظ بها.
- خذ الحالات من العمل اليومي المعتاد، لا حالات سهلة منتقاة بعناية
- ضمّنها الحالات الصعبة وغير المألوفة بنسبتها الواقعية
- اطلب من شخص يعرف العمل أن يؤكد النتيجة الصحيحة لكل حالة
- احتفظ بجزء من المجموعة بعيداً عن التطوير، لا يراه أحد حتى الفحص النهائي
- أضف كل إخفاق يظهر خلال التجربة، حتى يُكتشف الخطأ نفسه في المرة التالية
شغّل التجربة تحت مراجعة بشرية
خلال التجربة
0 من 7 منجزةقرّر: التوسع، أو التعديل، أو التوقف
| ما تُظهره التجربة | القرار | ما يحدث بعد ذلك |
|---|---|---|
| تحققت كل حدود النجاح | التوسع | التوسع إلى حالات أو مستخدمين أكثر على خطوات، والانتقال من المراجعة الكاملة إلى العينات |
| تحققت الجودة، ولم يتحقق الوقت أو التكلفة | التعديل | تحسين مسار العمل المحيط بالنموذج، مثل شاشة المراجعة، أو توجيه الحالات، أو اختيار النموذج |
| الجودة قريبة من الحد لكنها دونه | التعديل مرة واحدة | معالجة الأسباب الرئيسية للإخفاق، وإعادة التشغيل على مجموعة الاختبار، مع حد أقصى لعدد المحاولات |
| أخطاء جسيمة لم تكشفها المراجعة | التوقف أو إعادة التصميم | تقليل استقلالية النظام، أو اختيار مسار عمل أكثر أماناً |
| المستخدمون يتجنبونه رغم الأرقام الجيدة | البحث في السبب | فات المقاييس شيء ما. اعرف ما هو قبل أن تنفق المزيد |
اكتب النتيجة مع أدلتها، أياً كانت. فقرار التوقف الواضح يوفّر تكلفة إطلاق كامل، والطريقة التي بنيتها تنتقل معك إلى مسار العمل التالي.
ماذا تفعل الآن
اكتب الخطة في صفحة واحدة: السؤال، والنطاق، وخط الأساس، وحدود النجاح، ومجموعة الاختبار، والمراجعة، وقواعد القرار. وإن كنت تختار فريقاً خارجياً ينفذ التجربة معك، فدليل كيف تختار شركة لتطوير حلول الذكاء الاصطناعي يشرح ما تبحث عنه.
والتجربة المضبوطة خطوة من خطوات مشاريعنا في دمج الذكاء الاصطناعي ووكلاء الذكاء الاصطناعي. أرسل إلينا مسودة خطتك، وسنخبرك بحدود النجاح التي نرى أنها تنقصها.
أسئلة شائعة
كم ينبغي أن تستمر تجربة الذكاء الاصطناعي؟
مدة تكفي لتغطية دورة عمل عادية، وجمع حالات كافية لتكون للمقاييس دلالة. وفي مسار عمل يومي، يعني ذلك أسابيع لا أشهراً. حدّد تاريخ الانتهاء منذ البداية، فالتجربة التي لا تاريخ لانتهائها تتحول في الغالب إلى تجربة دائمة لا يجرؤ أحد على الحكم عليها.
كم حالة اختبار نحتاج؟
ما يكفي لتمثيل تنوّع العمل الحقيقي. وبضع مئات من الحالات نقطة بداية شائعة في مسارات العمل القائمة على المستندات أو الرسائل. لكن خمسين حالة مختارة بعناية تغطي المواقف الصعبة أثمن من ألف حالة سهلة. ويجب أن تظل المجموعة تكبر كلما ظهرت إخفاقات جديدة.
من ينبغي أن يتولى مسؤولية التجربة؟
شخص من جهة العمل التي يخدمها المسار، يملك صلاحية تقرير ما يحدث في النهاية. فالفنيون والشركاء الخارجيون يشغّلون النظام، أما المسؤول فهو من يضع حدود النجاح ويتخذ القرار. ومن دون هذا الشخص، تنتهي التجربة بتقرير لا بقرار.
ماذا لو فشلت التجربة؟
عندها تكون قد أدّت مهمتها بجزء يسير من تكلفة إطلاق كامل فاشل. ابحث في أسباب فشلها، فقد يغيّر النتيجة مسار عمل مختلف، أو استقلالية أقل للنظام، أو بيانات أفضل. واحتفظ بخط الأساس ومجموعة الاختبار وطريقة المراجعة، لأنها تصلح للمحاولة التالية.
ما الفرق بين التجربة الأولية وإثبات المفهوم؟
إثبات المفهوم يبيّن أن الفكرة ممكنة تقنياً، وغالباً ما يجري على بيانات نموذجية ومن دون مستخدمين حقيقيين. أما التجربة الأولية فتبيّن هل تنجح الفكرة في عملك أنت، بحالات حقيقية ومستخدمين حقيقيين ومقاييس. وفي المسافة بين الاثنين قد يفشل المشروع، ولهذا تكون التجربة هي الخطوة التي يُعتد بها.
