انتقل إلى المحتوى
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
مؤشرات الأداء

اختبار A/B لمسارات المحادثة: دليل عملي لفرق الدعم

فريق تحرير AI SNS CHATنُشر في قراءة في 6 دقائق

كيف تختبر مسارين للمحادثة على واتساب وموقعك بمنهج سليم: مقياس واحد، تغيير واحد، توزيع عادل، ومدة كافية لنتيجة تثق بها قبل التعميم.

كثير من فرق الدعم تعدّل رسالة الترحيب أو ترتيب الأسئلة ثم تحكم بالانطباع: "يبدو أن الوضع أفضل". المشكلة أن الأسبوع الذي أعقب التعديل قد يكون أهدأ أو أزحم من سابقه، فتنسب النتيجة إلى التعديل وهي في الحقيقة صدفة. اختبار A/B يحل هذه المشكلة بمقارنة نسختين في الظروف نفسها. في هذا الدليل ستعرف ماذا تختبر، وكيف تقسم محادثاتك، ومتى تتوقف، وكيف تقرأ النتيجة بلا خداع للنفس.

ما الذي يستحق الاختبار في مسار المحادثة؟

مسار المحادثة هو الطريق الذي يسلكه العميل منذ أول رسالة حتى حل مشكلته أو تحويله إلى موظف. ليس كل جزء فيه يستحق اختبارًا منظمًا، والأجدر أن تبدأ بما يؤثر في عدد كبير من المحادثات. أمثلة جيدة:

  • رسالة الترحيب: هل تبدأ بتحية قصيرة أم بقائمة خيارات واضحة؟
  • أسلوب الأسئلة التوضيحية: هل يسأل المساعد عن رقم الطلب أولًا أم عن نوع المشكلة؟
  • صياغة الردود الحساسة: مثل سياسة الاسترجاع أو مواعيد الشحن إلى مدن مختلفة.
  • لحظة التحويل إلى موظف: هل يعرض المساعد التحويل مبكرًا أم يحاول الحل أولًا؟
  • جمع بيانات العميل: هل يطلب الاسم والجوال في بداية المحادثة أم بعد تقديم الإجابة؟

أما التفاصيل الصغيرة التي تمسّ عددًا قليلًا من المحادثات، فلن تعطيك الأرقام فيها نتيجة موثوقة مهما طال الانتظار. صحّحها مباشرة دون اختبار.

اختر مقياسًا رئيسيًا واحدًا قبل أي تعديل

أكثر أخطاء الاختبار شيوعًا أن تجري التجربة ثم تبحث بين عشرة مقاييس عن واحد يميل لصالح النسخة التي تحبها. لتجنب ذلك، اكتب قبل البدء جملة واحدة: "نجاح هذا الاختبار يعني ارتفاع مقياس كذا".

مقاييس مناسبة لقنوات المراسلة مثل واتساب وإنستغرام ودردشة الموقع:

  • نسبة المحادثات المحلولة دون تحويل إلى موظف: مناسبة حين يكون هدفك تخفيف الضغط عن الفريق.
  • تقييم العميل (إعجاب أو عدم إعجاب): مناسب حين يكون هدفك جودة التجربة.
  • نسبة جمع بيانات العميل: مناسبة حين يكون الهدف الحصول على عملاء محتملين.
  • عدد الرسائل حتى الحل: مناسب حين تشكو من ردود طويلة أو أسئلة مكررة.

وإلى جانب المقياس الرئيسي، حدّد "مقياس حماية": رقمًا لا يجوز أن يسوء. مثلًا، قد ترتفع نسبة الحل دون تحويل لأن المساعد صار يُغلق المحادثات مبكرًا، بينما تنخفض رضا العملاء. لذلك راقب التقييمات بجانب نسبة الحل.

مثال: متجر إلكتروني في الرياض

لنفترض متجرًا يبيع الإلكترونيات ويستقبل أغلب استفساراته عبر واتساب. شكوى الفريق أن المساعد يحوّل كثيرًا من أسئلة تتبع الشحنات إلى الموظفين. المقياس الرئيسي هنا: نسبة محادثات تتبع الشحنات المحلولة دون تحويل. مقياس الحماية: التقييمات السلبية.

غيّر شيئًا واحدًا في كل مرة

إذا غيّرت الترحيب وصياغة الأسئلة وموعد التحويل في نسخة B دفعة واحدة، ثم تحسنت النتيجة، فلن تعرف أي تعديل صنع الفرق. ربما كان أحدها مفيدًا واثنان ضارّين، وجاء صافي الأثر إيجابيًا بالمصادفة.

التزم بالقواعد التالية:

  1. نسخة A هي الوضع الحالي دون أي لمسة.
  2. نسخة B تختلف في عنصر واحد فقط، كأن تبدأ بسؤال "ما رقم طلبك؟" بدل "كيف أساعدك؟".
  3. دوّن الفرق بدقة في ملف مشترك: ما الذي تغيّر، ومتى، ولماذا تتوقع تحسنًا.
  4. صِغ فرضية مثل: "طلب رقم الطلب في أول رسالة سيرفع نسبة الحل دون تحويل في أسئلة الشحن".

وإن كان لديك أفكار كثيرة، فرتّبها في قائمة وجرّبها واحدة تلو الأخرى. بطء هذا الأسلوب مقبول لأن كل نتيجة تصبح قابلة للتفسير.

  1. 01تحديد المقياس والفرضية
  2. 02بناء النسخة B بتغيير واحد
  3. 03تشغيل النسختين بالتوازي
  4. 04قراءة النتيجة وقرار التعميم أو التراجع
دورة اختبار A/B بسيطة لمسار المحادثةمثال توضيحي

وزّع جمهورك بإنصاف

قيمة الاختبار كلها في أن النسختين تواجهان جمهورًا متشابهًا. إن ذهبت النسخة A إلى عملاء الصباح والنسخة B إلى عملاء المساء، فقد تقيس اختلاف العملاء لا اختلاف المسار.

أخطاء توزيع شائعة:

  • التقسيم بالزمن الطويل: النسخة A هذا الأسبوع والنسخة B الأسبوع القادم. قد يكون الأسبوع الثاني موسم عروض أو إجازة، فتتغير طبيعة الأسئلة.
  • التقسيم حسب القناة: A على واتساب وB على إنستغرام. جمهور القناتين مختلف أصلًا، فالمقارنة غير عادلة.
  • اختيار العملاء يدويًا: كأن يوجّه الموظف العملاء "الجادين" إلى نسخة بعينها.

الأعدل أن يعمل المساران في الفترة نفسها وعلى النوع نفسه من الزوار، بحيث تتوزع المحادثات بينهما دون تدخل بشري في الاختيار. وإن اضطررت إلى التقسيم الزمني لضعف الخيارات، فاجعل التبديل قصيرًا ومتكررًا (يوم بيوم مثلًا) بدل كتلتين طويلتين، وسجّل أي حدث استثنائي وقع أثناء الاختبار.

مراعاة نافذة الـ24 ساعة في واتساب

في واتساب، يمكن الرد على العميل بحرية خلال 24 ساعة من آخر رسالة منه. هذا يعني أن محادثات تمتد لأيام قد تتأثر بقيود القناة لا بجودة المسار. فاحسب النتيجة على المحادثات المكتملة داخل النافذة ذاتها، حتى لا تظلم إحدى النسختين.

كم تدوم التجربة وكم محادثة تحتاج؟

لا يوجد رقم سحري ينطبق على الجميع، لكن المبدأ واضح: كلما كان الفرق الذي تتوقعه صغيرًا، احتجت إلى محادثات أكثر لتتأكد منه. فرق كبير وواضح يظهر مع مئات قليلة، أما فرق بسيط فقد يحتاج آلافًا.

إرشادات عملية:

  • حدّد حجم العيّنة قبل البدء، وليس بعد رؤية الأرقام. مثلًا: "نتوقف حين تبلغ كل نسخة 150 محادثة من النوع المختبَر".
  • أكمل أسبوعًا كاملًا على الأقل، حتى تدخل في الحساب أيام الأسبوع المختلفة وساعات الذروة. في الخليج، يختلف سلوك العملاء بين أيام العمل وعطلة نهاية الأسبوع، وتتغير الأحمال في رمضان والمواسم.
  • لا توقف الاختبار عند أول تقدّم ظاهر. النسخة التي تتصدر في اليوم الثاني قد تتراجع في اليوم الخامس.
  • إن كان حجم محادثاتك صغيرًا، فأطل المدة أو اختبر على المسار الأكثر تكرارًا، ولا تتوقع من فرق صغير أن يكون حاسمًا.

للتوضيح فقط، لنفترض أن متجرًا يتلقى 300 محادثة شهريًا عن الشحن. إن قسمها نصفين فسيحصل على 150 لكل نسخة بعد شهر كامل. في هذه الحالة يكون الأنسب اختبار تغيير كبير الأثر، وليس تعديلًا طفيفًا في الصياغة.

اقرأ النتائج دون أن تخدع نفسك

حين تنتهي المدة، قارن المقياس الرئيسي أولًا، ثم مقياس الحماية.

النسخة A
96
النسخة B
108
مثال افتراضي: محادثات محلولة دون تحويل في اختبار من 150 محادثة لكل نسخةمثال توضيحي

في هذا المثال الافتراضي، حُلّت 96 محادثة من 150 في النسخة A، أي 64%، و108 من 150 في النسخة B، أي 72%. الفارق ثماني نقاط مئوية. هل يكفي؟ ذلك يتوقف على أمرين:

  • حجم الفرق نسبةً إلى العيّنة. ثمانية فروق في 150 محادثة تحتمل بعض الصدفة، فإن كررت الاختبار وظهر الاتجاه نفسه ازدادت ثقتك.
  • مقياس الحماية. إن ارتفعت التقييمات السلبية في B فقد يكون "الحل" إغلاقًا متعجلًا.

أسئلة تحمي قرارك:

  1. هل وقع حدث غير عادي خلال الاختبار، كحملة إعلانية أو عطل في الشحن؟
  2. هل تتوزع المحادثات بين النسختين بنسب متقاربة؟
  3. هل الاتجاه نفسه ظاهر في أيام مختلفة، أم أن يومًا واحدًا صنع الفرق كله؟
  4. اقرأ عينة من المحادثات بنفسك. الأرقام تخبرك بما حدث، والقراءة تخبرك بالسبب.

أخطاء شائعة تُفسد الاختبار

  • تغيير النسخة أثناء التجربة. كل تعديل في منتصف الطريق يلغي ما سبقه من بيانات.
  • تعدد المقاييس بعد الانتهاء. البحث عن مقياس "ينجح" يوصلك إلى نتيجة زائفة.
  • الاعتماد على محادثات الاختبار الداخلي. محادثات الفريق ليست كمحادثات العملاء الحقيقيين، فاستبعدها.
  • تعميم نتيجة قناة على كل القنوات. ما نجح على دردشة الموقع قد لا ينجح على واتساب حيث الرسائل أقصر والتوقعات أسرع.
  • إهمال خطة التراجع. قبل بدء الاختبار تأكد أنك تستطيع إعادة الوضع السابق بسرعة.
  • نسيان التوثيق. بعد ستة أشهر لن تتذكر لماذا اخترتم الصياغة الحالية.

تنفيذ ذلك في AI SNS CHAT

تقدم AI SNS CHAT أدوات تساعدك على إجراء الاختبار بانضباط، لكن من المهم أن تعرف حدودها: لا يوجد في المنصة، بحسب ما هو موثّق، مفتاح يقسم الزوار تلقائيًا بين مسارين حيين. لذلك تُدار القسمة بتنظيم منك، على النحو التالي.

1. أنشئ نسخة B بنسخ الوكيل. استخدم خيار Duplicate لنسخ الشخصية والنموذج وبيانات التدريب إلى وكيل جديد (لا تُنسخ المحادثات). عدّل في النسخة عنصرًا واحدًا فقط، كتعليمات الترحيب أو ترتيب الأسئلة.

2. احفظ نقطة استرجاع للوكيل الأصلي. تتيح المنصة نقاط استرجاع (حتى 40 لكل وكيل)، فإن ساء الأداء عدت إلى الحالة السابقة بسرعة. ويحتفظ سجل النشاط في إعدادات مساحة العمل بمن عدّل ماذا ومتى، وهو مفيد لتوثيق التجربة.

3. وزّع الجمهور. انشر كل وكيل في قناة أو رابط منفصل ضمن Channels، مثل أداة الدردشة (Chat widget) على صفحتين متكافئتين أو رابط مشاركة لكل نسخة. اختر صفحات متشابهة في نوع الزوار حتى تبقى المقارنة عادلة. وللتعامل مع واتساب وإنستغرام، راجع صفحة /connections لمعرفة طريقة الربط المتاحة.

4. اقرأ النتائج من سجلات المحادثات. في Activity → Chat logs يمكنك التصفية والتصدير ومراجعة تقييمات الإعجاب وعدمه، وكذلك رؤية المحادثات المصعّدة أو المحوّلة. صدّر بيانات كل نسخة وقارنها بالمقياس الذي حددته مسبقًا. وتتوفر تحليلات متقدمة في خطة Pro.

5. جرّب قبل النشر. في Playground يمكنك تجربة الأسئلة على نسختك قبل أن يراها العملاء، كما تتيح مقارنة A/B بين النماذج داخل Playground. وهي أداة لاختبار الردود قبل النشر، وليست تقسيمًا لزوار حقيقيين.

6. راقب التحويل إلى الموظفين. إن كان مقياسك نسبة التحويل، فإن تنبيهات التحويل تصل إلى Slack أو Teams أو واتساب أو البريد، وجدولة المناوبات في Helpdesk → Scheduling تتطلب خطة Standard أو أعلى.

لمعرفة حدود كل خطة راجع صفحة /pricing، ولمزيد من التفاصيل عن الأدوات صفحة /features.

الأسئلة الشائعة

هل تستطيع AI SNS CHAT تقسيم الزوار تلقائيًا بين مسارين؟

لا يوجد في الميزات الموثّقة تقسيم تلقائي للزوار بين مسارين حيين. الطريقة العملية هي نسخ الوكيل ثم نشر كل نسخة في قناة أو رابط منفصل لجمهور متشابه، ومقارنة النتائج من سجلات المحادثات. أما مقارنة A/B في Playground فهي لمقارنة النماذج أثناء التجربة قبل النشر.

كم محادثة أحتاج للوصول إلى نتيجة موثوقة؟

يعتمد ذلك على حجم الفرق المتوقع؛ فالفرق الكبير يظهر مع مئات قليلة، والفرق الصغير يحتاج أكثر بكثير. حدّد الحجم المستهدف قبل البدء، وأكمل أسبوعًا كاملًا على الأقل، ولا توقف الاختبار لمجرد أن إحدى النسختين تقدمت مبكرًا.

ما المقياس الأنسب لمسار على واتساب أو ماسنجر؟

إن كان هدفك تخفيف الضغط عن الفريق فاختر نسبة المحادثات المحلولة دون تحويل، وإن كان هدفك الجودة فاختر تقييم العميل. أيًّا كان اختيارك، حدّد مقياس حماية إضافيًا حتى لا يتحسن رقم على حساب تجربة العميل.

هل التراجع آمن إذا كان أداء النسخة B أسوأ؟

نعم، يمكنك الرجوع بأمان إن حفظت نقطة استرجاع للوكيل الأصلي قبل التعديل؛ إذ تدعم المنصة حتى 40 نقطة استرجاع لكل وكيل. وبما أن النسخة B وكيل مستقل، يكفي إيقاف نشرها وإبقاء النسخة A على حالها.

#اختبار A/B#مسارات المحادثة#مؤشرات الأداء#دعم العملاء#واتساب

طبّق ذلك مع AI SNS CHAT

أنشئ وكيل ذكاء اصطناعي مدرّبًا على محتواك واربطه بموقعك وWhatsApp وMessenger وغيرها. ابدأ مجانًا دون بطاقة ائتمان.