Aller au contenu
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

Tester deux parcours de chat : guide A/B pour PME

Rédaction AI SNS CHATPublié le 7 min de lecture

Comment comparer deux versions d'un parcours de chat sur votre site, WhatsApp ou Messenger : métrique, durée, pièges, et mise en pratique dans AI SNS CHAT.

Vous avez réécrit votre message d'accueil, raccourci vos questions de qualification, et vous avez l'impression que « ça marche mieux ». Mais mieux selon quel critère, et sur combien de conversations ? Ce guide vous montre comment comparer deux versions d'un parcours de chat sans vous raconter d'histoires, puis comment organiser ce test avec les outils réellement disponibles dans AI SNS CHAT.

Ce qui mérite d'être testé dans un parcours de chat

Un « parcours » désigne tout ce qui structure l'échange entre le client et votre agent, du premier message jusqu'à la résolution ou au passage à un humain. Tout n'est pas également utile à tester. Concentrez-vous sur les éléments qui touchent un grand nombre de conversations :

  • Le message d'accueil : ton, longueur, présence ou non de boutons de suggestion.
  • La façon de qualifier la demande : poser une question d'entrée (« Commande, retour ou autre ? ») ou laisser le client s'exprimer librement.
  • Les consignes de la persona : réponses plus courtes, plus formelles, plus directives.
  • Le moment du passage à un humain : proposer un conseiller dès la première hésitation, ou après deux tentatives de réponse.
  • La collecte de coordonnées : demander l'e-mail au début, au milieu ou à la fin de l'échange.

Ne testez pas un détail rare (une question posée dix fois par mois) : vous n'aurez jamais assez de conversations pour conclure.

Choisir une seule métrique principale avant de toucher à quoi que ce soit

C'est l'étape que l'on saute le plus souvent. Si vous regardez cinq indicateurs après coup, il y en aura toujours un qui penche en faveur de la version que vous préférez. Écrivez donc, avant le test, une phrase du type : « La version B est meilleure si elle augmente la part de conversations résolues sans passage à un humain. »

Quelques candidats selon votre objectif :

ObjectifMétrique principale possible
Réduire la charge de l'équipePart des conversations résolues sans transfert à un humain
Générer des contactsNombre de coordonnées collectées pour 100 conversations
Améliorer la qualité perçuePart de pouces levés parmi les conversations notées
Fluidifier le parcoursPart des conversations qui aboutissent à l'action attendue (prise de rendez-vous, suivi de commande)

Gardez une ou deux métriques de garde-fou à surveiller sans les optimiser : par exemple les pouces baissés et les conversations signalées. Une version qui « résout » plus mais agace davantage vos clients n'est pas une victoire.

Ne changer qu'une seule chose à la fois

Si votre version B a un nouveau message d'accueil, un autre ton et une qualification différente, vous saurez peut-être qu'elle fonctionne mieux, mais pas pourquoi. Et vous ne pourrez pas réutiliser l'enseignement ailleurs.

Procédez par petits pas : une hypothèse, un changement, une mesure.

  1. 01Formuler une hypothèse et une métrique
  2. 02Créer la variante B (un seul changement)
  3. 03Faire tourner A et B en parallèle
  4. 04Comparer, décider, documenter
Le cycle d'un test A/B sur un parcours de chatExemple illustratif

Notez aussi, par écrit, ce qui est identique dans les deux versions : même base de connaissances, même modèle d'IA, mêmes horaires de transfert vers l'équipe. Si l'une de ces briques bouge en cours de test, le résultat n'est plus lisible.

Répartir l'audience de façon équitable

L'idéal est que chaque visiteur tombe au hasard sur A ou sur B. Dans la pratique, une PME dispose rarement d'un répartiteur automatique. Voici des approches réalistes, de la plus propre à la plus fragile :

  1. Deux points d'entrée comparables. Deux pages de contenu proche (par exemple deux catégories de produits au trafic similaire) avec un agent différent sur chacune.
  2. Deux périodes consécutives et identiques. Version A deux semaines, puis version B deux semaines. Pratique, mais exposée aux effets de calendrier : soldes, vacances scolaires, jour férié.
  3. Alternance par semaine. Une semaine sur deux, plusieurs fois de suite, pour lisser les écarts saisonniers.

Évitez de comparer deux canaux différents (WhatsApp d'un côté, chat du site de l'autre) : les clients n'y ont ni les mêmes attentes ni les mêmes questions. Vous mesureriez le canal, pas le parcours.

Côté vie privée, prévenez les visiteurs que les conversations peuvent servir à améliorer le service. Dans le cadre du RGPD, restez sobres : n'exportez pour l'analyse que ce dont vous avez besoin, et ne conservez pas les données plus longtemps que nécessaire.

Combien de temps, et combien de conversations

Il n'existe pas de chiffre magique. Retenez trois principes :

  • Plus l'écart attendu est petit, plus il faut de conversations pour le distinguer du hasard.
  • Couvrez des cycles complets. Un test qui ne dure que deux jours ne voit ni le lundi matin chargé ni le week-end calme. Visez au moins deux semaines pleines, davantage si votre volume est faible.
  • Fixez la durée à l'avance. Arrêter le test dès que B passe devant est la meilleure façon de se tromper : les courbes se croisent souvent au début.

Un exemple purement hypothétique : si votre boutique reçoit 300 conversations par mois, un test où chaque version en reçoit la moitié mettra environ un mois pour atteindre 150 conversations par variante. Si cela vous semble long, c'est le signe qu'il faut tester un changement plus ample, ou accepter de ne trancher que sur des écarts importants.

Lire les résultats sans se raconter d'histoires

Reprenons un exemple fictif, avec 150 conversations par variante et la métrique choisie : « résolue sans transfert à un humain ».

Version A
93
Version B
108
Exemple : conversations résolues sans transfert (test hypothétique, 150 conversations par variante)Exemple illustratif

Dans cet exemple, A résout 93 conversations sur 150 (62 %) et B en résout 108 (72 %). Dix points d'écart, c'est encourageant. Est-ce concluant ? Pas nécessairement : avec 150 conversations par version, une partie de cet écart peut venir du hasard. Posez-vous ces questions avant de décider :

  • L'écart est-il stable dans le temps ? Si B gagne la première semaine et perd la seconde, méfiance.
  • Les garde-fous restent-ils bons ? Un taux de résolution en hausse avec plus de pouces baissés doit vous alerter.
  • L'écart est-il utile ? Dix points de résolution en plus pèsent lourd si vous recevez des milliers de messages, beaucoup moins si vous en recevez trente par mois.
  • Lisez des conversations réelles, pas seulement des totaux. Dix échanges de chaque variante vous apprennent souvent plus qu'un tableau.

Quand le résultat est ambigu, la bonne conclusion est « on ne peut pas trancher », pas « B a gagné ». Relancez un test plus long ou plus contrasté.

Les pièges les plus fréquents

  • Changer la base de connaissances en cours de test. Ajouter une page de FAQ pendant la période fausse la comparaison.
  • Comparer des périodes déséquilibrées. Une variante qui hérite d'une campagne promotionnelle n'est plus comparable.
  • Compter les conversations hors sujet. Les messages de démarchage ou les tests internes de l'équipe faussent les proportions : excluez-les.
  • Multiplier les métriques jusqu'à en trouver une favorable.
  • Oublier de documenter. Dans six mois, personne ne se souviendra pourquoi la formulation actuelle a été retenue. Consignez l'hypothèse, les dates et la décision.
  • Négliger la mise en œuvre humaine. Si l'équipe n'est pas disponible aux mêmes heures pendant les deux périodes, le taux de transfert réussi ne se compare plus.

Mettre cela en pratique dans AI SNS CHAT

Soyons précis sur un point : AI SNS CHAT ne propose pas, à ce jour, de répartition automatique des visiteurs entre deux parcours. Le Playground intègre une comparaison A/B de modèles, utile pour juger des réponses côte à côte avant publication, mais elle ne répartit pas votre trafic réel. Voici comment organiser un test avec ce qui existe.

1. Préparer la variante. Dans la liste de vos agents, utilisez Dupliquer : la copie reprend la persona, le modèle et les données d'entraînement, mais pas les conversations. Vous modifiez ensuite un seul élément (message d'accueil, consignes de la persona) sur la copie. Avant de toucher à l'agent d'origine, vérifiez qu'un point de restauration est disponible : jusqu'à 40 sont conservés par agent.

2. Prévisualiser dans le Playground. Testez la variante avec vos questions types, et utilisez la comparaison A/B de modèles du Playground si vous hésitez sur le modèle (réglage dans Agent → Réglages → IA ; les modèles avancés demandent le plan Hobby ou supérieur).

3. Déployer. Dans Canaux, publiez chaque agent sur son propre point d'entrée : widget de chat sur une page donnée, lien partageable, ou canal comme WhatsApp ou Messenger selon votre organisation. Vous gardez ainsi les deux populations séparées, en respectant les principes de répartition vus plus haut.

4. Mesurer. Dans Activité → Journaux de chat, filtrez par agent et par période, utilisez les actions groupées (signaler, escalader, résoudre) et les évaluations pouces levés/baissés, puis exportez pour calculer votre métrique dans un tableur. Les coordonnées collectées apparaissent dans Activité → Leads. Les rubriques Analytics (Chats, Thèmes, Sentiment) donnent une vue d'ensemble ; les analyses avancées nécessitent le plan Pro.

5. Décider et revenir en arrière si besoin. Si B l'emporte, reportez le changement sur l'agent principal. Sinon, restaurez un point de restauration. Pensez aussi à planifier vos équipes dans Helpdesk → Planning (plan Standard ou supérieur) afin que les transferts soient traités de la même manière pendant les deux périodes.

Rappel : une réponse de l'agent consomme un crédit. Un test sur deux agents n'est donc pas gratuit, mais il ne coûte que les conversations réellement traitées. Les détails des plans sont sur la page tarifs, et la liste des canaux sur la page connexions.

Questions fréquentes

AI SNS CHAT peut-il répartir automatiquement les visiteurs entre deux parcours ?

Non, cette fonction n'existe pas dans le produit. Vous pouvez dupliquer un agent, modifier un seul élément et déployer chaque version sur un point d'entrée distinct (page, lien partageable, canal), puis comparer les résultats dans les journaux de chat. Le Playground propose une comparaison A/B de modèles, mais elle sert à évaluer des réponses avant publication, pas à diviser votre trafic.

Combien de conversations faut-il pour un résultat fiable ?

Cela dépend de l'écart que vous cherchez à détecter : plus il est faible, plus il en faut. Pour un petit volume, testez un changement marqué et prolongez la durée sur au moins deux semaines complètes. Fixez le seuil de décision à l'avance, et si l'écart reste ambigu, concluez que le test n'est pas concluant.

Quelle métrique choisir pour un parcours WhatsApp ou Messenger ?

Une métrique de résultat liée à votre objectif : part de conversations résolues sans transfert, coordonnées collectées ou action attendue réalisée. Ajoutez en garde-fou les pouces baissés et les conversations signalées. Évitez le simple nombre de messages, qui ne dit pas si le client a obtenu satisfaction.

Peut-on revenir en arrière sans risque si la version B est moins bonne ?

Oui, à condition de l'avoir prévu. AI SNS CHAT conserve jusqu'à 40 points de restauration par agent, et la duplication laisse l'agent d'origine intact pendant le test. Si B déçoit, il suffit de ne pas la promouvoir ou de restaurer l'état précédent.

#test A/B#KPI#parcours de chat#WhatsApp#support client

Passez à la pratique avec AI SNS CHAT

Créez un agent IA entraîné sur vos propres contenus et connectez-le à votre site, WhatsApp, Messenger et plus encore. Gratuit pour commencer, sans carte bancaire.