Aller au contenu
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

Mesurer le taux de résolution de l’IA sans se mentir

Rédaction AI SNS CHATPublié le 9 min de lecture

Votre taux de résolution IA est probablement surestimé. Définissez les termes, échantillonnez et corrigez les biais pour obtenir un chiffre fiable.

Votre agent IA répond à la majorité des conversations sur le chat de votre site, WhatsApp ou Messenger, et le tableau de bord affiche un joli pourcentage. Mais ce chiffre mesure-t-il vraiment des clients aidés, ou simplement des clients qui n’ont pas parlé à un humain ? Cet article vous propose une méthode en couches pour obtenir un taux de résolution que vous pourrez défendre devant votre direction, vos équipes et, le cas échéant, vos clients.

Pourquoi le taux « évident » trompe

Le calcul le plus répandu est simple : conversations sans transfert à un humain, divisées par le total des conversations. On l’appelle le taux de confinement. Il est facile à produire, et c’est précisément son défaut : il compte comme un succès tout ce qui n’a pas été escaladé.

Or une conversation peut ne pas être escaladée pour de très mauvaises raisons :

  • le client a abandonné, agacé, après deux réponses à côté de la plaque ;
  • il a fermé la fenêtre du chat pour vous appeler ou vous écrire ailleurs ;
  • l’agent a répondu avec assurance, mais à tort ;
  • la question n’avait rien à voir avec votre activité (un démarcheur, un message d’essai).

Dans tous ces cas, le confinement monte, la satisfaction baisse, et personne ne s’en aperçoit. Un chiffre qui flatte n’est pas forcément un chiffre qui informe.

Définissez les termes avant de compter

Avant d’ouvrir la moindre exportation, mettez par écrit trois définitions. Sans elles, deux personnes de l’équipe obtiendront deux chiffres différents.

Qu’est-ce qu’une « conversation » ?

Sur un site, une session de chat est une unité naturelle. Sur WhatsApp, en revanche, un même client peut revenir trois jours plus tard dans le même fil. Décidez à partir de quel délai d’inactivité (par exemple 24 heures) une nouvelle conversation commence. Cette règle doit être identique pour tous les canaux, sinon vos comparaisons n’ont aucun sens.

Qu’est-ce qu’une conversation « éligible » ?

Écartez du dénominateur ce qui ne relève pas du support : spam, tests internes, messages vides, salutations sans question. Gardez la liste de ces exclusions et appliquez-la toujours de la même façon.

Qu’est-ce que « résolu » ?

Proposez une définition vérifiable : le client a obtenu une réponse correcte et complète à sa demande, sans avoir besoin de recontacter l’entreprise pour le même sujet. Chaque mot compte. « Correcte » exige de relire la réponse. « Complète » écarte les demi-réponses. « Sans recontact » oblige à regarder ce qui se passe après.

Construisez la mesure en couches

Plutôt qu’un seul pourcentage, empilez des filtres successifs. Chaque couche retire une catégorie de faux succès.

  1. 01Conversations brutes
  2. 02Retrait des non éligibles
  3. 03Retrait des transferts et abandons
  4. 04Vérification sur échantillon
Des conversations brutes à un taux de résolution fiableExemple illustratif
  1. Total brut : toutes les conversations de la période, tous canaux confondus.
  2. Conversations éligibles : après exclusion du spam et des tests.
  3. Confinées : celles qui n’ont pas été transmises à un humain. C’est votre taux de confinement.
  4. Confinées et non abandonnées : on retire celles où le client a cessé de répondre juste après une réponse qui n’en était pas une (ou après une demande de précision restée sans suite).
  5. Résolues après vérification : parmi les confinées, la part que des relecteurs jugent réellement résolue selon votre définition.

Pour illustrer, voici un exemple purement hypothétique. Imaginons une boutique en ligne qui analyse 100 conversations éligibles sur le mois.

Confinement brut
70
Résolution vérifiée
56
Faux succès (abandons, réponses fausses)
14
Exemple hypothétique : un confinement de 70 % devient 56 % de résolution vérifiéeExemple illustratif

Dans cet exemple, 70 conversations sur 100 ne sont pas escaladées. Une relecture d’échantillon montre que 80 % d’entre elles sont réellement résolues : 70 × 0,8 = 56. L’écart de 14 points correspond aux faux succès. Ces chiffres sont inventés pour la démonstration ; les vôtres seront différents, et c’est justement pourquoi il faut les mesurer.

Échantillonnez correctement, pas commodément

La vérification repose sur la relecture humaine. Le piège classique consiste à relire les conversations les plus récentes ou les plus courtes, parce qu’elles sont faciles à parcourir. Votre échantillon est alors biaisé, et votre taux aussi.

Quelques règles simples

  • Tirez au hasard parmi les conversations confinées, pas parmi celles qui vous intriguent.
  • Stratifiez par canal et par thème : une IA peut très bien gérer les horaires d’ouverture sur le chat du site et mal gérer les retours produits sur Messenger. Un tirage proportionnel à chaque canal évite de masquer ces écarts.
  • Fixez un volume stable chaque mois. Il n’existe pas de nombre magique ; l’important est qu’il soit assez grand pour que quelques conversations ne fassent pas bouger le résultat, et assez raisonnable pour que quelqu’un le fasse vraiment. Pour une petite structure, quelques dizaines de conversations par mois, bien tirées, valent mieux que des centaines relues une seule fois.
  • Faites relire à deux personnes un petit sous-ensemble, pour vérifier qu’elles appliquent la même grille. Un désaccord fréquent signale une définition de « résolu » trop floue.
  • Notez le motif d’échec (information fausse, réponse incomplète, mauvais ton, question mal comprise). C’est cette colonne qui vous dira quoi améliorer.

Attention aux données personnelles : une relecture de conversations implique de lire des échanges de clients. Dans un cadre RGPD, limitez l’accès aux personnes qui en ont besoin, évitez de recopier des informations personnelles dans vos tableaux de suivi, et vérifiez que la durée de conservation de vos conversations correspond à ce que vous avez annoncé.

Utilisez les signaux clients, mais connaissez leur biais

Les pouces levés ou baissés et les petits questionnaires de fin de conversation sont précieux. Ils ont toutefois deux limites.

Le biais de réponse. Seule une minorité de clients laisse une évaluation, et ce ne sont pas des clients représentatifs : les très contents et les très mécontents s’expriment plus que les autres. Un taux de pouces levés de 90 % sur 20 évaluations ne dit presque rien.

L’ambiguïté du pouce levé. Un client peut remercier poliment pour une réponse qui ne règle pas son problème. À l’inverse, un pouce baissé peut sanctionner une règle de l’entreprise (un remboursement refusé) plutôt que la qualité de la réponse.

Traitez donc ces signaux comme un indice, pas comme une preuve :

  • un pouce baissé est une excellente raison de relire la conversation, et il devrait être relu en priorité ;
  • un pouce levé ne dispense pas de la vérification par échantillon ;
  • le recontact sur le même sujet (même client, même thème, dans les jours qui suivent) est souvent un signal plus honnête que n’importe quelle note.

Traitez les escalades de façon équitable

L’escalade vers un humain n’est pas un échec en soi. Un agent bien configuré qui reconnaît ses limites et passe la main à temps rend service au client. Si vous pénalisez toute escalade, vous incitez (même involontairement) à régler l’IA pour qu’elle s’obstine, ce qui dégrade l’expérience.

Distinguez trois situations :

  • Escalade pertinente : la demande exige un humain (litige, geste commercial, cas particulier). L’IA a bien fait de transférer. Ne la comptez ni comme résolue ni comme ratée ; suivez-la à part.
  • Escalade évitable : la réponse existait dans votre base de connaissances et l’IA ne l’a pas trouvée. C’est un échec de l’IA, et une piste d’amélioration directe.
  • Escalade tardive : l’IA a insisté trop longtemps avant de transférer. Le client est arrivé énervé chez votre collaborateur.

Vous obtenez ainsi deux indicateurs complémentaires : le taux de résolution par l’IA sur les demandes qu’elle peut raisonnablement traiter, et la qualité du transfert pour les autres. Pour ce second point, regardez aussi ce qui se passe côté humain : le client a-t-il dû répéter son problème ? A-t-on su lui dire ce qui allait se passer ensuite ?

Présentez le chiffre pour qu’on lui fasse confiance

Un bon rapport tient sur une demi-page et dit toujours la même chose, dans le même ordre :

  1. La définition de « résolu », en une phrase.
  2. Le chiffre vérifié, accompagné du taux de confinement brut, pour que l’écart soit visible.
  3. La taille de l’échantillon et la méthode de tirage.
  4. La ventilation par canal (site, WhatsApp, Messenger) et par thème.
  5. Les trois principaux motifs d’échec et les actions prévues.

Ne changez pas de définition en cours d’année sans le signaler : une hausse due à un changement de méthode n’est pas une amélioration. Si vous modifiez la grille, recalculez la période précédente avec la nouvelle règle, ou marquez clairement la rupture dans la courbe.

Mettre cela en pratique dans AI SNS CHAT

AI SNS CHAT vous fournit la matière première de cette méthode ; le calcul du taux vérifié, lui, reste une opération que vous menez à partir de vos données. Rien dans le produit ne prétend produire à votre place un « taux de résolution » validé.

Retrouver et trier les conversations. Dans Activity → Chat logs, vous consultez les conversations de tous les canaux sauf l’e-mail, qui a sa propre boîte Inbox. Vous pouvez filtrer, sélectionner en lot, signaler (flag), escalader, marquer comme résolu ou supprimer, et exporter. L’export vous permet de tirer votre échantillon aléatoire dans un tableur, par canal.

Exploiter les évaluations. Les pouces levés et baissés sont visibles dans les journaux de conversation. Filtrez les pouces baissés pour constituer votre liste de relecture prioritaire, sans oublier qu’ils ne remplacent pas l’échantillon.

Repérer les tendances. Le menu Analytics propose Chats, Topics, Question history et Sentiment. Les thèmes et l’historique des questions vous aident à stratifier votre échantillon ; l’analyse avancée requiert le plan Pro.

Corriger ce que la relecture révèle. Quand vous trouvez une mauvaise réponse, vous pouvez la corriger en l’éditant pour en faire la réponse idéale, afin d’entraîner l’agent. Si la réponse manquait, ajoutez-la dans Data sources (Q&A, fichiers, site web, extraits de texte). Vous pouvez tester le résultat dans le Playground avant de remettre l’agent en service.

Soigner l’escalade. Vous pouvez reprendre la main sur une conversation (l’agent se met alors en pause) et définir des horaires par personne et fuseau dans Helpdesk → Scheduling. Les transferts sont attribués à la personne de garde, et des alertes partent vers Slack, Teams, LINE WORKS, WhatsApp, e-mail ou webhook. Le message affiché au client indique la suite prévue d’après le planning, sans jamais inventer de délai d’attente. Helpdesk nécessite le plan Standard ou supérieur.

Suivre les accès. L’historique d’activité de l’espace de travail (Workspace settings → Activity) enregistre qui crée, modifie ou supprime des éléments, ce qui est utile pour savoir qui a changé une source de connaissances entre deux mesures. Pour le cadre de protection des données, consultez la page sécurité : les pratiques y sont décrites comme conçues en référence au RGPD et à l’APPI.

Pour comparer les offres, consultez les tarifs et la page des fonctionnalités.

Conclusion

Un bon taux de résolution se construit : une définition écrite, des couches de filtres, un échantillon tiré au hasard, des signaux clients lus avec prudence, et un rapport qui montre l’écart avec le confinement. Vous obtiendrez probablement un chiffre moins flatteur que celui du tableau de bord, mais c’est le seul sur lequel vous pourrez réellement vous appuyer pour améliorer votre agent.

Questions fréquentes

Le taux de confinement est-il la même chose que le taux de résolution ?

Non. Le confinement compte les conversations qui n’ont pas été transmises à un humain, qu’elles aient été résolues ou abandonnées. Le taux de résolution ne retient que celles où le client a obtenu une réponse correcte et complète. Le premier est un point de départ, le second exige une vérification.

Combien de conversations faut-il relire chaque mois ?

Il n’y a pas de chiffre universel. Visez un volume stable, tiré au hasard et réparti par canal et par thème, assez large pour que quelques cas ne faussent pas le résultat et assez modeste pour être tenu dans la durée. Pour une petite équipe, quelques dizaines de conversations bien choisies valent mieux qu’une grande relecture ponctuelle.

Dois-je compter les pouces levés des clients comme des résolutions ?

Pas systématiquement. Peu de clients notent, ceux qui le font ne sont pas représentatifs, et un pouce levé peut être une simple politesse. Utilisez-le comme indice, relisez en priorité les pouces baissés, et conservez la vérification par échantillon pour établir le chiffre.

AI SNS CHAT calcule-t-il automatiquement le taux de résolution ?

Le produit met à disposition les journaux de conversation (filtres, marquage résolu ou escaladé, évaluations, export) et des analyses sur les thèmes, l’historique des questions et le sentiment. Le taux de résolution vérifié, tel que décrit ici, se calcule à partir de ces données et de votre relecture.

#taux de résolution#KPI#support client#agent IA#qualité

Passez à la pratique avec AI SNS CHAT

Créez un agent IA entraîné sur vos propres contenus et connectez-le à votre site, WhatsApp, Messenger et plus encore. Gratuit pour commencer, sans carte bancaire.