Sari la conținut
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

Rata de rezolvare a AI-ului: cum o măsurați corect

Redacția AI SNS CHATPublicat 7 min de citit

Rata de rezolvare a chatbotului pare simplă, dar induce în eroare. Aflați cum o definiți, o eșantionați și o raportați corect într-o firmă mică.

Dacă un tablou de bord vă spune că AI-ul „rezolvă 70% din conversații", merită să vă întrebați: rezolvă sau doar nu transferă? Diferența dintre cele două poate însemna zeci de clienți nemulțumiți care au renunțat în tăcere pe WhatsApp, pe Messenger sau pe site. În acest articol vedeți cum definiți termenii, cum construiți metrica pe straturi și cum o raportați astfel încât echipa să aibă încredere în ea.

De ce rata de rezolvare „evidentă" induce în eroare

Formula la care se gândește oricine este: conversații încheiate fără om, împărțite la toate conversațiile. Problema este că aceasta măsoară reținerea (în engleză, containment), nu rezolvarea.

O conversație poate ajunge fără om la final din motive foarte diferite:

  • clientul a primit răspunsul corect și a plecat mulțumit;
  • clientul a primit un răspuns greșit, dar plauzibil, și a acționat pe baza lui;
  • clientul s-a plictisit și a închis fereastra;
  • clientul a trecut pe telefon sau a scris pe altă rețea, iar la dumneavoastră conversația apare ca „închisă".

Toate patru arată identic într-un contor simplu. Prima este un succes, celelalte trei sunt eșecuri mascate. Într-un magazin online mic, de exemplu, o întrebare despre termenul de retur la care botul răspunde greșit nu generează niciun transfer, dar generează o reclamație peste două săptămâni.

Definiți termenii înainte să numărați

Înainte de orice calcul, stabiliți în scris câteva definiții și păstrați-le neschimbate de la o lună la alta. Altfel, cifrele nu se pot compara.

Ce este o conversație

Un client care scrie dimineața pe WhatsApp și revine seara cu aceeași problemă este o conversație sau două? Alegeți o regulă simplă, de exemplu: mesajele aceluiași client, pe același canal, în aceeași problemă și într-un interval de 24 de ore formează o singură conversație.

Ce înseamnă „rezolvat"

O definiție practică: conversația este rezolvată dacă întrebarea clientului a primit un răspuns corect și complet, iar clientul nu a trebuit să revină pe aceeași problemă într-un interval stabilit (de pildă, șapte zile).

Ce excludeți din numitor

Nu toate conversațiile sunt o încercare de rezolvare. Decideți explicit cum tratați:

  • saluturile și mesajele fără întrebare;
  • spamul și mesajele de test;
  • cererile pe care botul nu are voie să le trateze (de exemplu, modificări de comenzi care cer un om), dacă le-ați exclus intenționat prin regulile agentului.

Notați regulile și aplicați-le identic în fiecare lună.

Construiți metrica pe straturi

În loc de un singur procent, folosiți mai multe, de la cel mai optimist la cel mai realist. Diferența dintre ele este chiar informația utilă.

  1. Rata de reținere: conversații fără intervenție umană, din total.
  2. Rata de răspuns relevant: din cele reținute, câte au primit un răspuns pe subiect, nu o evaziune sau un „nu știu".
  3. Rata de rezolvare verificată: din cele reținute, câte au fost confirmate ca rezolvate corect printr-o revizuire manuală pe eșantion.
  4. Rata de rezolvare fără revenire: din cele verificate, câte nu au dus la o nouă conversație pe aceeași temă în intervalul stabilit.
  1. 01Toate conversațiile
  2. 02Excluderea zgomotului
  3. 03Eșantion revizuit manual
  4. 04Rată verificată, fără reveniri
De la conversațiile brute la o rată de rezolvare credibilăExemplu ilustrativ

Un exemplu ipotetic: o clinică stomatologică primește 300 de conversații pe lună pe Messenger și pe site. Dacă 210 se încheie fără om, rata de reținere este 70%. Dacă revizuirea arată că doar 80% dintre acestea au fost răspunsuri corecte și complete, rata verificată este 56%.

Rată de reținere
70
Răspuns relevant
64
Rezolvare verificată
56
Exemplu ipotetic: cum o rată de reținere de 70% devine 56% rezolvare verificatăExemplu ilustrativ

Cifrele sunt ilustrative, nu rezultate reale. Ideea este că fiecare strat scade procentul, iar ultimul este cel pe care vă puteți baza.

Eșantionați corect, nu comod

Nu puteți citi toate conversațiile, deci veți lucra pe un eșantion. Cum îl alegeți contează mai mult decât cât de mare este.

Greșeli frecvente

  • Citiți doar conversațiile scurte, pentru că se parcurg repede. Acestea sunt de obicei cele mai simple, deci rezultatul iese prea bun.
  • Citiți doar conversațiile cu reclamații. Rezultatul iese prea prost.
  • Citiți mereu din aceeași zi sau de pe același canal. Pe WhatsApp, clienții scriu altfel decât pe chatul de pe site.

Un eșantion sănătos

  • alegeți conversațiile aleatoriu din toată luna, nu cele de la începutul ei;
  • păstrați proporția pe canale: dacă 60% din volum vine pe WhatsApp, cam 60% din eșantion trebuie să vină de acolo;
  • includeți și conversațiile lungi, cu mai multe replici;
  • notați fiecare conversație după aceeași grilă: rezolvat complet, rezolvat parțial, nerezolvat, răspuns greșit.

Pentru un IMM cu câteva sute de conversații pe lună, o revizuire de 30–50 de conversații alese aleatoriu, făcută constant lună de lună, este mai utilă decât o analiză mare, făcută o singură dată. Nu există un număr magic; contează să fiți consecvent și să rămâneți la același mod de selecție.

Folosiți semnalele clienților, dar cunoașteți-le părtinirea

Aprecierile de tip „util / neutil" (degetul în sus sau în jos) sunt valoroase, dar au o părtinire clară: răspund puțini clienți, iar cei care răspund sunt fie foarte mulțumiți, fie foarte supărați.

Câteva reguli de bun-simț:

  • tratați degetul în jos ca pe un semnal de revizuire: orice conversație cu apreciere negativă merită citită;
  • nu considerați degetul în sus drept dovadă de rezolvare. Un client poate aprecia politețea botului, fără ca problema lui să fi fost rezolvată;
  • urmăriți revenirile: dacă același client scrie din nou, în câteva zile, pe aceeași temă, prima conversație probabil nu a rezolvat nimic;
  • ținând cont de GDPR, folosiți aceste date doar pentru îmbunătățirea serviciului și nu păstrați mai multe date personale decât este necesar.

Tratați corect transferurile către om

Transferul către un coleg nu este un eșec în sine. Uneori este exact decizia corectă: o reclamație sensibilă, o cerere de ofertă, o excepție de la politica de retur. Dacă îl penalizați, riscați să încurajați un bot care „se încăpățânează" să răspundă.

O abordare echitabilă:

  • transfer justificat (botul a recunoscut limita și a predat corect): nu este eșec al AI-ului, dar nici nu intră la „rezolvat de AI";
  • transfer evitabil (informația exista în baza de cunoștințe, dar botul nu a găsit-o): este o lacună de conținut și trebuie remediată;
  • transfer târziu (clientul a repetat de trei ori aceeași întrebare înainte de predare): este un eșec de experiență, chiar dacă omul a rezolvat în final.

Urmăriți separat aceste trei categorii. Veți vedea imediat ce trebuie corectat: conținutul, regulile de predare sau tonul.

Raportați astfel încât oamenii să aibă încredere

O cifră fără context nu convinge pe nimeni. Un raport lunar bun conține:

  • toate straturile metricii, nu doar cel mai bun procent;
  • metoda de eșantionare și numărul de conversații revizuite;
  • definițiile folosite, într-o notă scurtă, neschimbate de la o lună la alta;
  • cele mai frecvente cauze de eșec, cu două-trei exemple anonimizate;
  • acțiunile decise (ce articol adăugați în baza de cunoștințe, ce regulă schimbați) și rezultatul lor în luna următoare.

Prezentați rata verificată drept cifra principală și rata de reținere drept cifră secundară. Dacă procentul scade după ce ați făcut definițiile mai stricte, explicați de ce: scăderea înseamnă măsurare mai onestă, nu un serviciu mai slab.

Cum procedați în AI SNS CHAT

AI SNS CHAT nu calculează automat o „rată de rezolvare verificată". Vă oferă însă instrumentele cu care o puteți construi riguros.

Conversațiile. Conversațiile de pe toate canalele, mai puțin e-mailul, se văd la Activity → Chat logs. Aici puteți filtra, selecta mai multe conversații odată, le puteți marca (flag), escalada sau marca drept rezolvate și le puteți exporta. Exportul vă ajută să extrageți eșantionul aleatoriu și să îl notați într-o foaie de calcul, după grila de mai sus. Conversațiile prin e-mail sunt în Inbox.

Aprecierile. Același ecran afișează aprecierile pozitive și negative ale clienților. Folosiți-le ca filtru pentru revizuire, nu ca dovadă de rezolvare.

Analiza. Secțiunea Analytics include Chats, Topics, Question history și Sentiment. Topics și Question history vă arată ce întrebări apar cel mai des, deci unde merită să verificați mai atent calitatea răspunsurilor. Analizele avansate cer planul Pro.

Remedierea. Când găsiți un răspuns greșit în Chat logs, puteți prelua conversația (botul se oprește) și puteți edita răspunsul într-unul ideal, care antrenează agentul. Dacă lipsea informația, adăugați-o la Data sources (fișiere, fragmente de text, site, Q&A). Testați schimbarea în Playground înainte să o lăsați să ajungă la clienți.

Transferurile. La Helpdesk → Scheduling setați turele pe persoană și fus orar, iar transferurile se atribuie automat celui aflat în tură. Alertele pot ajunge pe Slack, Teams, LINE WORKS, WhatsApp, e-mail sau webhook. Helpdesk cere cel puțin planul Standard. Mesajul către client la transfer este generat de server pe baza programului și nu inventează un timp de așteptare.

Disciplina. Puteți cere ajutor lui Synthia, managerul AI din bara laterală, pentru a găsi ecranul potrivit. Ritmul lunar, definițiile și eșantionarea rămân însă responsabilitatea echipei dumneavoastră. Detalii despre funcții găsiți la /features, iar despre canale la /connections.

Concluzie

O rată de rezolvare onestă este mai mică decât cea din tabloul de bord implicit, dar este singura de care vă puteți folosi la decizii. Definiți termenii, separați reținerea de rezolvare, eșantionați aleatoriu, tratați aprecierile ca semnale și nu ca dovezi, iar transferurile judecați-le după motiv. Cu aceeași metodă repetată lunar, veți vedea clar dacă AI-ul chiar ajută clienții sau doar îi ține departe de echipă.

Întrebări frecvente

Rata de reținere este același lucru cu rata de rezolvare?

Nu. Rata de reținere arată câte conversații s-au încheiat fără om, indiferent dacă clientul a primit ajutor. Rata de rezolvare cere ca răspunsul să fi fost corect și complet, iar de obicei este mai mică.

Câte conversații ar trebui să revizuiesc lunar?

Nu există un număr valabil pentru toți. Pentru un IMM cu câteva sute de conversații pe lună, un eșantion aleatoriu de 30–50, păstrând proporția pe canale, este un început rezonabil. Mai important decât numărul este să folosiți aceeași metodă în fiecare lună.

Să număr aprecierile pozitive ale clienților drept conversații rezolvate?

Nu ca regulă. Puțini clienți votează, iar un vot pozitiv poate răsplăti amabilitatea, nu soluția. Folosiți aprecierile negative pentru a alege ce să revizuiți și verificați manual restul.

AI SNS CHAT calculează automat rata de rezolvare?

Nu există o metrică automată de rezolvare verificată. Aveți Chat logs cu filtre, marcare, export și aprecieri, plus Analytics cu Chats, Topics, Question history și Sentiment. Cu acestea puteți construi metrica descrisă mai sus.

#rata de rezolvare#KPI#chatbot#suport clienți#IMM

Pune în practică cu AI SNS CHAT

Creează un agent AI antrenat pe propriul conținut și conectează-l la site, WhatsApp, Messenger și altele. Gratuit pentru început, fără card de credit.