Cum testați două variante de flux de chat pe WhatsApp, Messenger sau site: o singură metrică, o singură schimbare, rezultate fără autoamăgire.
Ați rescris mesajul de bun venit, ați scurtat întrebările de calificare și vi se pare că „merge mai bine". Dar merge mai bine cu adevărat, sau doar ați avut o săptămână liniștită? Testarea A/B vă ajută să răspundeți cu date, nu cu impresii. În acest ghid găsiți o metodă simplă, potrivită unui IMM din România care primește câteva sute de conversații pe lună, nu zeci de mii.
Ce înseamnă un „flux de chat" care merită testat
Un flux de chat este drumul pe care îl parcurge o conversație, de la primul mesaj până la rezolvare sau predare către un om. Nu orice detaliu merită testat. Alegeți punctele în care pierdeți clienți sau timp.
Candidați buni:
- Mesajul de bun venit. Un salut generic față de unul care oferă direct trei opțiuni (de exemplu „Stadiul comenzii", „Retur", „Alt subiect").
- Întrebările de calificare. Cereți numele și e-mailul de la început sau abia după ce ați răspuns la prima întrebare?
- Momentul predării către un om. Predați după prima neînțelegere sau după a doua încercare?
- Tonul și lungimea răspunsurilor. Răspunsuri scurte, cu pași numerotați, față de explicații mai ample.
- Formularul de colectare a datelor de contact. Câte câmpuri cereți și în ce ordine.
Nu testați lucruri pe care le puteți decide din bun-simț sau din obligații legale. Informarea privind prelucrarea datelor personale, de exemplu, nu este un subiect de A/B: GDPR este cadrul în care lucrați, nu o variabilă.
Alegeți o singură metrică principală înainte de a schimba ceva
Cea mai frecventă greșeală este să testați „ca să vedem ce iese". Dacă urmăriți zece cifre, una dintre ele va arăta mereu bine întâmplător. Stabiliți dinainte, în scris, o singură metrică principală.
Câteva opțiuni, în funcție de scop:
| Scop | Metrică principală posibilă |
|---|---|
| Reducerea sarcinii echipei | Conversații rezolvate fără predare către un om |
| Mai multe cereri de ofertă | Procentul de conversații care ajung la formularul de contact completat |
| Satisfacție | Procentul de evaluări pozitive (deget în sus) din totalul evaluărilor |
| Viteză | Numărul de mesaje până la rezolvare |
Pentru un flux pe WhatsApp sau Messenger, unde clientul scrie de obicei o problemă concretă (stadiul unui colet, o programare, un retur), „rezolvat fără predare către om" este de regulă cea mai onestă măsură. Dacă fluxul este o pagină de vânzări pe site, rata de completare a formularului spune mai mult.
Alegeți și o metrică de siguranță, adică ceva ce nu trebuie să se deterioreze. Dacă varianta B reduce predările, dar crește numărul de evaluări negative, nu ați câștigat nimic.
Schimbați un singur lucru odată
Dacă în varianta B ați schimbat salutul, ordinea întrebărilor și tonul, iar rezultatul s-a îmbunătățit, nu veți ști care schimbare a contat. Iar dacă s-a înrăutățit, nu veți ști ce să anulați.
Regula este simplă: variantele A și B diferă printr-un singur element. Tot restul rămâne identic: baza de cunoștințe, persona, canalul, programul de lucru al echipei.
- 01Alegeți metrica și ipoteza
- 02Creați varianta B cu o singură schimbare
- 03Rulați A și B în paralel
- 04Comparați și decideți
Formulați ipoteza ca o propoziție verificabilă: „Dacă salutul oferă trei butoane, mai multe conversații se vor rezolva fără predare." O ipoteză clară vă împiedică să schimbați totul odată.
Împărțiți publicul corect
Ideal, fiecare vizitator nimerește aleatoriu în A sau în B. În practică, într-un IMM veți folosi adesea metode mai simple, dar tot trebuie să evitați distorsiunile.
- Două puncte de intrare separate. De exemplu două pagini de site comparabile, sau două linkuri de conversație trimise unor segmente similare. Atenție: paginile trebuie să aibă trafic asemănător.
- Alternarea pe zile. Luni, miercuri și vineri varianta A, marți și joi varianta B, apoi inversați săptămâna următoare. Este mai slabă decât împărțirea aleatorie, dar mai bună decât „o săptămână A, o săptămână B".
- Fără mutări în timpul testului. Dacă mutați clienți dintr-o variantă în alta, rezultatele nu mai pot fi interpretate.
De ce nu „o lună A, apoi o lună B"? Pentru că între timp se schimbă sezonul, campaniile, stocurile, chiar și zilele libere. Orice diferență ar putea veni din calendar, nu din flux.
Aveți grijă și la tipul de public. Clienții care vă scriu pe WhatsApp au adesea o relație mai veche cu firma decât vizitatorii noi de pe site. Nu comparați A pe WhatsApp cu B pe site: ați compara canale, nu variante.
Cât timp rulați testul și câte conversații vă trebuie
Nu există un număr magic valabil pentru toți. Cu cât diferența pe care vreți să o detectați este mai mică, cu atât aveți nevoie de mai multe conversații pe variantă. O diferență mare se vede repede; una de câteva procente cere sute sau chiar mii de conversații.
Ca reper practic:
- Estimați câte conversații primiți pe lună. Dacă primiți, de exemplu, 300 de conversații pe lună, o variantă va primi cam 150 într-o lună, adică destul pentru a vedea diferențe mari, dar nu pentru diferențe fine.
- Rulați testul cel puțin două cicluri complete de săptămână, ca să includeți și zilele aglomerate, și pe cele liniștite.
- Stabiliți dinainte numărul minim de conversații pe variantă și nu opriți testul în momentul în care „arată bine".
Dacă volumul este mic, acceptați că veți detecta doar îmbunătățiri mari. Este în regulă: pentru un IMM, o schimbare care aduce un salt clar valorează mai mult decât zece micro-optimizări imposibil de dovedit.
Citiți rezultatele fără să vă păcăliți
Să presupunem un test ipotetic, cu 150 de conversații pe variantă, măsurat după „rezolvate fără predare către om".
În acest exemplu, A rezolvă 87 din 150 (58%), iar B rezolvă 99 din 150 (66%). Pare un câștig de opt puncte procentuale. Dar cu doar 150 de conversații pe parte, o diferență de această mărime poate apărea și numai din întâmplare. Concluzia corectă este „B pare promițătoare, merită prelungit testul", nu „B a câștigat".
Întrebări de control înainte de a decide:
- Diferența e mare față de zgomotul obișnuit? Dacă de la o săptămână la alta, aceeași variantă oscilează cu cinci puncte, o diferență de opt nu spune mult.
- Metrica de siguranță a rămas stabilă? Verificați evaluările negative și conversațiile marcate pentru escaladare.
- Rezultatul se repetă? Dacă B câștigă în ambele jumătăți ale testului, încrederea crește.
- Ați citit conversații concrete? Cifrele spun ce s-a întâmplat, conversațiile spun de ce. Parcurgeți un eșantion din fiecare variantă.
Greșeli frecvente
- Mai multe schimbări simultane. Nu veți ști ce a funcționat.
- Oprirea la prima cifră favorabilă. Rezultatele timpurii oscilează mult.
- Metrica aleasă după test. Dacă nu a ieșit pe cea inițială, nu căutați o alta „care arată bine".
- Ignorarea conversațiilor atipice. O campanie, o defecțiune sau o sărbătoare pot distorsiona o săptămână întreagă. Notați evenimentele neobișnuite.
- Date personale în notițe. Când exportați sau analizați conversații, păstrați analiza la nivel agregat și nu copiați date ale clienților în foi de calcul partajate. Lucrați cu rigoarea cerută de GDPR.
- Testarea unei baze de cunoștințe incomplete. Dacă agentul nu are răspunsul în materialele sale, nicio formulare a salutului nu va ajuta. Completați mai întâi sursele de date.
Cum faceți acest lucru în AI SNS CHAT
AI SNS CHAT nu are o funcție dedicată care să împartă automat vizitatorii între două fluxuri, așa că testul se organizează manual, cu instrumentele existente.
1. Creați varianta B. Duplicați agentul: copia păstrează persona, modelul și datele de instruire, dar nu conversațiile. Apoi modificați într-o singură zonă (salut, instrucțiuni, formular). Numărul de agenți depinde de plan: Hobby include 2, iar un agent suplimentar costă 10 USD pe lună.
2. Faceți o copie de siguranță a variantei A. Agenții au puncte de restaurare (până la 40 per agent), deci puteți reveni oricând la o configurație anterioară. Dacă varianta B se comportă mai rău, rollback-ul este simplu și nu pierdeți varianta veche.
3. Verificați înainte în Playground. Playground vă lasă să încercați întrebări tipice și, prin comparația A/B de modele, să vedeți cum răspund două modele diferite. Este util ca verificare prealabilă, dar nu înlocuiește testul pe conversații reale.
4. Trimiteți conversațiile pe două căi. Folosiți puncte de intrare separate (de exemplu widget-ul pe două pagini sau linkuri partajabile diferite) sau alternați pe zile, conform secțiunii despre împărțirea publicului. Canalele disponibile includ chat pe site, WhatsApp și Messenger; lista completă este la /connections.
5. Măsurați din Activity → Chat logs. Acolo găsiți conversațiile de pe canalele non-email, cu filtre, marcare, escaladare, rezolvare, evaluări pozitive și negative și export. Numărați variantele pe baza filtrelor sau a exportului. În Analytics vedeți Chats, Topics, Question history și Sentiment; analizele avansate cer planul Pro.
6. Corectați pe baza conversațiilor reale. Din Chat logs puteți edita un răspuns slab în răspunsul ideal pentru a antrena agentul, iar predările către oameni pot fi configurate în Helpdesk (Scheduling), pentru a avea mereu pe cineva de tură.
Rețineți că fiecare răspuns consumă un credit, deci un test pe două variante consumă din creditele lunare. Detalii despre planuri găsiți la /pricing, iar funcțiile la /features.
Concluzie
Un test A/B bun nu cere instrumente complicate, ci disciplină: o metrică, o schimbare, un public comparabil și răbdare. Începeți cu o ipoteză mică, notați-o, rulați testul suficient și decideți abia apoi.
Întrebări frecvente
Poate AI SNS CHAT să împartă automat vizitatorii între două fluxuri?
Nu există o funcție dedicată de acest fel. Puteți duplica agentul, modifica o singură zonă și trimite conversațiile pe două puncte de intrare separate sau pe zile alternante. Playground-ul are o comparație A/B de modele, dar aceasta servește la verificări înainte de lansare, nu la împărțirea traficului real.
Câte conversații îmi trebuie pentru un rezultat de încredere?
Depinde de mărimea diferenței pe care o căutați. Diferențele mari se văd cu câteva sute de conversații pe variantă, cele mici cer mult mai multe. Dacă volumul dumneavoastră e redus, țintiți schimbări mari și nu opriți testul la prima cifră favorabilă.
Ce metrică folosesc pentru un flux pe WhatsApp sau Messenger?
De obicei, conversațiile rezolvate fără predare către un om, cu evaluările negative ca metrică de siguranță. Dacă fluxul urmărește cereri de ofertă, folosiți rata de completare a formularului de contact. Alegeți una singură înainte de a începe.
Este sigur să revin la varianta veche dacă B merge mai rău?
Da, dacă ați pregătit terenul. Agenții au puncte de restaurare, până la 40 per agent, iar varianta A rămâne ca agent separat dacă ați lucrat pe o copie. Oricum, e bine să faceți o salvare chiar înainte de modificările importante.


