Vai al contenuto
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

A/B test sui flussi di chat: guida pratica per PMI italiane

Redazione AI SNS CHATPubblicato il 8 min di lettura

Come confrontare due versioni di un flusso di chat su sito, WhatsApp e Messenger: metrica, campione, durata e errori da evitare, con esempi per le PMI.

Avete riscritto il messaggio di benvenuto o cambiato il modo in cui il bot chiede il numero d'ordine, e le chat sembrano andare meglio. Ma "sembrano" non basta quando si decide dove investire il tempo di un team piccolo. Un A/B test ben impostato vi permette di confrontare due versioni dello stesso flusso e di distinguere un miglioramento reale da una settimana fortunata. Qui trovate un metodo semplice, pensato per PMI con volumi di chat contenuti.

Che cosa è un flusso di chat che vale la pena testare

Un "flusso" è il percorso che una conversazione segue dal primo messaggio al risultato: una risposta, una prenotazione, un contatto raccolto o il passaggio a una persona. Non tutto merita un test. Conviene concentrarsi sui punti in cui, ogni mese, passa molto traffico oppure si perde molto.

Alcuni candidati tipici per una PMI:

  • Il messaggio di apertura sul sito, ad esempio un negozio online che chiede "Come posso aiutarvi?" oppure propone tre pulsanti con i temi più frequenti (spedizioni, resi, taglie).
  • La raccolta dei dati: chiedere subito l'e-mail oppure solo dopo aver dato una prima risposta utile.
  • Il passaggio all'operatore: dopo quanti tentativi andati a vuoto il bot propone di parlare con una persona.
  • Il tono e la lunghezza delle risposte su WhatsApp, dove i messaggi lunghi si leggono male da telefono.
  • Le istruzioni di persona dell'agente AI: formale o più colloquiale, risposte brevi o con passaggi numerati.

Evitate invece di testare ciò che riceve poche chat al mese. Con pochi dati non otterrete mai una risposta affidabile, e conviene decidere con il buon senso e con la lettura diretta delle conversazioni.

Scegliete una sola metrica principale prima di cambiare qualcosa

L'errore più comune è guardare i risultati e poi scegliere la metrica che dà ragione alla variante preferita. Per evitarlo, scrivete prima del test una frase come: "La variante B vince se aumenta la quota di chat risolte senza passaggio a un operatore".

Metriche sensate, in base all'obiettivo:

ObiettivoMetrica principaleMetrica di controllo
Ridurre il carico sul teamChat risolte senza passaggio a operatoreValutazioni negative (pollice in giù)
Raccogliere contattiPercentuale di chat che lasciano un recapitoChat abbandonate dopo la richiesta
Migliorare la soddisfazioneQuota di valutazioni positiveTempo di risoluzione
Ridurre i rimbalziChat che proseguono oltre il secondo messaggioPassaggi a operatore

La metrica di controllo serve a evitare vittorie false. Se la variante B risolve più chat da sola ma raccoglie più pollici in giù, probabilmente sta "chiudendo" le conversazioni senza aiutare davvero.

Cambiate una cosa alla volta

Se nella variante B cambiate il saluto, l'ordine delle domande e il tono, e il risultato migliora, non saprete quale modifica ha funzionato. Ogni test deve isolare una sola ipotesi.

Un'ipotesi ben formulata ha tre parti: cosa cambia, chi dovrebbe trarne beneficio, quale effetto vi aspettate. Per esempio: "Se il bot propone subito i tre argomenti più richiesti con dei pulsanti, più visitatori del sito arriveranno a una risposta senza dover scrivere".

Il ciclo di lavoro è sempre lo stesso:

  1. 01Ipotesi e metrica
  2. 02Creare la variante B
  3. 03Eseguire il test
  4. 04Leggere e decidere
Un ciclo semplice di A/B test per un flusso di chatEsempio illustrativo

Prima di avviare il test, verificate che la variante B funzioni davvero. Provate le conversazioni più comuni e anche quelle scomode: domande fuori tema, messaggi ambigui, richieste di parlare con una persona.

Dividere il pubblico in modo equo

Un confronto è valido solo se le due varianti ricevono pubblico simile. Se la versione A gira il lunedì mattina e la B il sabato sera, state confrontando giorni diversi, non flussi diversi.

Metodi di suddivisione realistici per una PMI:

  • Per pagina o area del sito: la variante A su metà delle schede prodotto, la B sull'altra metà, scegliendo pagine con traffico paragonabile.
  • Per periodi alternati: una settimana A, una settimana B, ripetendo l'alternanza più volte. È meno pulito di una divisione simultanea, ma fattibile quando non potete dividere il traffico.
  • Per canale o link: utile se avete due punti di ingresso comparabili, ma attenzione, perché chi usa WhatsApp e chi usa il sito hanno spesso aspettative diverse.

Evitate di assegnare le varianti in base a chi sembra "più interessato" o a chi scrive in un certo orario. Qualsiasi criterio legato al comportamento dell'utente falsa il confronto.

Un'attenzione sul fronte privacy: se per il test registrate o esportate conversazioni, applicate il principio di minimizzazione del GDPR. Conservate solo ciò che serve alla valutazione, evitate di copiare dati personali nei fogli di analisi e verificate che l'informativa sul trattamento copra l'uso dei dati per migliorare il servizio. Per le questioni legali specifiche rivolgetevi al vostro consulente.

Quanto far durare il test e quante chat servono

Qui si sbaglia in due modi: fermarsi troppo presto perché la variante B parte bene, oppure prolungare all'infinito sperando che i numeri si confermino.

Regole pratiche:

  1. Fissate in anticipo una durata minima, di almeno due settimane intere, così da coprire sia i giorni feriali sia il fine settimana.
  2. Fissate un numero minimo di chat per variante prima di guardare i risultati. Non c'è una soglia universale: dipende da quanto è grande la differenza che sperate di vedere. Differenze piccole richiedono molte più conversazioni.
  3. Non interrompete il test appena una variante è in vantaggio. I primi giorni sono i più rumorosi.
  4. Evitate periodi anomali: saldi, Black Friday, un'interruzione del servizio di spedizione. Se capitano durante il test, dichiaratelo e valutate se ripeterlo.

Un esempio ipotetico: se un negozio riceve 300 chat al mese, con una divisione 50/50 ottiene 150 chat per variante in un mese. È un volume modesto, quindi vale la pena testare solo cambiamenti che promettono un effetto ampio, non ritocchi di virgole.

Leggere i risultati senza ingannarsi

Supponiamo di aver confrontato due versioni di un flusso di assistenza sulle spedizioni, con 150 chat ciascuna. I numeri sono ipotetici e servono solo a ragionare.

Variante A
96
Variante B
108
Esempio ipotetico: chat risolte senza passaggio a operatore (150 chat per variante)Esempio illustrativo

La variante A ha risolto da sola 96 chat su 150 (64%), la B 108 su 150 (72%). Otto punti percentuali sembrano un buon risultato, ma con campioni di questa dimensione una differenza simile può ancora dipendere dal caso. Prima di dichiarare un vincitore, fatevi alcune domande:

  • La differenza è abbastanza grande da contare? Se la B fa risparmiare dodici interventi su 150 chat, vale lo sforzo di mantenerla?
  • Le metriche di controllo sono peggiorate? Controllate le valutazioni negative e le chat riaperte.
  • Il risultato regge nel tempo? Confrontate la prima e la seconda settimana: se la B vince solo nella prima, è probabile un effetto novità.
  • Cosa dicono le conversazioni? Leggete a campione una ventina di chat per variante. I numeri vi dicono cosa è successo, le conversazioni vi dicono perché.

Se il risultato è incerto, la risposta onesta è "nessuna differenza dimostrata". Non è un fallimento: vi ha evitato di cambiare un flusso senza motivo, e potete scegliere la versione più semplice da mantenere.

Errori comuni

  • Cambiare più cose insieme, per poi non sapere a cosa attribuire l'effetto.
  • Modificare la variante a metà test, anche solo "per correggere una frase". Se dovete intervenire, annotate la data e considerate di ripartire.
  • Scegliere la metrica a posteriori, la tentazione più forte quando il risultato principale delude.
  • Confrontare periodi diversi senza accorgersene, per esempio la A prima delle ferie e la B dopo.
  • Ignorare la base di conoscenza: se la variante B sembra peggiore perché mancava un'informazione nelle fonti dell'agente, il difetto non è nel flusso. Correggete le fonti prima di trarre conclusioni.
  • Dimenticare di documentare: tra tre mesi nessuno ricorderà perché la B è stata adottata. Scrivete ipotesi, date, metrica e decisione in un documento condiviso.

Come impostare un A/B test in AI SNS CHAT

Una premessa onesta: dalla documentazione del prodotto non risulta una funzione che divida automaticamente i visitatori tra due flussi in produzione. Il confronto si organizza quindi con gli strumenti esistenti e con una suddivisione gestita da voi, come quelle descritte sopra. Ecco un percorso concreto.

  1. Create la variante B con Duplicate. Duplicando un agente si copiano persona, modello e dati di addestramento, ma non le conversazioni. Così partite da una copia identica e modificate una sola cosa, ad esempio le istruzioni di persona o il messaggio di benvenuto.
  2. Mettete in sicurezza la versione attuale. Gli agenti dispongono di punti di ripristino (fino a 40 per bot): salvatene uno prima di modificare qualsiasi cosa, così potete tornare indietro.
  3. Provate prima in Playground. Il Playground include un confronto A/B tra modelli, utile per vedere come due modelli rispondono alle stesse domande prima di pubblicare. Attenzione: serve a confrontare risposte in prova, non a dividere il traffico reale. I modelli avanzati e il fallback richiedono il piano Hobby o superiore.
  4. Pubblicate le due varianti in punti diversi. In Canali potete distribuire un agente con il widget per il sito, con un link condivisibile e con i canali collegati come WhatsApp e Messenger. Per il sito potete, ad esempio, inserire il widget dell'agente A su alcune pagine e quello della copia B su pagine comparabili.
  5. Leggete i risultati in Activity → Chat logs. Qui trovate tutte le conversazioni dei canali (l'Inbox è solo per le e-mail), con filtri, esportazione, valutazioni con pollice su e giù, e azioni per segnalare, escalare o risolvere. Per le tendenze generali c'è la sezione Analytics con Chat, Argomenti, Cronologia domande e Sentiment; le analisi avanzate richiedono il piano Pro.
  6. Tracciate i passaggi a operatore. Con Helpdesk → Scheduling (piano Standard o superiore) assegnate i passaggi a chi è in turno, e le chat escalate restano filtrabili nei log: sono la vostra metrica di controllo naturale.
  7. Annotate le modifiche. In Impostazioni workspace → Activity, visibile a titolari e amministratori, trovate il registro di chi ha modificato cosa e quando: è utile per datare con precisione l'inizio di ogni variante.

Tenete presente che ogni risposta consuma un credito: due agenti in parallelo non raddoppiano il traffico, ma ogni chat va comunque contata nel vostro piano.

Se la B peggiora, tornate alla versione precedente dal punto di ripristino oppure semplicemente rimuovete la copia dal sito.

Per verificare piani e limiti consultate la pagina prezzi e l'elenco delle funzioni; per i canali disponibili vedete connessioni, mentre le pratiche di protezione dei dati, definite con riferimento a GDPR e APPI, sono descritte nella pagina sicurezza.

Domande frequenti

AI SNS CHAT può dividere automaticamente i visitatori tra due flussi?

Dalle funzioni documentate non risulta una divisione automatica del traffico reale. Potete però duplicare un agente, pubblicare le due versioni su pagine o periodi comparabili e confrontare i risultati nei Chat logs. Il confronto A/B del Playground riguarda invece i modelli in prova, non i visitatori.

Quante chat servono per un risultato affidabile?

Non esiste un numero valido per tutti: dipende dalla dimensione della differenza che cercate. Differenze piccole richiedono molte più conversazioni di differenze marcate. Con volumi di poche centinaia di chat al mese, testate solo cambiamenti ampi e fissate la soglia minima prima di iniziare.

Quale metrica scelgo per un flusso WhatsApp o Messenger?

Scegliete una metrica osservabile, come la quota di chat risolte senza passaggio a un operatore, e affiancatele un controllo come le valutazioni negative o le richieste ripetute. Su questi canali molti utenti non lasciano feedback esplicito, quindi il solo gradimento dichiarato è poco rappresentativo.

È sicuro tornare indietro se la variante B va peggio?

Sì, se vi preparate prima. Gli agenti hanno punti di ripristino, fino a 40 per bot, quindi salvate quello della versione funzionante prima di modificare. La copia creata con Duplicate resta separata, e potete toglierla dal sito o ripristinare l'originale senza perdere le conversazioni già registrate.

#A/B test#KPI#flussi di chat#WhatsApp#assistenza clienti

Mettilo in pratica con AI SNS CHAT

Crea un agente IA addestrato sui tuoi contenuti e collegalo al sito, a WhatsApp, Messenger e altro. Gratis per iniziare, senza carta di credito.