Aprende a probar dos versiones de un flujo de chat en WhatsApp, Instagram o web: métrica, muestra, duración y errores que debes evitar.
Cambiar el saludo del bot o reordenar las preguntas de un flujo se siente como una mejora, pero sin medirla es solo una opinión. Una prueba A/B te permite comparar dos versiones con chats reales y decidir con datos en lugar de intuiciones. En esta guía verás cómo plantearla paso a paso, cuántos chats necesitas y cómo hacerla en AI SNS CHAT sin engañarte con el azar.
Qué es un flujo de chat que merece una prueba
Un flujo es el camino que recorre una conversación desde que el cliente escribe hasta que se resuelve o pasa a una persona. No todos los flujos justifican una prueba. Empieza por los que tienen mucho volumen o mucho coste de error.
Buenos candidatos:
- El mensaje de bienvenida en WhatsApp o en el chat web: define si el cliente sigue escribiendo o se va.
- La captación de datos: cuándo pides el correo, el número de pedido o el teléfono.
- El paso a un agente humano: en qué momento y con qué texto ofreces la derivación.
- Las respuestas a las cinco preguntas más repetidas: envíos, devoluciones, horarios, medios de pago, estado del pedido.
- Los mensajes de seguimiento cuando el cliente deja la conversación a medias.
Mal candidato: una pregunta que recibes dos veces al mes. Nunca juntarás suficientes chats para concluir nada.
Elige una métrica principal antes de cambiar nada
Si decides la métrica después de ver los resultados, siempre encontrarás una que favorezca a la versión que te gustaba. Elige una sola, escríbela y no la cambies.
Opciones habituales para soporte:
- Chats resueltos sin derivación: porcentaje de conversaciones que el agente de IA cierra sin pasar a una persona.
- Valoraciones positivas: pulgares arriba frente a pulgares abajo.
- Datos capturados: porcentaje de conversaciones que terminan con un lead completo.
- Derivaciones innecesarias: chats escalados que, al revisarlos, tenían respuesta en tu base de conocimiento.
Para un flujo de WhatsApp o Instagram, "resuelto sin derivación" suele ser la más honesta, porque mide si el cliente obtuvo lo que necesitaba. Complétala con una métrica de control, por ejemplo las valoraciones, para comprobar que no estás resolviendo "más" a costa de dejar peor atendido al cliente.
Cambia una sola cosa a la vez
Si en la versión B cambias el saludo, el orden de las preguntas y el tono, y mejora, no sabrás cuál de los tres cambios funcionó. Cambia una variable por prueba.
Ejemplos de cambios aislados:
- Saludo largo con menú de opciones frente a saludo corto con una pregunta abierta.
- Pedir el número de pedido al principio frente a pedirlo solo si el cliente pregunta por un envío.
- Ofrecer la derivación a una persona tras la primera respuesta frente a ofrecerla solo si el cliente la pide.
- Tono formal ("usted") frente a tono cercano ("tú"), siempre que encaje con tu marca.
Anota la hipótesis en una frase: "Si el saludo es corto y abierto, más clientes describirán su problema y subirá el porcentaje de chats resueltos sin derivación".
Reparte la audiencia con justicia
Para que la comparación valga, las dos versiones deben recibir clientes parecidos. Si A atiende por la mañana y B por la noche, estás comparando horarios, no flujos.
Formas razonables de repartir:
- Por periodos alternos y equivalentes: la versión A lunes, miércoles y viernes; la B martes, jueves y sábado, y luego inviertes la semana siguiente.
- Por canal comparable: la A en el chat web de una tienda y la B en otro punto de entrada con perfil de visitante similar. Úsalo con cuidado: los públicos de WhatsApp e Instagram no son iguales.
- Por enlace o punto de entrada distinto: dos enlaces o dos botones que llevan a cada versión, repartidos de forma alterna en tus campañas.
Lo que debes evitar es que tú elijas a quién le toca qué. Si mandas la versión nueva a los clientes "fáciles", el resultado saldrá sesgado.
- 01Hipótesis y métrica
- 02Crear versión B
- 03Repartir y ejecutar
- 04Medir y decidir
Cuánto tiempo y cuántos chats necesitas
No existe un número mágico, pero sí una idea clara: cuanto menor sea la diferencia que esperas, más chats necesitas para distinguirla del azar.
Un cálculo orientativo: si cerca del 70 % de tus chats se resuelve sin derivación y mides 150 chats, el margen de error de esa cifra ronda los 7 puntos arriba o abajo. Al comparar dos grupos, la diferencia necesaria para fiarte es aún mayor. Por eso una mejora de 2 o 3 puntos con 150 chats por versión no dice nada.
Pautas prácticas:
- Fija de antemano un mínimo de chats por versión y no pares la prueba cuando "parezca" que gana una.
- Cubre al menos una semana completa, para incluir los días flojos y los fuertes. Si vendes más a fin de mes o en rebajas, ten en cuenta ese ciclo.
- Si tu volumen es bajo, prueba cambios grandes (que generan diferencias grandes) y acepta que tardarás más semanas.
Un ejemplo hipotético: una tienda online que recibe unos 300 chats al mes por WhatsApp tardaría aproximadamente dos meses en reunir 150 chats por versión si repartiera el tráfico a partes iguales. Mejor planificarlo así que sacar conclusiones en la primera semana.
Lee los resultados sin engañarte
Cuando termines, compara la métrica principal y revisa la de control. Aquí tienes un ejemplo con cifras inventadas, solo para ilustrar la lectura:
En este ejemplo, A resuelve 96 de 150 chats (64 %) y B resuelve 111 de 150 (74 %). Son 10 puntos de diferencia, una mejora prometedora, pero con ese tamaño de muestra todavía cae cerca del margen de ruido. Lo sensato sería prolongar la prueba o repetirla antes de dar por cerrado el asunto.
Preguntas que conviene hacerte antes de decidir:
- ¿La mejora se repite en semanas distintas, o solo apareció un día?
- ¿Subió también la valoración, o los clientes resueltos están menos satisfechos?
- ¿Leíste una muestra de conversaciones reales de cada versión? Los números dicen cuánto, las conversaciones dicen por qué.
- ¿El coste de equivocarte es alto? Si lo es, exige más evidencia.
Errores frecuentes
- Parar pronto: detener la prueba el día que B va ganando es la forma más común de falso positivo.
- Cambiar la base de conocimiento a mitad de prueba: si actualizas las respuestas en una versión y no en la otra, ya no comparas lo que pensabas.
- Mezclar canales: WhatsApp, Instagram y chat web tienen públicos y hábitos distintos. Analiza cada canal por separado o asegúrate de que ambos grupos tienen la misma mezcla.
- Ignorar los eventos externos: una promoción, una incidencia en los envíos o un festivo alteran el tipo de consulta.
- Probar demasiadas cosas en paralelo: dos pruebas sobre el mismo flujo se contaminan entre sí.
- No guardar un punto de vuelta atrás: si la versión nueva falla, necesitas poder recuperar la anterior rápido.
Cómo hacerlo en AI SNS CHAT
AI SNS CHAT te da las piezas para montar y medir la prueba, aunque conviene ser claro: en la información de producto no aparece un reparto automático de visitantes entre dos flujos. El reparto lo organizas tú con los recursos de abajo.
1. Crea la versión B sin tocar la A. Duplica el agente: la copia conserva la personalidad, el modelo y los datos de entrenamiento, pero no las conversaciones. En la copia cambias solo la variable que quieres probar (por ejemplo, el saludo o las instrucciones sobre cuándo derivar).
2. Guarda un punto de restauración. Antes de editar, crea un punto de restauración del agente original; se conservan hasta 40 por agente. Si la versión nueva empeora, puedes volver atrás.
3. Reparte el tráfico. Despliega cada versión desde Canales: widget de chat, WhatsApp, Instagram o enlace compartible. Puedes alternar los puntos de entrada por periodos, o enviar cada enlace a una mitad equivalente de tu audiencia. Revisa en /connections qué canales tienes disponibles.
4. Mide en Actividad → Chat logs. Allí tienes los chats de todos los canales (salvo el correo, que va en la bandeja Inbox), con filtros, marcas de escalado y resuelto, valoraciones de pulgar arriba o abajo y exportación. Exporta cada periodo y calcula tu métrica principal en una hoja de cálculo. Las analíticas de Chats, Temas, Historial de preguntas y Sentimiento completan la vista; las analíticas avanzadas requieren el plan Pro.
5. Aprende de las conversaciones. Desde el chat log o la bandeja puedes editar una respuesta hasta dejarla como la respuesta ideal y así entrenar al agente.
6. Controla las derivaciones. En Helpdesk → Scheduling defines los turnos para que las derivaciones lleguen a quien está de guardia. Helpdesk requiere el plan Standard o superior.
Probar modelos de IA. Si lo que quieres comparar es qué modelo responde mejor y no el flujo, el Playground incluye una comparación A/B de modelos. En Agente → Settings → AI eliges el modelo; los modelos avanzados y el respaldo entre modelos requieren Hobby o superior.
Consulta los planes en /pricing y el resto de capacidades en /features.
Preguntas frecuentes
¿Puede AI SNS CHAT repartir automáticamente a los visitantes entre dos flujos?
En la información disponible del producto no hay un reparto automático de tráfico en vivo entre dos flujos. Lo que sí tienes es duplicar el agente, desplegar cada versión en su propio canal o enlace y alternar los periodos. El Playground sí ofrece una comparación A/B, pero entre modelos de IA.
¿Cuántos chats necesito para un resultado fiable?
Depende de la diferencia que esperes. Con unos 150 chats por versión y una tasa cercana al 70 %, el margen de error ronda los 7 puntos, así que solo las diferencias grandes serán claras. Si tu volumen es bajo, prueba cambios más marcados y alarga la duración.
¿Qué métrica uso para un flujo de WhatsApp o Messenger?
Elige una sola como principal, y la más útil suele ser el porcentaje de chats resueltos sin derivación. Acompáñala de una métrica de control, como las valoraciones de pulgar arriba o abajo, para asegurarte de que no mejoras una cifra a costa de la satisfacción.
¿Es seguro volver atrás si la versión B funciona peor?
Sí, si preparas el terreno. Antes de editar crea un punto de restauración del agente (se guardan hasta 40) y conserva el agente original intacto mientras la copia hace de versión B. Así puedes recuperar la versión anterior cuando quieras.


