Cara menguji dua alur chat di WhatsApp dan situs web: satu metrik, satu perubahan, pembagian adil, dan pembacaan hasil yang jujur.
Anda merasa sapaan pembuka chat bisa dibuat lebih baik, tetapi tidak yakin apakah versi baru benar-benar menolong pelanggan atau hanya terasa lebih rapi. Tanpa pengujian, keputusan biasanya jatuh pada selera orang yang paling vokal di rapat. Artikel ini menunjukkan cara menguji dua versi alur chat secara tertib, mulai dari memilih metrik sampai membaca hasil tanpa menipu diri sendiri, dengan contoh untuk toko online, klinik, dan layanan jasa yang melayani pelanggan lewat WhatsApp, Instagram, dan chat situs web.
Apa yang layak diuji dari sebuah alur chat
Alur chat adalah rangkaian langkah yang dilalui pelanggan sejak pesan pertama sampai urusannya selesai atau dialihkan ke manusia. Tidak semua bagian perlu diuji. Pilih bagian yang sering dilewati banyak pelanggan dan punya dampak jelas.
Beberapa kandidat yang biasanya layak:
- Sapaan pembuka. Misalnya sapaan singkat dengan tiga tombol pilihan dibandingkan sapaan terbuka yang meminta pelanggan menulis keperluannya.
- Cara bertanya data. Meminta nama dan nomor pesanan di awal, atau baru meminta setelah pelanggan menjelaskan masalahnya.
- Gaya jawaban. Jawaban pendek berisi langkah bernomor dibandingkan paragraf penjelasan.
- Aturan alih ke manusia. Kapan agen AI menawarkan untuk menghubungkan ke staf, misalnya setelah dua kali gagal menjawab atau langsung pada topik refund.
- Materi pengetahuan. Satu artikel FAQ yang ditulis ulang agar jawaban lebih tepat.
Hindari menguji bagian yang jarang dilewati. Jika hanya segelintir pelanggan per bulan menanyakan topik tertentu, hasil pengujian tidak akan pernah cukup meyakinkan.
Pilih satu metrik utama sebelum mengubah apa pun
Kesalahan paling umum adalah mengubah alur dulu, lalu mencari angka yang tampak bagus. Tentukan satu metrik utama dan tuliskan sebelum pengujian dimulai.
Contoh metrik yang masuk akal untuk tim dukungan:
| Tujuan | Metrik utama | Catatan |
|---|---|---|
| Mengurangi beban staf | Persentase chat selesai tanpa alih ke manusia | Pastikan pelanggan memang terbantu, bukan sekadar menyerah |
| Meningkatkan kepuasan | Rasio jempol naik dibandingkan jempol turun | Hanya sebagian pelanggan yang memberi penilaian |
| Menjaring prospek | Jumlah lead yang terkumpul per 100 chat | Cocok untuk alur pertanyaan harga atau reservasi |
| Mempercepat penyelesaian | Jumlah balasan sampai urusan selesai | Lebih sedikit balasan biasanya berarti alur lebih jelas |
Untuk alur di WhatsApp atau Messenger, "selesai tanpa alih ke manusia" biasanya titik awal yang paling mudah diukur, karena pelanggan di sana jarang mengisi survei. Tambahkan satu metrik pengaman, misalnya penilaian jempol turun, agar Anda tahu jika kenaikan angka utama dibayar dengan pengalaman yang memburuk.
Ubah satu hal pada satu waktu
Bayangkan Anda mengganti sapaan, mengubah gaya jawaban, dan mengubah aturan alih sekaligus. Jika hasilnya membaik, Anda tidak tahu perubahan mana yang berjasa. Jika memburuk, Anda tidak tahu mana yang merusak.
Aturannya sederhana: versi A adalah alur yang berjalan sekarang, versi B hanya berbeda pada satu elemen. Bila Anda punya tiga ide, jalankan tiga pengujian berurutan.
Contoh yang rapi untuk toko pakaian online di WhatsApp:
- Versi A: "Halo, ada yang bisa kami bantu?"
- Versi B: "Halo! Mau tanya soal: 1) status pesanan, 2) ukuran dan stok, 3) retur atau penukaran?"
Semua hal lain, seperti persona, basis pengetahuan, dan jam layanan, dibuat identik.
- 01Tulis hipotesis dan pilih satu metrik
- 02Siapkan versi A dan versi B
- 03Jalankan bersamaan sampai jumlah chat cukup
- 04Bandingkan, putuskan, lalu dokumentasikan
Bagi pelanggan secara adil
Pembagian yang adil berarti kedua versi bertemu pelanggan dengan karakter yang kurang lebih sama. Jika versi A berjalan pada minggu gajian dan versi B pada minggu biasa, perbedaan hasilnya bisa berasal dari kalender, bukan dari alur.
Beberapa prinsip yang membantu:
- Jalankan bersamaan, bukan berurutan. Hindari "minggu ini A, minggu depan B" kalau memungkinkan, karena promo, libur, dan musim memengaruhi perilaku pelanggan.
- Bagi berdasarkan pintu masuk yang setara. Misalnya halaman situs yang trafiknya mirip, atau dua kelompok hari yang sengaja diselang-seling.
- Jangan memilih sendiri siapa mendapat versi apa. Jika staf menyalurkan pelanggan "yang kelihatannya mudah" ke versi baru, hasilnya bias.
- Samakan kanal. Pelanggan WhatsApp dan pengunjung situs web berperilaku berbeda. Bandingkan WhatsApp dengan WhatsApp.
Perlu jujur soal batasnya: pembagian yang sempurna acak memerlukan perangkat pemisah trafik. Di AI SNS CHAT, pembagian semacam itu tidak berjalan otomatis, jadi Anda akan membaginya secara manual. Bagian terakhir artikel ini menjelaskan caranya.
Berapa lama pengujian dan berapa chat yang dibutuhkan
Tidak ada angka ajaib. Yang ada hanya aturan praktis: semakin kecil perbedaan yang ingin Anda deteksi, semakin banyak chat yang diperlukan. Perbedaan besar terlihat dengan sedikit data, perbedaan tipis memerlukan data banyak.
Panduan kasar yang aman:
- Jangan menghentikan pengujian setelah beberapa chat hanya karena satu versi tampak unggul.
- Targetkan sekurang-kurangnya sekitar seratus chat per versi sebelum mulai menarik kesimpulan, dan lebih banyak lagi bila selisihnya tipis.
- Jalankan minimal satu siklus mingguan penuh, supaya pola hari kerja dan akhir pekan sama-sama terwakili.
- Tetapkan jumlah chat atau tanggal akhir sejak awal, lalu patuhi.
Sebagai contoh hipotetis, jika sebuah klinik gigi menerima sekitar 300 chat per bulan dan membaginya dua, tiap versi hanya mendapat 150 chat per bulan. Maka pengujian yang layak mungkin perlu satu bulan penuh, bukan tiga hari. Jika volume Anda lebih kecil, perpanjang durasi atau uji perubahan yang dampaknya besar saja.
Membaca hasil tanpa menipu diri sendiri
Misalkan Anda menguji dua sapaan, masing-masing 150 chat. Angka di bawah ini hanya contoh hipotetis untuk ilustrasi.
Pada contoh ini, 78 dari 150 chat (52 persen) selesai tanpa alih di versi A, sedangkan versi B mencapai 93 dari 150 (62 persen). Selisih sepuluh poin cukup menjanjikan. Namun sebelum merayakan, ajukan pertanyaan berikut:
- Apakah metrik pengaman ikut membaik atau setidaknya tidak turun? Jika jempol turun naik di versi B, kenaikan "selesai tanpa alih" patut dicurigai.
- Apakah jenis pelanggan di kedua kelompok serupa? Cek kanal, waktu, dan topik.
- Apakah selisihnya konsisten antarminggu? Jika B unggul tajam di minggu pertama lalu menyusut, mungkin itu efek kebaruan.
- Apakah selisihnya cukup besar dibanding naik turun biasa? Selisih satu atau dua chat dari 150 sangat mungkin hanya kebetulan.
Baca juga isi percakapannya, bukan hanya angkanya. Dua puluh percakapan dari versi yang menang sering mengungkap hal yang tidak tampak di grafik, misalnya pelanggan yang memilih tombol salah lalu bingung.
Jebakan yang sering terjadi
- Mengintip lalu berhenti terlalu cepat. Versi yang unggul pada hari ketiga belum tentu unggul pada hari kedua puluh.
- Mengubah banyak hal sekaligus. Hasilnya tidak bisa dijelaskan.
- Mengabaikan promo atau gangguan. Jika ada flash sale atau gangguan pengiriman di tengah pengujian, tandai periodenya dan pertimbangkan mengulang.
- Menganggap alih ke manusia selalu buruk. Untuk keluhan sensitif atau urusan refund, alih ke staf justru keputusan yang benar. Ukur alih yang tidak perlu, bukan semua alih.
- Tidak menyiapkan jalan mundur. Sebelum meluncurkan versi B, pastikan Anda bisa kembali ke versi A dalam hitungan menit.
- Menguji tanpa basis pengetahuan yang rapi. Jika jawaban dasarnya keliru, perubahan sapaan tidak akan menolong.
Menjalankan A/B test di AI SNS CHAT
AI SNS CHAT tidak memiliki fitur yang otomatis membagi pengunjung ke dua alur. Tetapi perangkat yang ada cukup untuk menjalankan pengujian manual yang rapi. Berikut cara praktisnya.
1. Siapkan dua versi. Buka agen yang sedang berjalan, lalu gunakan Duplicate. Salinan akan membawa persona, model, dan data pelatihan, tetapi tidak membawa percakapan. Ubah satu elemen saja pada salinan, misalnya persona atau sapaan. Perhatikan batas jumlah agen pada paket Anda: Free dan Hobby masing-masing memberi 1 dan 2 agen, dan agen tambahan bisa dibeli per bulan. Rincian ada di halaman harga.
2. Bagi trafik secara manual. Pasang agen A dan agen B pada pintu masuk yang setara, misalnya chat widget di dua halaman situs dengan trafik mirip, atau gantian per hari bila pintu masuknya hanya satu. Daftar kanal ada di menu Channels, dan Anda bisa melihat opsinya di halaman koneksi.
3. Bandingkan model sebelum menayangkan. Jika yang ingin dibandingkan adalah model AI, Playground punya mode A/B untuk membandingkan model. Ini berguna sebagai uji awal, tetapi bukan pengganti pengujian dengan pelanggan sungguhan.
4. Ambil data. Buka Activity → Chat logs. Di sana Anda dapat memfilter percakapan, menandai atau mengeskalasi, menandai selesai, melihat penilaian jempol naik dan turun, serta mengekspor data untuk dihitung di spreadsheet. Menu Analytics menampilkan Chats, Topics, Question history, dan Sentiment; analitik lanjutan memerlukan paket Pro.
5. Siapkan jalan mundur. Sebelum mengubah agen, buat restore point. Setiap agen mendukung hingga 40 restore point, sehingga kembali ke versi sebelumnya adalah langkah cepat, bukan perbaikan darurat.
6. Atur alih ke manusia. Jika pengujian menyentuh aturan alih, cek jadwal di Helpdesk → Scheduling (paket Standard ke atas). Alih akan diarahkan ke staf yang sedang bertugas, dan pesan kepada pelanggan tidak mengarang perkiraan waktu tunggu.
Satu catatan biaya: satu balasan memakai satu kredit, jadi dua agen yang berjalan paralel menggunakan kredit dari kuota yang sama. Anda dapat memantaunya di halaman Usage. Fitur lain bisa dilihat di halaman fitur.
Pertanyaan umum
Apakah AI SNS CHAT bisa membagi pengunjung secara otomatis ke dua alur?
Tidak. Pembagian otomatis tidak tersedia, jadi pembagian dilakukan manual, misalnya dengan memasang dua agen di halaman berbeda yang trafiknya setara atau menjalankannya bergantian. Hasilnya tetap bisa dibandingkan lewat Chat logs dan Analytics.
Berapa banyak chat yang saya perlukan agar hasilnya bisa dipercaya?
Tidak ada angka tunggal. Sebagai pegangan kasar, kumpulkan sekurang-kurangnya sekitar seratus chat per versi dan satu siklus mingguan penuh, lalu tambah jika selisihnya tipis. Jika volume chat Anda kecil, perpanjang durasi atau uji perubahan yang dampaknya besar.
Metrik apa yang sebaiknya dipakai untuk alur WhatsApp atau Messenger?
Persentase chat yang selesai tanpa alih ke manusia adalah titik awal yang mudah karena tidak bergantung pada pelanggan mengisi survei. Dampingi dengan satu metrik pengaman seperti rasio jempol turun, supaya kenaikan angka utama tidak menutupi pengalaman yang memburuk.
Amankah kembali ke versi lama jika versi B ternyata lebih buruk?
Ya, selama Anda menyiapkannya. AI SNS CHAT menyediakan restore point hingga 40 per agen, jadi buat satu sebelum mengubah apa pun. Jika memakai agen duplikat, Anda cukup berhenti menayangkan salinan tersebut dan kembali ke agen asli.


