Langkau ke kandungan
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

Ujian A/B Aliran Chat: Panduan Praktikal untuk Pasukan Sokongan

Sidang Editorial AI SNS CHATDiterbitkan 6 minit bacaan

Cara menguji dua versi aliran chat WhatsApp, Instagram atau laman web secara teratur supaya keputusan anda berasaskan data, bukan sekadar perasaan.

Anda menulis semula mesej sambutan, menukar soalan pertama bot, lalu rasa chat sudah lebih lancar. Tetapi adakah ia benar-benar lebih baik, atau hanya minggu ini kebetulan lebih senyap? Ujian A/B membantu anda menjawab soalan itu dengan tenang. Dalam panduan ini, anda akan belajar memilih satu metrik, mengubah satu perkara, membahagikan chat dengan adil, dan membaca keputusan tanpa menipu diri sendiri.

Apakah "aliran chat" yang berbaloi diuji?

Aliran chat ialah urutan langkah yang dilalui pelanggan dari mesej pertama hingga masalah selesai atau dipindahkan kepada manusia. Tidak semua bahagian wajar diuji. Pilih bahagian yang banyak dilalui pelanggan dan yang kesannya mudah dilihat.

Contoh yang sesuai untuk PKS di Malaysia:

  • Mesej sambutan. Adakah sapaan pendek dengan butang cadangan ("Semak status pesanan", "Tanya harga") lebih berkesan daripada sapaan panjang?
  • Soalan pertama. Adakah bot meminta nombor pesanan dahulu, atau bertanya apa yang boleh dibantu?
  • Gaya jawapan. Jawapan ringkas dua ayat berbanding jawapan berperingkat dengan langkah bernombor.
  • Titik serah kepada manusia. Bilakah bot mengalah dan memanggil ejen: selepas satu cubaan, atau dua?
  • Pengumpulan lead. Adakah meminta nama dan nombor telefon di awal atau selepas pelanggan mendapat jawapan?

Elakkan menguji perkara yang jarang berlaku. Jika hanya sepuluh pelanggan sebulan bertanya tentang pemulangan barang, anda tidak akan mengumpul data yang cukup dalam masa munasabah.

Pilih satu metrik utama sebelum mengubah apa-apa

Kesilapan paling lazim ialah menjalankan ujian dahulu, kemudian mencari metrik yang kelihatan menang. Sebelum menyentuh sebarang tetapan, tulis satu ayat: "Versi B dianggap lebih baik jika ______ meningkat."

Beberapa metrik yang sesuai untuk pasukan sokongan:

MetrikMaksudnyaSesuai untuk menguji
Selesai tanpa serahanPeratusan chat yang tamat tanpa ejen manusia mengambil alihGaya jawapan, soalan pertama
Kadar serahanPeratusan chat yang dipindahkan kepada manusiaTitik serah, pengendalian soalan sukar
Penilaian ibu jariNisbah penilaian positif kepada negatif daripada pelangganNada dan panjang jawapan
Lead yang dikumpulBilangan borang lengkap setiap 100 chatSusunan permintaan maklumat

Pilih satu metrik utama. Metrik lain boleh dipantau sebagai "pagar keselamatan". Contohnya, jika "selesai tanpa serahan" naik tetapi penilaian ibu jari ke bawah merosot, bot anda mungkin menyelesaikan chat dengan cara yang menjengkelkan pelanggan.

Ubah satu perkara pada satu masa

Jika versi B mempunyai sapaan baharu, soalan pertama baharu dan jawapan yang lebih pendek, dan ia menang, anda tidak tahu perubahan mana yang berjasa. Anda juga tidak tahu sama ada salah satunya sebenarnya merosakkan keputusan.

Amalan mudah:

  1. Tulis versi A sebagai keadaan semasa, tanpa diubah.
  2. Salin A menjadi B.
  3. Ubah satu elemen sahaja pada B, misalnya ayat sambutan.
  4. Catat perubahan itu dengan tarikh dan nama anda.

Jika anda mahu menguji tiga idea, jalankan tiga ujian berturutan. Ia lebih perlahan, tetapi setiap keputusan boleh dipercayai.

Bahagikan khalayak dengan adil

Tujuan ujian A/B ialah membandingkan dua versi pada keadaan yang sebanding. Jika versi A dijalankan pada waktu pejabat dan versi B pada malam Jumaat, anda sebenarnya membandingkan dua jenis pelanggan, bukan dua aliran.

Cara pembahagian yang munasabah:

  • Mengikut saluran atau halaman setara. Contohnya, dua halaman produk yang menerima trafik serupa, setiap satu dengan versi berbeza.
  • Mengikut pautan. Hantar pautan A dan pautan B secara berselang-seli dalam kempen yang sama.
  • Mengikut masa secara berselang. Jika tiada pilihan lain, tukar versi mengikut hari ganjil dan genap, bukan "minggu ini A, minggu depan B".

Elakkan pembahagian yang berat sebelah, seperti memberi versi baharu hanya kepada pelanggan lama. Pelanggan lama bertindak balas secara berbeza daripada pelanggan baharu, dan itu akan mencemari keputusan.

  1. 01Tetapkan satu metrik
  2. 02Ubah satu perkara pada B
  3. 03Jalankan A dan B serentak
  4. 04Baca keputusan dan putuskan
Kitaran ujian A/B yang ringkas untuk aliran chatContoh ilustrasi

Berapa lama ujian dijalankan dan berapa chat diperlukan?

Tiada nombor ajaib yang sesuai untuk semua kedai. Prinsipnya begini: semakin kecil perbezaan yang anda cari, semakin banyak chat diperlukan untuk memastikan ia bukan kebetulan.

Beberapa panduan praktikal:

  • Tetapkan bilangan chat sasaran sebelum bermula, bukan berhenti apabila keputusan kelihatan cantik.
  • Cukupkan sekurang-kurangnya satu kitaran mingguan penuh. Pelanggan hari Isnin tidak sama dengan pelanggan hhujung minggu.
  • Elakkan musim luar biasa. Ujian semasa jualan Hari Raya atau promosi 11.11 memberi gambaran yang tidak mewakili hari biasa.
  • Jangan tamatkan awal hanya kerana satu versi mendahului pada hari ketiga.

Sebagai contoh hipotesis: jika kedai anda menerima 300 chat sebulan, dan dibahagi dua, setiap versi hanya mendapat sekitar 150 chat. Itu cukup untuk melihat perbezaan yang besar, tetapi tidak cukup untuk mengesan perubahan kecil beberapa peratus. Dalam keadaan begini, uji perubahan yang berani (seperti struktur jawapan yang jauh berbeza), bukan penukaran satu perkataan.

Baca keputusan tanpa menipu diri sendiri

Katakan keputusan hipotesis berikut selepas ujian dengan 150 chat bagi setiap versi:

Versi A (semasa)
96
Versi B (baharu)
108
Contoh hipotesis: chat selesai tanpa serahan (150 chat setiap versi)Contoh ilustrasi

Versi A menyelesaikan 96 daripada 150 chat (64%), manakala versi B menyelesaikan 108 (72%). Jurang lapan mata peratusan nampak menarik. Tetapi dengan hanya 150 chat setiap versi, jurang sebegini masih boleh berlaku kerana nasib semata-mata.

Soalan yang wajar anda tanya:

  1. Adakah arahnya konsisten? Semak sama ada B lebih baik pada kebanyakan hari, bukan hanya pada satu hari yang luar biasa.
  2. Adakah metrik pagar keselamatan masih sihat? Lihat penilaian ibu jari dan sentimen.
  3. Baca chat sebenar. Angka memberitahu apa, perbualan memberitahu kenapa. Baca sekurang-kurangnya beberapa puluh chat daripada setiap versi.
  4. Adakah perbezaannya cukup besar untuk bermakna? Jika kosnya kecil dan risikonya rendah, anda boleh menerima bukti yang sederhana. Jika perubahan itu menyentuh pembayaran atau pemulangan wang, tunggu bukti yang lebih kukuh.

Perangkap yang sering berlaku

  • Mengintai keputusan setiap hari lalu berhenti apabila menang. Ini hampir pasti memberi keputusan palsu.
  • Mengubah banyak perkara serentak. Anda tidak akan tahu punca sebenar.
  • Membandingkan masa yang berbeza. Gaji masuk, hujung bulan dan cuti sekolah mengubah tingkah laku pelanggan.
  • Mengabaikan saluran. Pelanggan WhatsApp, Instagram dan chat laman web berlainan jangkaan. Keputusan satu saluran belum tentu terpakai di saluran lain.
  • Lupa tentang had platform. Contohnya, mesej keluar melalui WhatsApp terhad kepada tetingkap 24 jam, jadi aliran susulan perlu direka dengan had itu dalam fikiran.
  • Tiada rancangan pemulihan. Sentiasa tahu bagaimana untuk kembali kepada versi lama dengan cepat.

Melaksanakannya dalam AI SNS CHAT

Penting untuk jujur tentang satu perkara: berdasarkan fakta produk semasa, tiada ciri yang membahagikan pengunjung secara automatik antara dua aliran. Anda mengendalikan pembahagian itu sendiri, dan AI SNS CHAT menyediakan alat untuk menjadikannya kemas.

1. Sediakan dua versi. Buka agen sedia ada, kemudian gunakan Duplicate. Ia menyalin persona, model dan data latihan (bukan perbualan lama). Ubah satu perkara sahaja pada salinan, misalnya persona atau mesej sambutan. Perlu diingat bahawa pelan Free hanya membenarkan 1 agen, Hobby 2 agen, Standard 3 agen. Agen tambahan juga boleh dibeli dengan $10 setiap agen sebulan.

2. Uji dahulu di Playground. Jika perubahan anda ialah model AI, gunakan Playground A/B model compare untuk membandingkan jawapan secara sebelah-menyebelah sebelum menyentuh pelanggan sebenar. Ini ialah perbandingan dalam Playground, bukan pembahagian trafik langsung. Pemilihan model berada di Agent → Settings → AI, dan model lanjutan memerlukan pelan Hobby atau lebih tinggi.

3. Bahagikan pelanggan sendiri. Letakkan agen A dan agen B pada saluran atau pautan berasingan, misalnya melalui pautan kongsi (shareable link) yang berbeza, atau widget pada dua halaman setara. Lihat senarai saluran di bahagian Channels dan halaman /connections untuk sambungan yang tersedia.

4. Kumpul bukti. Di Activity → Chat logs, anda boleh menapis, mengeksport dan melihat penilaian ibu jari. Ejen manusia boleh mengambil alih chat, jadi kadar serahan boleh dikira daripada log. Bahagian Analytics memaparkan Chats, Topics, Question history dan Sentiment; analitik lanjutan memerlukan pelan Pro.

5. Rollback dengan selamat. Setiap agen menyokong restore point (sehingga 40 setiap bot). Cipta satu sebelum ujian bermula, supaya kembali kepada versi asal hanya mengambil beberapa klik. Log aktiviti di Workspace settings → Activity merekod siapa mengubah apa dan bila.

6. Perhatikan kredit. Satu balasan menggunakan satu kredit, jadi menjalankan dua agen selari akan menggunakan kredit untuk kedua-duanya. Semak halaman Usage untuk melihat penggunaan setiap agen. Butiran pelan ada di /pricing dan senarai ciri di /features.

Kesimpulan

Ujian A/B yang baik tidak memerlukan alat yang rumit. Ia memerlukan disiplin: satu metrik, satu perubahan, pembahagian yang adil, tempoh yang cukup, dan kesabaran membaca perbualan sebenar. Mulakan dengan satu ujian kecil pada aliran yang paling kerap digunakan pelanggan anda, catat apa yang dipelajari, kemudian ulang. Selepas beberapa kitaran, aliran chat anda akan bertambah baik berdasarkan bukti, bukan andaian.

Soalan lazim

Bolehkah AI SNS CHAT membahagikan pengunjung secara automatik antara dua aliran?

Tidak ada ciri pembahagian trafik automatik yang disahkan dalam produk ini. Anda boleh menggandakan agen, menempatkan setiap versi pada saluran atau pautan berasingan, dan membandingkan hasil daripada Chat logs serta Analytics. Playground A/B model compare pula berguna untuk membandingkan model sebelum anda melancarkannya kepada pelanggan.

Berapa banyak chat yang saya perlukan untuk keputusan yang boleh dipercayai?

Bergantung pada saiz perbezaan yang anda cari. Perbezaan besar boleh dikesan dengan beberapa ratus chat setiap versi, tetapi perbezaan kecil memerlukan lebih banyak. Tetapkan sasaran sebelum bermula, jalankan sekurang-kurangnya seminggu penuh, dan jangan berhenti hanya kerana satu versi mendahului pada awal ujian.

Metrik mana yang sesuai untuk aliran WhatsApp atau Messenger?

Mulakan dengan "selesai tanpa serahan", iaitu peratusan chat yang tamat tanpa ejen manusia mengambil alih. Pantau penilaian ibu jari dan sentimen sebagai pagar keselamatan supaya peningkatan angka tidak datang dengan mengorbankan pengalaman pelanggan.

Selamatkah untuk kembali jika versi B lebih buruk?

Ya, jika anda bersedia. Cipta restore point sebelum ujian bermula; AI SNS CHAT menyimpan sehingga 40 restore point bagi setiap bot. Memandangkan versi A kekal sebagai agen asal, anda juga boleh menghentikan penggunaan versi B tanpa menjejaskannya.

#ujian A/B#aliran chat#KPI#WhatsApp#sokongan pelanggan

Praktikkan dengan AI SNS CHAT

Bina ejen AI yang dilatih dengan kandungan anda sendiri dan sambungkan ke laman web, WhatsApp, LINE dan banyak lagi. Percuma untuk bermula, tiada kad kredit diperlukan.