Kadar containment bukan kadar penyelesaian sebenar. Pelajari cara mentakrif, mensampel dan melaporkan kadar selesai AI yang boleh dipercayai pasukan anda.
Ramai pemilik PKS melihat angka seperti "70% chat dijawab AI" dan menganggap AI sudah menyelesaikan 70% masalah pelanggan. Hakikatnya, angka itu sering hanya bermaksud pelanggan berhenti membalas, bukan masalah mereka benar-benar selesai. Dalam artikel ini anda akan belajar cara mentakrif, mengira, mensampel dan melaporkan kadar penyelesaian AI supaya angka itu boleh dipercayai oleh pemilik perniagaan, pasukan sokongan dan pelanggan.
Mengapa kadar penyelesaian yang "nampak jelas" mengelirukan
Formula paling mudah ialah: jumlah chat yang tidak sampai kepada manusia dibahagi jumlah semua chat. Angka ini sebenarnya dipanggil kadar containment, iaitu berapa banyak chat yang "terkandung" dalam AI. Ia berguna, tetapi bukan ukuran kejayaan.
Bayangkan senario ini di sebuah kedai tudung dalam talian yang menerima pertanyaan melalui WhatsApp:
- Pelanggan bertanya tentang tempoh penghantaran ke Sabah. AI menjawab dengan tempoh untuk Semenanjung. Pelanggan senyap. Chat dikira "selesai".
- Pelanggan bertanya tentang polisi tukar saiz. AI berkata ia tidak pasti, lalu pelanggan menutup aplikasi. Chat dikira "selesai".
- Pelanggan mendapat jawapan tepat tentang harga dan terus membuat tempahan. Chat memang selesai.
Ketiga-tiganya masuk dalam kategori yang sama jika anda hanya mengira chat yang tidak dihantar kepada manusia. Itulah sebabnya angka containment cenderung terlalu tinggi.
Takrifkan istilah sebelum mengira apa-apa
Sebelum membuka mana-mana log, putuskan bersama pasukan apa maksud "selesai". Tanpa takrifan yang sama, angka bulan ini tidak boleh dibandingkan dengan bulan depan.
Tiga istilah asas
- Perbualan layak: perbualan yang benar-benar meminta bantuan. Sapaan sahaja ("hai", "test"), spam dan mesej salah nombor patut dikeluarkan daripada penyebut.
- Diselesaikan AI: pelanggan mendapat jawapan yang betul dan lengkap tanpa campur tangan manusia, dan tidak perlu bertanya semula tentang perkara yang sama.
- Dieskalasi: AI menyerahkan perbualan kepada manusia, sama ada kerana pelanggan meminta atau kerana AI tidak dapat menjawab.
Tetapkan peraturan untuk kes kelabu
Tulis keputusan anda untuk kes yang kerap timbul, contohnya:
- Jika AI menjawab dengan betul tetapi pelanggan tetap meminta bercakap dengan orang, adakah itu "selesai"? (Cadangan: tidak, kerana pelanggan sendiri tidak berpuas hati.)
- Jika AI mengumpul butiran pelanggan dan manusia menghubungi kemudian, adakah itu penyelesaian AI? (Cadangan: kira sebagai kategori berasingan, misalnya "lead dikumpul".)
- Jika pelanggan bertanya soalan yang sama dua kali dalam masa 48 jam, adakah ia dikira satu masalah? (Cadangan: ya, dan tandakan sebagai tidak selesai pada kali pertama.)
Bina metrik secara berlapis
Daripada satu angka tunggal, bina tiga lapisan. Setiap lapisan menapis lebih ketat daripada yang sebelumnya.
- 01Semua chat
- 02Singkirkan spam dan sapaan kosong
- 03Kira containment
- 04Sahkan melalui sampel semakan manual
Lapisan 1: Kadar containment
Peratus perbualan layak yang tidak diserahkan kepada manusia. Ini angka paling longgar dan paling mudah dikira.
Lapisan 2: Kadar penyelesaian disahkan
Daripada perbualan yang terkandung, berapa peratus yang benar-benar dijawab dengan betul apabila disemak oleh manusia. Lapisan inilah yang patut anda laporkan sebagai "kadar penyelesaian AI".
Lapisan 3: Kadar penyelesaian akhir
Tolak juga perbualan yang pelanggan kembali semula dengan soalan sama dalam tempoh tertentu. Lapisan ini paling ketat dan paling jujur, tetapi lebih sukar dikira kerana perlu menyemak sejarah pelanggan yang sama.
Berikut contoh hipotetikal untuk memperlihatkan bagaimana angka boleh turun:
Dalam contoh ini, sebuah kedai menerima 300 chat layak sebulan. Seramai 210 tidak diserahkan kepada manusia (70%). Apabila sampel semakan menunjukkan hanya 80% daripada jumlah itu benar-benar dijawab dengan betul, kadar penyelesaian disahkan ialah 70% × 80% = 56%. Angka ini rekaan untuk menerangkan kaedah, bukan penanda aras industri.
Sampel dengan betul, bukan sekadar yang mudah
Anda tidak perlu membaca setiap chat, tetapi cara memilih sampel menentukan sama ada hasilnya boleh dipercayai.
Kesilapan biasa
- Hanya menyemak chat yang paling baru atau yang kebetulan terbuka di skrin.
- Hanya menyemak chat yang dibintangi pelanggan, kerana ini bias kepada pelanggan yang sangat gembira atau sangat marah.
- Hanya menyemak satu saluran, misalnya WhatsApp, sedangkan Instagram dan chat laman web berkelakuan berbeza.
Cara yang lebih baik
- Ambil sampel rawak daripada semua perbualan layak yang tidak dieskalasi.
- Pastikan sampel merentasi saluran: WhatsApp, Instagram dan chat laman web.
- Sertakan hari bekerja dan hhujung minggu, serta waktu sibuk dan waktu senyap.
- Gunakan senarai semak yang sama setiap kali: Adakah jawapan betul? Lengkap? Selaras dengan polisi semasa? Adakah pelanggan perlu bertanya semula?
- Jika boleh, minta dua orang menyemak sebahagian sampel yang sama untuk melihat sama ada penilaian mereka sepadan.
Untuk volum kecil, contohnya 300 chat sebulan, menyemak satu bahagian yang munasabah (misalnya beberapa dozen) sudah memberi gambaran awal. Jika volum anda lebih besar, tambah sampel secara beransur-ansur dan perhatikan sama ada angka anda menjadi stabil. Tiada nombor ajaib yang sesuai untuk semua perniagaan.
Gunakan isyarat pelanggan, tetapi kenali biasnya
Ibu jari atas atau bawah, atau balasan seperti "terima kasih", ialah isyarat yang berguna. Namun ia tidak boleh berdiri sendiri.
- Bias kepada ekstrem: pelanggan yang sangat puas atau sangat marah lebih cenderung memberi penilaian. Majoriti yang berpuas hati secara senyap tidak memberi apa-apa.
- Terima kasih tidak bermakna selesai: pelanggan boleh berterima kasih kepada AI walaupun jawapannya hanya sebahagian betul.
- Diam tidak bermakna puas: dalam WhatsApp, ramai pelanggan hanya berhenti membalas.
- Budaya sopan: pelanggan Malaysia sering memberi respons yang sopan walaupun kurang berpuas hati, jadi nada positif belum tentu bermaksud masalah selesai.
Cara terbaik ialah menggunakan isyarat pelanggan sebagai petunjuk untuk memilih apa yang perlu disemak lebih teliti, bukan sebagai pengganti semakan. Contohnya, semak semua perbualan yang diberi ibu jari bawah, ditambah sampel rawak daripada yang tiada penilaian.
Layan eskalasi dengan adil
Eskalasi bukan kegagalan semata-mata. AI yang tahu bila perlu menyerahkan kepada manusia sebenarnya bertindak dengan betul. Beberapa prinsip:
- Jangan hukum eskalasi yang wajar. Tuntutan bayaran balik, aduan serius atau perkara yang memerlukan kelulusan pemilik memang patut dikendalikan manusia. Asingkan kategori ini supaya tidak merendahkan kadar AI secara tidak adil.
- Jangan galakkan AI mengelak eskalasi. Jika matlamat anda hanya menaikkan containment, AI mungkin terus menjawab walaupun tidak pasti. Ini merosakkan kepercayaan pelanggan.
- Semak punca eskalasi. Kategorikan: AI tidak tahu jawapan, pelanggan memang mahu manusia, atau isu di luar skop. Hanya kategori pertama menunjukkan jurang pengetahuan yang boleh dibaiki.
- Semak eskalasi yang tidak perlu. Jika manusia menjawab dengan maklumat yang sebenarnya sudah ada dalam pangkalan pengetahuan, itu petanda AI perlu dilatih lebih baik.
Laporkan supaya orang percaya
Angka yang tidak dipercayai tidak akan digunakan untuk membuat keputusan. Beberapa amalan yang membantu:
- Laporkan ketiga-tiga lapisan bersama-sama, bukan satu angka sahaja.
- Nyatakan takrifan "selesai" dan bilangan sampel yang disemak di bawah setiap laporan.
- Pisahkan mengikut saluran dan jenis topik. Purata keseluruhan boleh menyembunyikan masalah pada satu saluran.
- Sertakan beberapa contoh perbualan sebenar yang gagal, bukan hanya yang berjaya.
- Gunakan tempoh yang konsisten (bulanan, misalnya) dan catat bila anda menukar takrifan atau menambah pengetahuan baharu, supaya perubahan angka dapat dijelaskan.
- Jangan terlalu tegas pada perubahan kecil. Jika volum chat rendah, naik turun beberapa mata peratus mungkin hanya kebetulan.
Melakukannya dalam AI SNS CHAT
AI SNS CHAT tidak menghasilkan satu "kadar penyelesaian" automatik. Anda membinanya sendiri menggunakan data dan alat yang sedia ada, dan itu sebenarnya memudahkan anda mengikut kaedah di atas.
Mengumpul perbualan. Pergi ke Activity → Chat logs. Di sini terdapat semua perbualan daripada saluran selain e-mel (e-mel berada dalam Inbox). Anda boleh menapis, mengeksport dan memilih secara pukal. Eksport senarai ke hamparan untuk mengira penyebut layak dan mengambil sampel rawak.
Menandakan hasil. Dalam Chat logs, anda boleh menandakan (flag), mengeskalasi, menyelesaikan (resolve) atau memadam perbualan secara pukal. Gunakan tindakan ini secara konsisten mengikut takrifan pasukan anda, supaya status dalam sistem sepadan dengan keputusan semakan manual anda. Jangan anggap tanda "resolve" sebagai pengesahan automatik bahawa AI menjawab dengan betul; ia hanya sebaik disiplin pasukan yang menggunakannya.
Isyarat pelanggan. Chat logs memaparkan penilaian ibu jari atas/bawah. Gunakannya untuk menumpukan semakan pada perbualan bermasalah, dengan mengingati bias yang dibincangkan tadi.
Analitik. Bahagian Analytics menyediakan Chats, Topics, Question history dan Sentiment. Topics membantu anda melihat soalan mana paling kerap muncul, manakala Question history membantu mengesan soalan yang berulang. Analitik lanjutan memerlukan pelan Pro.
Memperbaiki jurang. Apabila semakan menemui jawapan yang salah, anda boleh mengambil alih chat (bot berhenti seketika), lalu menyunting balasan menjadi jawapan ideal untuk melatih ejen. Tambahkan juga maklumat yang hilang melalui Data sources, seperti Files, Text snippets, Website atau Q&A.
Eskalasi yang teratur. Di bawah Helpdesk → Scheduling anda boleh menetapkan syif mengikut orang dan zon waktu, dan serahan dihantar kepada yang bertugas. Amaran serahan boleh dihantar ke Slack, Teams, WhatsApp, e-mel atau webhook. Helpdesk memerlukan pelan Standard atau lebih tinggi.
Anda boleh melihat senarai ciri penuh di halaman ciri dan butiran pelan di halaman harga.
Kesimpulan
Kadar containment memberitahu anda berapa banyak chat yang tidak sampai kepada manusia. Kadar penyelesaian sebenar memberitahu anda berapa ramai pelanggan yang benar-benar dibantu. Takrifkan istilah dahulu, bina metrik berlapis, ambil sampel rawak merentasi saluran, gunakan isyarat pelanggan dengan berhati-hati, layan eskalasi dengan adil, dan laporkan dengan telus. Angka yang lebih rendah tetapi jujur lebih berguna daripada angka tinggi yang tidak boleh dipercayai.
Soalan lazim
Adakah kadar containment sama dengan kadar penyelesaian?
Tidak. Containment hanya mengira chat yang tidak diserahkan kepada manusia, termasuk pelanggan yang berputus asa dan berhenti membalas. Kadar penyelesaian mengira chat yang benar-benar dijawab dengan betul, biasanya disahkan melalui semakan sampel. Kadar penyelesaian hampir selalu lebih rendah daripada containment.
Berapa banyak chat patut saya semak setiap bulan?
Tiada angka tetap yang sesuai untuk semua. Untuk volum kecil, semak sampel rawak yang boleh anda uruskan, mungkin beberapa dozen, merentasi semua saluran. Jika volum lebih besar, tambah sampel sehingga keputusan anda kelihatan stabil dari bulan ke bulan.
Patutkah saya kira ibu jari atas pelanggan sebagai selesai?
Jangan jadikannya satu-satunya asas. Penilaian cenderung datang daripada pelanggan yang sangat puas atau sangat marah, dan ramai pelanggan tidak menilai langsung. Gunakannya sebagai petunjuk untuk menentukan perbualan yang perlu disemak, bersama sampel rawak.
Adakah AI SNS CHAT mengira kadar penyelesaian secara automatik?
Tidak ada satu angka kadar penyelesaian automatik. Anda boleh menggunakan Chat logs (penapis, tanda, eskalasi, resolve, eksport dan penilaian ibu jari) serta Analytics untuk membina metrik anda sendiri mengikut takrifan pasukan. Ini membolehkan anda mengasingkan eskalasi yang wajar dan mengesahkan hasil dengan semakan manual.


