Angka 70% sering menyesatkan. Pelajari cara mendefinisikan, mengambil sampel, dan melaporkan tingkat penyelesaian AI di WhatsApp dan chat situs web.
Banyak tim mengira tingkat penyelesaian AI cukup dihitung dari berapa chat yang tidak diteruskan ke staf. Angka itu mudah diambil, enak dilaporkan, tetapi sering jauh lebih tinggi daripada kenyataan di mata pelanggan. Artikel ini menjelaskan cara menyusun angka yang bisa dipertanggungjawabkan, mulai dari definisi, pengambilan sampel, sampai cara melaporkannya kepada pimpinan.
Mengapa angka "yang paling gampang" menyesatkan
Rumus yang paling sering dipakai: chat yang selesai tanpa eskalasi dibagi seluruh chat. Angka ini sebenarnya adalah containment rate, yaitu seberapa banyak percakapan yang "bertahan" di tangan AI. Ia tidak menjawab pertanyaan penting: apakah pelanggan benar-benar terbantu?
Bayangkan tiga situasi yang sama-sama terhitung "berhasil" oleh rumus sederhana itu:
- Pelanggan bertanya soal ongkos kirim ke Makassar, AI menjawab dengan benar, pelanggan membalas "oke, makasih". Ini penyelesaian sungguhan.
- Pelanggan bertanya soal pengembalian barang, AI menjawab ngambang, pelanggan diam dan tidak pernah membalas lagi. Ini ditinggalkan, bukan diselesaikan.
- AI memberi jam buka yang sudah usang, pelanggan datang ke toko saat sudah tutup. Ini jawaban salah, dan tidak akan terlihat di angka mana pun.
Ketiganya tidak memicu eskalasi, jadi ketiganya masuk hitungan "berhasil". Itulah sebabnya angka mentah cenderung terlalu optimistis.
Tentukan istilah sebelum menghitung apa pun
Sebelum membuka spreadsheet, sepakati dulu arti kata-katanya. Tim yang berbeda sering memakai istilah yang sama untuk hal yang berbeda, lalu bertengkar soal angka yang sebenarnya hanya beda definisi.
Definisi yang praktis:
- Percakapan: satu rangkaian pesan dari satu pelanggan tentang satu kebutuhan. Jika pelanggan kembali tiga hari kemudian dengan topik baru, itu percakapan baru.
- Containment: percakapan yang tidak melibatkan staf manusia.
- Penyelesaian terverifikasi: percakapan di mana pertanyaan pelanggan terjawab dengan benar dan lengkap, dan bukti dari isi chat menunjukkan kebutuhannya terpenuhi.
- Eskalasi yang tepat: AI menyerahkan ke manusia untuk hal yang memang harus ditangani manusia, misalnya sengketa pembayaran atau keluhan sensitif.
- Percakapan di luar cakupan: spam, salah kirim, atau sapaan tanpa pertanyaan. Tentukan dari awal apakah ini dikeluarkan dari penyebut.
Tuliskan definisi itu dalam satu halaman dan simpan di tempat yang bisa dibaca semua orang. Dokumen kecil ini mencegah perdebatan tiga bulan kemudian.
Bangun metriknya berlapis
Daripada satu angka, susun beberapa lapis. Setiap lapis menyaring lapis sebelumnya, sehingga Anda bisa melihat di mana "kebocoran" terjadi.
- 01Semua percakapan
- 02Keluarkan spam dan di luar cakupan
- 03Hitung containment
- 04Verifikasi lewat sampel
Lapisan yang disarankan:
- Lapis 1, containment: persentase percakapan tanpa staf manusia. Ini batas atas, bukan hasil akhir.
- Lapis 2, tanpa ditinggalkan: kurangi percakapan di mana pelanggan berhenti membalas tepat setelah jawaban AI yang belum menjawab.
- Lapis 3, jawaban benar: kurangi percakapan yang jawabannya salah atau tidak lengkap menurut peninjauan manusia.
- Lapis 4, tanpa kembali: kurangi pelanggan yang menanyakan hal yang sama lagi lewat kanal lain, misalnya menelepon setelah chat WhatsApp.
Contoh hipotetis supaya terbayang: dari 100 percakapan, 70 tidak dieskalasi. Setelah peninjauan, 6 ternyata ditinggalkan tanpa jawaban, 5 berisi jawaban keliru, dan 3 pelanggan kembali lewat kanal lain. Sisanya 56. Angka 56 inilah penyelesaian terverifikasi.
Angka-angka di atas hanya ilustrasi untuk menunjukkan mekanismenya, bukan patokan industri. Selisih di bisnis Anda bisa lebih kecil atau lebih besar, dan hanya peninjauan nyata yang bisa mengungkapnya.
Ambil sampel dengan benar, bukan dengan nyaman
Anda tidak perlu membaca semua chat, tetapi cara memilih chat yang dibaca sangat menentukan. Kesalahan klasik: hanya membuka chat yang mudah ditemukan, seperti yang paling baru, yang diberi bintang, atau yang dikeluhkan. Sampel semacam itu bias.
Prinsip sampel yang sehat:
- Acak: gunakan nomor acak atau ambil setiap chat ke-N dari daftar yang sudah diekspor, bukan yang kebetulan terlihat.
- Mencakup semua kanal: jika 60% percakapan datang dari WhatsApp, 25% dari Instagram, dan 15% dari chat situs web, sampel sebaiknya mencerminkan proporsi itu, atau dihitung terpisah per kanal.
- Mencakup semua topik: pertanyaan jam buka dan pertanyaan klaim garansi punya tingkat kesulitan berbeda. Jangan sampai sampel didominasi topik yang mudah.
- Mencakup semua periode: jangan hanya ambil hari Senin. Akhir pekan dan malam hari sering punya pola berbeda karena staf tidak ada.
- Ditinjau oleh orang yang tahu jawabannya: reviewer harus paham kebijakan toko atau perusahaan, supaya bisa menilai benar-salah.
Untuk jumlah, tidak ada angka ajaib. Sebuah toko online kecil dengan 300 chat sebulan bisa meninjau sebagian besar secara bertahap, sedangkan bisnis dengan ribuan chat cukup meninjau sampel tetap tiap bulan. Yang terpenting adalah konsisten: jumlah dan cara pengambilannya sama dari bulan ke bulan, supaya tren bisa dibandingkan. Semakin kecil sampel, semakin lebar ketidakpastiannya, jadi sebutkan jumlah sampel saat melaporkan.
Pakai sinyal dari pelanggan, tapi sadari biasnya
Reaksi pelanggan, misalnya jempol naik atau turun, berguna sebagai petunjuk. Namun ia bukan bukti penyelesaian, karena beberapa alasan:
- Hanya sedikit yang memberi rating. Yang bersuara biasanya yang sangat puas atau sangat kesal, sehingga sinyalnya condong ke dua ekstrem.
- Jempol naik tidak sama dengan masalah beres. Pelanggan bisa menyukai nada ramah AI, padahal jawabannya belum menyelesaikan urusan.
- Diam bukan berarti puas. Di WhatsApp, banyak orang berhenti membalas begitu saja, entah karena sudah terbantu atau karena menyerah.
- Ucapan "terima kasih" bisa basa-basi. Orang Indonesia sopan, dan kadang berterima kasih meski jawabannya belum menolong.
Perlakukan rating sebagai alat penyaring. Chat dengan jempol turun layak dibaca lebih dulu untuk mencari kelemahan jawaban, sedangkan chat dengan jempol naik tetap perlu masuk sampel acak agar tidak ada yang terlewat. Jangan menjumlahkan jempol naik sebagai "terselesaikan".
Tangani eskalasi secara adil
Eskalasi bukan kegagalan otomatis. Bila AI menyerahkan sengketa pembayaran kepada staf, itu perilaku yang benar. Memasukkannya sebagai "gagal" akan mendorong tim menurunkan eskalasi demi angka, dan itu berbahaya.
Pisahkan tiga jenis eskalasi:
- Eskalasi tepat: topik memang wajib ditangani manusia. Jangan dihitung sebagai kegagalan AI, tetapi keluarkan dari penyebut atau laporkan di baris terpisah.
- Eskalasi karena AI tidak tahu: jawabannya seharusnya bisa ada di basis pengetahuan. Ini peluang perbaikan konten.
- Eskalasi atas permintaan pelanggan: pelanggan ingin bicara dengan orang. Catat alasannya, karena bisa menandakan ketidakpercayaan atau topik yang sensitif.
Hal yang sebaliknya juga penting: AI yang tidak pernah mengeskalasi bukan berarti bagus. Cari juga kasus di mana seharusnya ada eskalasi tetapi AI terus menjawab. Kasus seperti ini biasanya muncul di sampel sebagai "jawaban keliru" atau "ditinggalkan".
Laporkan supaya orang percaya
Angka yang baik bisa kehilangan kepercayaan bila cara menyajikannya tidak jelas. Beberapa kebiasaan yang membantu:
- Tampilkan dua angka berdampingan: containment dan penyelesaian terverifikasi. Selisih keduanya adalah cerita yang jujur tentang kualitas.
- Sebutkan ukuran sampel dan periode. Misalnya "dari 120 chat yang ditinjau pada bulan ini".
- Pecah per kanal dan per topik. Rata-rata keseluruhan bisa menyembunyikan satu kanal yang performanya buruk.
- Sertakan contoh nyata (tanpa data pribadi) tentang jawaban yang bagus dan yang gagal.
- Jangan ubah definisi diam-diam. Jika definisi berubah, catat tanggalnya dan hitung ulang bulan sebelumnya.
- Tautkan angka ke tindakan: tiga topik teratas yang gagal, perbaikan yang direncanakan, dan hasil bulan berikutnya.
Dengan cara ini, kenaikan dari 56% ke 62% punya arti, karena orang tahu apa yang diukur dan apa yang diperbaiki.
Menjalankannya di AI SNS CHAT
AI SNS CHAT tidak membuat satu angka "tingkat penyelesaian terverifikasi" secara otomatis. Yang tersedia adalah bahan untuk menyusunnya sendiri dengan disiplin, dan sebagian besar kerjanya ada di halaman Activity → Chat logs.
1. Kumpulkan percakapan. Percakapan dari semua kanal selain email, termasuk WhatsApp, Instagram, dan chat situs web, tercatat di Chat logs. Percakapan email berada di Inbox. Gunakan filter untuk membatasi periode atau kanal, lalu ekspor daftar ke spreadsheet untuk pengambilan sampel acak.
2. Tinjau dan beri tanda. Di Chat logs Anda bisa memilih banyak chat sekaligus, lalu memberi flag, mengeskalasi, menandai resolved, atau menghapus. Pakai flag untuk chat yang jawabannya keliru, dan tandai resolved setelah Anda memastikan kasusnya beres. Tanda ini membantu Anda menelusuri ulang sampel bulan sebelumnya.
3. Baca sinyal pelanggan. Rating jempol naik atau turun juga muncul di Chat logs. Gunakan untuk memprioritaskan peninjauan, bukan untuk menghitung angka akhir.
4. Perbaiki dari temuan. Saat menemukan jawaban yang salah, ubah balasan itu menjadi jawaban ideal agar agen belajar dari koreksinya. Fitur ini tersedia di Chat logs maupun Inbox. Tambahkan juga potongan pengetahuan yang kurang lewat Data sources, misalnya Q&A atau teks, lalu uji hasilnya di Playground sebelum agen kembali melayani pelanggan.
5. Atur eskalasi. Staf bisa mengambil alih chat dan bot akan berhenti sementara. Untuk jadwal jaga, Helpdesk → Scheduling mengatur shift per orang dan zona waktu, dan handoff otomatis diarahkan ke yang sedang bertugas. Peringatan handoff dapat dikirim ke Slack, Teams, LINE WORKS, WhatsApp, email, atau webhook. Helpdesk memerlukan paket Standard atau lebih tinggi.
6. Lihat gambaran besar. Menu Analytics menampilkan Chats, Topics, Question history, dan Sentiment. Topik yang sering muncul membantu Anda menentukan bagian sampel mana yang perlu diperbanyak. Analitik lanjutan memerlukan paket Pro.
Rincian paket tersedia di halaman harga, dan daftar fitur lengkap di halaman fitur.
Penutup
Tingkat penyelesaian yang jujur hampir selalu lebih rendah daripada containment, dan itu tidak apa-apa. Angka yang lebih rendah tetapi terverifikasi lebih berguna daripada angka tinggi yang tidak ada yang percaya. Tentukan definisi, ukur berlapis, ambil sampel acak, perlakukan rating sebagai petunjuk, dan laporkan dengan terbuka. Setelah itu, ulangi tiap bulan dengan cara yang sama.
Pertanyaan umum
Apakah containment rate sama dengan tingkat penyelesaian?
Tidak. Containment hanya menghitung percakapan yang tidak melibatkan manusia, termasuk yang ditinggalkan pelanggan atau dijawab keliru. Tingkat penyelesaian terverifikasi baru muncul setelah sampel percakapan ditinjau dan dipastikan benar-benar terjawab. Containment adalah batas atas, bukan hasil akhir.
Berapa banyak chat yang sebaiknya ditinjau setiap bulan?
Tidak ada angka tunggal yang cocok untuk semua bisnis. Bila volume Anda sekitar 300 chat sebulan, meninjau sebagian besar secara bertahap masih realistis. Bila volumenya lebih besar, tetapkan sampel acak dengan jumlah tetap yang mencakup semua kanal dan topik, lalu pertahankan setiap bulan agar tren bisa dibandingkan.
Apakah rating jempol naik dihitung sebagai terselesaikan?
Sebaiknya tidak. Hanya sebagian pelanggan yang memberi rating, dan jempol naik bisa berarti mereka suka nadanya, bukan masalahnya beres. Pakai rating untuk menentukan chat mana yang ditinjau lebih dulu, lalu nilai penyelesaian dari isi percakapan.
Apakah AI SNS CHAT menghitung tingkat penyelesaian secara otomatis?
Tidak ada angka tingkat penyelesaian terverifikasi yang dihitung otomatis. AI SNS CHAT menyediakan Chat logs dengan filter, flag, tombol resolve, ekspor, dan rating pelanggan, serta Analytics untuk topik dan sentimen. Dengan bahan itu Anda menyusun metrik sendiri sesuai definisi tim.


