Cara kerja failover otomatis penyedia AI untuk chat layanan pelanggan di WhatsApp, Instagram, dan situs web, serta hal yang perlu Anda atur dan uji.
Bayangkan toko online Anda sedang ramai karena promo gajian, lalu penyedia model AI di balik chatbot mendadak tidak merespons. Pelanggan di WhatsApp menunggu tanpa jawaban, sementara tim Anda belum tentu sempat membalas semuanya secara manual. Artikel ini menjelaskan apa itu failover otomatis, mengapa urutan cadangan penting, apa yang tetap konsisten saat mesin AI berganti, dan apa yang tidak bisa diselesaikan oleh failover.
Mengapa satu penyedia AI adalah titik kegagalan tunggal
Sebagian besar chatbot layanan pelanggan modern bergantung pada satu penyedia model bahasa. Selama penyedia itu sehat, semuanya lancar. Masalahnya, layanan di internet pada dasarnya tidak pernah menjamin tersedia setiap detik. Penyedia model bisa mengalami gangguan, pembatasan laju, atau pemeliharaan, dan itu terjadi di luar kendali Anda.
Untuk UMKM dan perusahaan di Indonesia, dampaknya terasa di jam-jam yang paling sibuk:
- Pelanggan bertanya soal stok, ongkir, atau status pesanan lewat WhatsApp dan berharap jawaban dalam hitungan detik.
- Calon pembeli yang datang dari iklan Instagram biasanya tidak menunggu lama sebelum pindah ke toko lain.
- Chat di situs web yang diam terlihat seperti situs yang ditinggalkan.
Sebagai contoh hipotetis: jika sebuah toko menerima 300 chat per bulan dan satu jam gangguan jatuh tepat pada puncak promo, puluhan percakapan bisa terdampak sekaligus. Angka ini hanya ilustrasi, tetapi polanya nyata: gangguan singkat pada waktu yang salah bisa lebih mahal daripada gangguan panjang di tengah malam.
Apa sebenarnya yang dimaksud failover
Failover berarti sistem otomatis beralih ke jalur cadangan ketika jalur utama tidak bisa melayani. Dalam konteks chat AI, "jalur" itu adalah penyedia model. Jika penyedia pertama tidak dapat menjawab, sistem mencoba penyedia berikutnya dalam daftar, sehingga pelanggan tetap mendapat balasan tanpa tahu ada pergantian di belakang layar.
Hal yang perlu dipahami sejak awal:
- Failover bukan fitur yang Anda "tekan" saat darurat. Ia bekerja otomatis pada setiap balasan.
- Failover tidak mengubah isi pengetahuan agen. Basis pengetahuan, persona, dan aturan Anda tetap sama.
- Failover tidak menggantikan pemantauan. Ia mengurangi dampak gangguan, bukan menghilangkan penyebabnya.
Di AI SNS CHAT, failover berlaku untuk balasan teks, yaitu chat di widget situs web, WhatsApp, Instagram, dan kanal teks lain yang tersambung ke agen Anda. Detail jalur untuk suara dibahas di bagian "Yang tidak bisa diperbaiki failover".
Urutan cadangan itu penting
Memiliki cadangan saja tidak cukup. Urutan cadangan menentukan siapa yang menjawab lebih dulu, berapa banyak percobaan yang terjadi, dan ke mana data pesan akhirnya dikirim.
Di AI SNS CHAT, balasan teks mengikuti urutan berikut: penyedia yang Anda pilih untuk agen itu dicoba lebih dulu, lalu rantai cadangan berjalan dari Anthropic (Claude), OpenAI, Google (Gemini), dan terakhir OpenRouter.
- 01Pesan pelanggan masuk
- 02Penyedia pilihan agen dicoba
- 03Cadangan: Anthropic, OpenAI, Google, OpenRouter
- 04Balasan terkirim ke pelanggan
Beberapa catatan penting tentang urutan ini:
- Pilihan Anda tetap yang utama. Agen yang diatur memakai Gemini akan mencoba Gemini lebih dulu, bukan langsung melompat ke penyedia lain.
- Rantai cadangan bersifat tetap. Anda tidak perlu menyusun daftar sendiri untuk setiap agen.
- Grok (xAI) tidak termasuk. Grok hanya dipakai untuk suara. Jika ada model teks lama yang tersimpan sebagai Grok, sistem menggantinya ke Claude Sonnet untuk chat teks.
Mengapa ini penting bagi Anda? Karena setiap penyedia di rantai adalah pihak yang berpotensi memproses isi pesan pelanggan. Jika bisnis Anda punya kebijakan internal tentang vendor mana yang boleh menerima data, urutan ini harus Anda ketahui sebelum menyalakan agen di kanal produksi.
Persona sama, mesin berbeda: apa yang tetap konsisten
Kekhawatiran paling umum adalah: "Kalau mesinnya ganti, apakah gaya bicara agen saya ikut berubah?" Jawaban jujurnya: sebagian besar tetap, tetapi tidak semuanya identik.
Yang tetap sama
- Persona dan batasan (guardrails) yang Anda tulis untuk agen.
- Basis pengetahuan: file, cuplikan teks, situs web, Q&A, dan sumber lain di menu Data sources.
- Aksi dan integrasi yang terpasang, misalnya pengumpulan lead atau eskalasi ke manusia.
- Aturan serah terima ke tim, termasuk jadwal shift dan notifikasi.
Yang bisa sedikit berbeda
- Panjang jawaban dan pilihan kata. Setiap model punya "gaya" bawaan.
- Cara menafsirkan instruksi yang ambigu. Instruksi yang samar bisa dibaca berbeda oleh model berbeda.
- Kemampuan menangani bahasa campuran, misalnya pelanggan yang menulis Indonesia, Jawa, dan Inggris dalam satu kalimat.
Pergantian mesin paling terasa pada pertanyaan di tepi: keluhan yang emosional, permintaan yang tidak ada di basis pengetahuan, atau pesan yang mencoba menyuruh bot melanggar aturan. Karena itu, uji khusus kasus-kasus tersebut, bukan hanya pertanyaan mudah seperti jam buka.
Tetap di satu vendor, bila memang harus
Ada bisnis yang lebih mementingkan kepastian pemrosesan data daripada ketersediaan maksimal. Contohnya klinik yang menangani pertanyaan pasien, kantor hukum, atau perusahaan dengan kebijakan vendor yang ketat. Bagi mereka, pesan yang "melompat" ke vendor kedua mungkin tidak dapat diterima.
AI SNS CHAT menyediakan pengaturan tingkat platform (ai_provider_fallback=same) yang menjaga setiap balasan tetap pada satu vendor. Perlu dicatat, ini pengaturan admin platform, bukan sakelar di dashboard pelanggan biasa. Jika kebijakan Anda menuntutnya, bicarakan dengan tim kami lebih dulu.
Tidak ada pilihan yang benar untuk semua orang. Yang penting, Anda memilihnya dengan sadar, bukan mengetahuinya setelah ada insiden. Jika memilih satu vendor, siapkan juga rencana manusia: jadwal shift tim dan notifikasi serah terima agar pelanggan tetap terlayani saat bot tidak bisa menjawab.
Yang tidak bisa diperbaiki failover
Failover sering dianggap solusi segalanya. Padahal ada beberapa hal yang tidak ia sentuh:
- Jawaban yang salah karena data salah. Jika harga di basis pengetahuan sudah kedaluwarsa, semua model akan menjawab dengan harga lama. Perbarui sumber data Anda secara rutin.
- Gangguan di kanal itu sendiri. Jika WhatsApp atau Instagram sedang bermasalah di sisi Meta, failover model AI tidak dapat membantu karena pesan bahkan tidak sampai.
- Panggilan suara. Fitur suara Synthia speech-to-speech memakai OpenAI Realtime API saja, tanpa cadangan. Failover yang dibahas di sini berlaku untuk balasan teks. Suara punya penyedia sendiri, misalnya untuk text-to-speech, dan itu bukan rantai yang sama.
- Batas paket. Model lanjutan dan cadangan model memerlukan paket Hobby atau lebih tinggi. Pada paket di bawahnya, sistem kembali ke model standar dari penyedia yang sama.
- Perbedaan gaya antar model. Seperti dibahas di atas, persona yang kabur akan terdengar berbeda di tiap mesin.
Dengan kata lain, failover melindungi Anda dari satu jenis masalah: penyedia model yang tidak tersedia. Kualitas data, desain persona, dan rencana serah terima ke manusia tetap tanggung jawab Anda.
Daftar periksa untuk pengaturan Anda sendiri
Sebelum mengandalkan failover di kanal produksi, jalankan langkah-langkah berikut:
- Pastikan paket Anda mendukung. Cadangan model memerlukan Hobby atau lebih tinggi.
- Pilih penyedia utama dengan sengaja. Itu yang akan menjawab hampir semua chat, jadi pilih berdasarkan kualitas bahasa Indonesia pada kasus Anda.
- Ketahui rantai cadangannya. Anthropic, lalu OpenAI, Google, dan OpenRouter. Cocokkan dengan kebijakan data perusahaan.
- Tentukan kebijakan vendor. Jika butuh satu vendor saja, hubungi kami untuk pengaturan tingkat platform.
- Uji persona di beberapa model. Gunakan 15 sampai 20 pertanyaan nyata dari pelanggan Anda, termasuk yang sulit.
- Siapkan serah terima manusia. Atur shift dan notifikasi supaya ada orang yang menangkap chat saat bot tidak bisa menjawab.
- Tinjau chat log secara berkala. Lihat percakapan yang diberi jempol ke bawah dan perbaiki sumbernya.
Menerapkannya di AI SNS CHAT
Pengaturan model untuk setiap agen ada di Agent → Settings → AI. Di sana Anda memilih penyedia dan model yang menjadi pilihan utama agen. Daftar model diambil langsung dari endpoint model tiap penyedia dan disimpan sementara selama 6 jam, jadi model baru bisa muncul tanpa menunggu pembaruan aplikasi.
Setelah penyedia utama dipilih, failover berjalan otomatis: bila penyedia itu tidak dapat menjawab, balasan dicoba lewat rantai Anthropic, OpenAI, Google, lalu OpenRouter. Anda tidak perlu menyusun aturan per kanal. Rantai yang sama berlaku untuk widget situs web, WhatsApp, Instagram, dan kanal teks lainnya. Model lanjutan dan cadangan model memerlukan paket Hobby atau lebih tinggi; di bawahnya, agen memakai model standar dari penyedia yang sama. Lihat rincian paket di halaman harga.
Untuk menguji, gunakan Playground, dan manfaatkan perbandingan model A/B di Playground untuk melihat bagaimana dua model menjawab pertanyaan yang sama. Jalankan pertanyaan yang biasa diajukan pelanggan Anda, terutama yang sensitif seperti komplain, refund, dan permintaan di luar cakupan. Hasilnya membantu Anda memperbaiki persona sebelum agen dipasang di kanal langsung.
Langkah pendukung lainnya:
- Activity → Chat logs untuk meninjau percakapan, memberi rating jempol, dan mengubah balasan menjadi jawaban ideal untuk melatih agen.
- Helpdesk → Scheduling (paket Standard atau lebih tinggi) untuk shift tim, sehingga serah terima otomatis diarahkan ke orang yang sedang bertugas.
- Titik pemulihan agen, hingga 40 per bot, bila Anda mengubah persona dan ingin kembali ke versi sebelumnya.
Satu balasan dihitung sebagai satu kredit. Anda dapat memantau pemakaian per agen di halaman Usage. Fitur lain tersedia di halaman fitur, dan praktik keamanan dijelaskan di halaman keamanan.
Pertanyaan umum
Penyedia mana yang dicoba lebih dulu saat agen AI SNS CHAT membalas?
Penyedia yang Anda pilih untuk agen itu di Agent → Settings → AI. Jika penyedia tersebut tidak dapat menjawab, rantai cadangan berjalan berurutan dari Anthropic (Claude), OpenAI, Google (Gemini), lalu OpenRouter. Grok hanya dipakai untuk suara, bukan chat teks.
Apakah failover tersedia di semua paket?
Tidak. Model lanjutan dan cadangan model memerlukan paket Hobby atau lebih tinggi. Pada paket di bawahnya, sistem kembali ke model standar dari penyedia yang sama.
Bisakah saya mencegah pesan saya diproses oleh vendor kedua?
Ada pengaturan tingkat platform yang menjaga setiap balasan tetap pada satu vendor. Pengaturan ini dikelola admin platform, bukan sakelar di dashboard pelanggan, jadi hubungi tim kami bila kebijakan data Anda memerlukannya. Perlu diingat, dengan satu vendor, gangguan di vendor itu berarti bot tidak dapat menjawab.
Apakah failover mencakup panggilan suara juga?
Tidak. Failover ini berlaku untuk balasan teks. Synthia speech-to-speech memakai OpenAI Realtime API saja tanpa cadangan, dan penyedia text-to-speech diatur terpisah.
Bagaimana cara memastikan agen tetap menjawab baik di model lain?
Gunakan Playground dan fitur perbandingan model A/B dengan pertanyaan nyata dari pelanggan Anda, termasuk kasus sulit. Setelah agen aktif, tinjau Chat logs secara berkala, beri rating, dan perbaiki persona atau sumber pengetahuan yang menghasilkan jawaban kurang tepat.


