ข้ามไปยังเนื้อหา
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

ทดสอบ A/B โฟลว์แชต: เปลี่ยนทีละจุดเพื่อดูว่าแบบไหนได้ผลจริง

กองบรรณาธิการ AI SNS CHATเผยแพร่ อ่าน 8 นาที

คู่มือทดสอบ A/B โฟลว์แชตสำหรับทีมซัพพอร์ต ตั้งแต่เลือกตัวชี้วัด แบ่งกลุ่มลูกค้า ไปจนถึงอ่านผลโดยไม่หลอกตัวเอง พร้อมวิธีทำใน AI SNS CHAT

หลายทีมปรับข้อความต้อนรับหรือลำดับคำถามของแชตบอตตามความรู้สึก แล้วสรุปว่า "น่าจะดีขึ้น" ทั้งที่ไม่มีหลักฐานรองรับ บางครั้งยอดแชตที่จบได้เองเพิ่มขึ้นเพราะช่วงนั้นมีโปรโมชันพอดี ไม่ใช่เพราะโฟลว์ใหม่ บทความนี้พาคุณทำ A/B test กับโฟลว์แชตอย่างเป็นขั้นตอน ตั้งแต่การเลือกสิ่งที่จะทดสอบ การเลือกตัวชี้วัด ไปจนถึงการอ่านผลอย่างระวัง เพื่อให้การตัดสินใจครั้งต่อไปมีข้อมูลรองรับ

"โฟลว์แชต" แบบไหนที่คุ้มกับการทดสอบ

โฟลว์แชตคือลำดับสิ่งที่ลูกค้าเห็นและตอบกลับ นับตั้งแต่ข้อความแรกจนถึงเมื่อเรื่องจบหรือส่งต่อให้เจ้าหน้าที่ ไม่ใช่ทุกจุดที่ควรทดสอบ เลือกเฉพาะจุดที่มีแชตเข้ามาจำนวนมากและมีผลต่อผลลัพธ์ชัดเจน เช่น

  • ข้อความต้อนรับ: ทักทายสั้นๆ กับทักทายพร้อมปุ่มตัวเลือกหัวข้อยอดนิยม
  • วิธีถามข้อมูลเพิ่ม: ถามเลขที่ออเดอร์ตั้งแต่ข้อความแรก หรือรอให้ลูกค้าเล่าปัญหาก่อน
  • จังหวะส่งต่อเจ้าหน้าที่: ส่งต่อทันทีเมื่อเจอคำว่า "คืนเงิน" หรือให้บอตลองตอบก่อนหนึ่งรอบ
  • โทนและความยาวของคำตอบ: สุภาพแบบทางการ หรือกระชับเป็นกันเองแบบที่ลูกค้าคุ้นเคยบน LINE
  • การเก็บข้อมูลลูกค้าเป้าหมาย: ขอชื่อและเบอร์โทรช่วงต้นบทสนทนา หรือหลังตอบคำถามแรกเสร็จ

หัวข้อที่ลูกค้าถามเดือนละไม่กี่ครั้งไม่ควรเริ่มทดสอบ เพราะกว่าจะได้ข้อมูลพอสรุปผลก็ใช้เวลานานเกินไป

เลือกตัวชี้วัดหลักเพียงตัวเดียวก่อนเปลี่ยนอะไร

ข้อผิดพลาดที่พบบ่อยที่สุดคือเริ่มทดสอบโดยไม่รู้ว่า "ดีขึ้น" หมายถึงอะไร พอผลออกมาก็เลือกดูตัวเลขที่เข้าข้างตัวเลือกใหม่ ให้เขียนตัวชี้วัดหลักลงไปก่อนเริ่ม โดยเลือกให้ตรงกับเป้าหมายของโฟลว์นั้น

เป้าหมายของโฟลว์ตัวชี้วัดหลักที่เหมาะ
ลดภาระทีมซัพพอร์ตสัดส่วนแชตที่จบโดยไม่ต้องส่งต่อเจ้าหน้าที่
ให้ลูกค้าพอใจกับคำตอบสัดส่วนที่กดถูกใจ (thumbs up) ต่อทุกแชตที่ได้รับการให้คะแนน
เก็บข้อมูลลูกค้าเป้าหมายสัดส่วนบทสนทนาที่ได้ข้อมูลติดต่อครบ
ลดการถามซ้ำจำนวนข้อความเฉลี่ยก่อนปัญหาถูกแก้

ตัวชี้วัดอื่นเก็บไว้เป็น "ตัวชี้วัดกันพลาด" ไม่ใช่ตัวตัดสิน เช่น ถ้าตัวเลือก B ลดการส่งต่อเจ้าหน้าที่ได้ แต่คะแนนความพอใจตกลงชัดเจน แสดงว่าลูกค้าอาจถูกบอตยื้อไว้โดยไม่ได้รับความช่วยเหลือจริง

เปลี่ยนทีละอย่างเท่านั้น

ถ้าเวอร์ชัน B เปลี่ยนทั้งข้อความต้อนรับ ลำดับคำถาม และน้ำเสียงพร้อมกัน แล้วผลดีขึ้น คุณจะไม่มีทางรู้ว่าการเปลี่ยนจุดไหนได้ผล และจะนำบทเรียนไปใช้กับโฟลว์อื่นไม่ได้ ให้เปลี่ยนเพียงตัวแปรเดียว ส่วนที่เหลือเหมือนเวอร์ชัน A ทุกประการ รวมถึงชุดความรู้ที่บอตใช้ตอบและโมเดล AI

  1. 01ตั้งสมมติฐานและเลือกตัวชี้วัด
  2. 02สร้างเวอร์ชัน B โดยเปลี่ยนจุดเดียว
  3. 03รันคู่ขนานในช่วงเวลาเดียวกัน
  4. 04เทียบผล แล้วเลือกหรือย้อนกลับ
วงจรการทดสอบ A/B ของโฟลว์แชตแบบง่ายตัวอย่างประกอบ

เมื่อได้ผู้ชนะแล้ว ให้นำผู้ชนะนั้นเป็นเวอร์ชัน A รอบต่อไป แล้วทดสอบการเปลี่ยนจุดถัดไป การทำทีละจุดดูช้า แต่ผลที่ได้เชื่อถือได้กว่ามาก

แบ่งกลุ่มลูกค้าให้เป็นธรรม

สองกลุ่มที่เปรียบเทียบกันควรใกล้เคียงกันให้มากที่สุด สิ่งที่มักทำให้ผลเพี้ยนคือ

  • ช่วงเวลา: ให้ A ทำงานสัปดาห์นี้และ B สัปดาห์หน้า ซึ่งอาจตรงกับวันเงินเดือนออกหรือแคมเปญลดราคา จึงเทียบกันตรงๆ ไม่ได้
  • ช่องทาง: ลูกค้าบน LINE, Messenger และแชตบนเว็บไซต์มีพฤติกรรมต่างกัน อย่านำ A ไปวางบน LINE แล้วนำ B ไปวางบนเว็บ
  • ประเภทลูกค้า: ลูกค้าเก่าที่ถามเรื่องสถานะพัสดุ กับผู้เยี่ยมชมใหม่ที่ถามราคา ต้องการคำตอบคนละแบบ

หลักที่ปลอดภัยที่สุดคือรันทั้งสองเวอร์ชันในช่วงเวลาเดียวกัน บนช่องทางประเภทเดียวกัน และแบ่งผู้เข้ามาแบบสุ่มหรือสลับกันให้ได้มากที่สุด ถ้าเครื่องมือของคุณไม่แบ่งทราฟฟิกให้อัตโนมัติ อาจใช้วิธีแบ่งตามลิงก์หรือหน้าเว็บ เช่น ครึ่งหนึ่งของหน้าสินค้าใช้เวอร์ชัน A อีกครึ่งใช้เวอร์ชัน B โดยเลือกหน้าที่มีลักษณะผู้เข้าชมใกล้กัน และจดไว้ให้ชัดว่าแบ่งอย่างไร

รันนานแค่ไหน และต้องมีกี่แชต

ไม่มีตัวเลขวิเศษที่ใช้ได้กับทุกธุรกิจ แต่มีหลักคิดที่ช่วยได้

  • ยิ่งความต่างที่คุณคาดหวังเล็ก ยิ่งต้องใช้แชตมาก ถ้าหวังให้ดีขึ้นเพียงไม่กี่เปอร์เซ็นต์ ต้องมีข้อมูลจำนวนมากจึงจะแยกออกจากความผันผวนปกติได้
  • รันให้ครอบคลุมอย่างน้อยหนึ่งรอบสัปดาห์เต็ม เพราะวันธรรมดาและวันหยุดมีลักษณะคำถามต่างกัน
  • กำหนดจำนวนแชตขั้นต่ำและวันสิ้นสุดไว้ล่วงหน้า อย่าหยุดทันทีที่เห็นว่าเวอร์ชันใดนำอยู่ เพราะช่วงแรกตัวเลขแกว่งง่าย

ตัวอย่างสมมติ: ร้านค้าออนไลน์รับแชตประมาณ 300 แชตต่อเดือน ถ้าแบ่งครึ่ง จะได้เวอร์ชันละราว 150 แชตต่อเดือน ซึ่งพอใช้ดูความต่างที่ชัดเจนได้ แต่ไม่พอสำหรับตัดสินความต่างเล็กน้อย ร้านแบบนี้ควรทดสอบเรื่องที่คาดว่าจะเห็นผลชัด และยอมรับว่าอาจต้องรันหลายสัปดาห์

อ่านผลโดยไม่หลอกตัวเอง

สมมติว่าแต่ละเวอร์ชันมี 150 แชต และนับแชตที่จบโดยไม่ต้องส่งต่อเจ้าหน้าที่ ตัวเลขด้านล่างเป็นเพียงตัวอย่างเพื่ออธิบาย ไม่ใช่ผลจริงของธุรกิจใด

เวอร์ชัน A (เดิม)
96
เวอร์ชัน B (ปุ่มเลือกหัวข้อ)
108
ตัวอย่าง: แชตที่จบโดยไม่ส่งต่อเจ้าหน้าที่ในการทดสอบสมมติ (เวอร์ชันละ 150 แชต)ตัวอย่างประกอบ

ในตัวอย่างนี้ A ได้ 96 จาก 150 (64%) และ B ได้ 108 จาก 150 (72%) ต่างกัน 12 แชต ดูเหมือน B ชนะ แต่ที่จำนวนเท่านี้ ความต่างระดับนี้ยังอาจเกิดจากโชคได้ คำถามที่ควรถามคือ

  1. ผลเป็นไปในทิศทางเดียวกันทุกสัปดาห์หรือไม่ หรือชนะเพียงสัปดาห์เดียว
  2. ตัวชี้วัดกันพลาด เช่น คะแนนความพอใจ แย่ลงหรือไม่
  3. ถ้าสลับให้ B เป็นเวอร์ชันเดิมแล้วรันซ้ำ จะได้ผลใกล้เคียงเดิมหรือไม่
  4. ความต่างนั้นใหญ่พอให้คุ้มกับการเปลี่ยนจริงหรือไม่

ถ้าไม่แน่ใจ ให้ขยายเวลาทดสอบต่อ การสรุปว่า "ยังบอกไม่ได้" เป็นผลลัพธ์ที่ยอมรับได้ และดีกว่าการเปลี่ยนโฟลว์ทั้งระบบจากข้อมูลที่ยังไม่นิ่ง

นอกจากตัวเลข ให้อ่านบทสนทนาจริงสุ่มสัก 10 ถึง 20 แชตจากแต่ละเวอร์ชัน บางครั้งตัวเลขดีเพราะลูกค้าเลิกถามไปเฉยๆ ไม่ใช่เพราะปัญหาถูกแก้

ข้อผิดพลาดที่พบบ่อย

  • เปลี่ยนหลายอย่างพร้อมกัน จนไม่รู้สาเหตุของผล
  • แก้เวอร์ชัน B ระหว่างทดสอบ ทำให้ข้อมูลช่วงแรกกับช่วงหลังปนกัน หากต้องแก้ ให้เริ่มนับใหม่
  • ดูตัวชี้วัดหลายตัวแล้วเลือกตัวที่ชนะ ทำให้ได้ข้อสรุปที่เข้าข้างตัวเอง ให้ยึดตัวชี้วัดหลักที่เขียนไว้ตั้งแต่ต้น
  • ทดสอบช่วงผิดปกติ เช่น ช่วงลดราคาครั้งใหญ่ หรือระบบจัดส่งมีปัญหา ซึ่งทำให้คำถามผิดจากปกติ
  • ลืมเรื่องข้อมูลส่วนบุคคล เมื่อส่งออกบทสนทนาไปวิเคราะห์ ควรจำกัดผู้เข้าถึง ลบหรือปิดข้อมูลที่ระบุตัวตนได้ และตรวจสอบแนวปฏิบัติภายในองค์กรให้สอดคล้องกับ PDPA ของคุณเอง
  • ไม่เก็บบันทึก ทำให้อีกครึ่งปีไม่มีใครจำได้ว่าเคยทดสอบอะไรและได้ผลอย่างไร

ทำเรื่องนี้ใน AI SNS CHAT อย่างไร

ข้อควรรู้ก่อน: จากข้อมูลผลิตภัณฑ์ที่มี ไม่พบฟีเจอร์ที่สุ่มแบ่งผู้เข้าชมให้สองโฟลว์โดยอัตโนมัติ ดังนั้นการทดสอบ A/B จึงทำได้ด้วยการจัดการเองโดยใช้เครื่องมือที่มีอยู่ ดังนี้

  1. สร้างเวอร์ชัน B ด้วย Duplicate: คัดลอกเอเจนต์เดิม ระบบจะคัดลอกบุคลิก โมเดล และข้อมูลที่ใช้สอน แต่ไม่คัดลอกบทสนทนา จากนั้นแก้เฉพาะจุดที่ต้องการทดสอบ ซึ่งช่วยให้มั่นใจว่าส่วนอื่นเหมือนกัน การมีเอเจนต์เพิ่มขึ้นขึ้นกับจำนวนเอเจนต์ของแผน (Free 1, Hobby 2, Standard 3, Pro 5 ตามค่าเริ่มต้น) หรือเพิ่มเอเจนต์เป็นส่วนเสริมได้ ดูรายละเอียดที่ หน้าราคา
  2. ตั้งจุดกู้คืนก่อนแก้: เอเจนต์รองรับ restore point สูงสุด 40 จุดต่อบอต จึงย้อนกลับไปยังเวอร์ชันก่อนหน้าได้หากเวอร์ชันใหม่แย่กว่า
  3. ลองโมเดลเทียบกันใน Playground: หากสิ่งที่ทดสอบคือโมเดล AI ให้ใช้ Playground A/B model compare เทียบคำตอบก่อนนำไปใช้จริง โมเดลขั้นสูงและการสำรองโมเดลต้องใช้แผน Hobby ขึ้นไป ตั้งค่าได้ที่ Agent → Settings → AI
  4. แยกกลุ่มด้วยช่องทางหรือลิงก์: นำเอเจนต์ A และ B ไปติดตั้งในช่องทางที่ต่างกันภายใต้เงื่อนไขใกล้เคียงกัน เช่น หน้าเว็บสองหน้าที่ผู้เข้าชมคล้ายกัน หรือลิงก์แชตแยกกัน ช่องทางที่รองรับมีทั้ง LINE, Messenger, WhatsApp และวิดเจ็ตแชต ดูรายการเต็มที่ หน้าช่องทางเชื่อมต่อ และ หน้าฟีเจอร์
  5. ติดตามผลจาก Activity → Chat logs: กรอง ส่งออก และดูคะแนน thumbs up/down ของแต่ละเอเจนต์ ใช้ gรองและติดธงเพื่อเก็บแชตตัวอย่างที่ต้องอ่านจริง ส่วนหน้า Analytics แสดง Chats, Topics, Question history และ Sentiment โดยการวิเคราะห์ขั้นสูงต้องใช้แผน Pro
  6. ดูการส่งต่อเจ้าหน้าที่: ตั้งกะที่ Helpdesk → Scheduling เพื่อให้การส่งต่อถูกกระจายตามเวร (Helpdesk ต้องใช้แผน Standard ขึ้นไป) และใช้จำนวนการส่งต่อเป็นตัวชี้วัด
  7. บันทึกว่าใครแก้อะไร: Workspace settings → Activity บันทึกการสร้าง แก้ไข ลบ และอัปโหลดพร้อมชื่อผู้ทำและเวลา ใช้เป็นหลักฐานว่าเวอร์ชันใดเปลี่ยนเมื่อไร

อย่าลืมว่าแต่ละคำตอบใช้ 1 เครดิต การรันสองเวอร์ชันคู่ขนานจึงใช้เครดิตของทั้งสองเอเจนต์ ตรวจดูได้ที่หน้า Usage

คำถามที่พบบ่อย

AI SNS CHAT แบ่งผู้เข้าชมระหว่างสองโฟลว์ให้อัตโนมัติได้หรือไม่

จากข้อมูลผลิตภัณฑ์ที่มี ไม่พบฟีเจอร์แบ่งทราฟฟิกอัตโนมัติ วิธีที่ทำได้คือ Duplicate เอเจนต์เป็นสองเวอร์ชัน แล้วแยกตามลิงก์ หน้าเว็บ หรือช่องทางที่ผู้ใช้ใกล้เคียงกัน ส่วนการเทียบโมเดล AI ใช้ Playground A/B model compare ได้

ต้องมีกี่แชตจึงจะเชื่อถือผลได้

ไม่มีตัวเลขตายตัว ขึ้นกับว่าความต่างที่คาดหวังใหญ่แค่ไหน ความต่างเล็กต้องใช้แชตมากกว่า เวอร์ชันละประมาณ 150 แชตพอดูความต่างที่ชัดเจนได้ แต่ไม่พอตัดสินความต่างเล็กน้อย ให้กำหนดจำนวนขั้นต่ำและระยะเวลาอย่างน้อยหนึ่งสัปดาห์เต็มไว้ล่วงหน้า

ควรใช้ตัวชี้วัดอะไรกับโฟลว์บน LINE, Messenger หรือ WhatsApp

เลือกให้ตรงกับเป้าหมาย เช่น สัดส่วนแชตที่จบโดยไม่ส่งต่อเจ้าหน้าที่ หรือสัดส่วน thumbs up และใช้ตัวชี้วัดเดียวกันทั้งสองเวอร์ชันบนช่องทางเดียวกัน อย่าเปรียบเทียบข้ามช่องทาง เพราะพฤติกรรมผู้ใช้ต่างกัน

ถ้าเวอร์ชัน B แย่กว่า ย้อนกลับได้อย่างปลอดภัยหรือไม่

ได้ หากตั้ง restore point ไว้ก่อนแก้ไข เอเจนต์เก็บจุดกู้คืนได้สูงสุด 40 จุดต่อบอต อีกทางคือคงเอเจนต์ต้นฉบับไว้ไม่แตะต้อง แล้วหยุดใช้สำเนาที่ทดสอบ

#A/B Testing#โฟลว์แชต#KPI#แชตบอต#LINE

ลงมือทำจริงด้วย AI SNS CHAT

สร้างเอเจนต์ AI ที่เรียนรู้จากเนื้อหาของคุณเอง แล้วเชื่อมกับเว็บไซต์ LINE WhatsApp และอื่น ๆ เริ่มต้นฟรี ไม่ต้องใช้บัตรเครดิต