ปรับปรุงแอปด้วยการทดสอบ A/B ในแอป

การทดสอบ A/B ช่วยให้คุณสามารถทดสอบการปรับปรุงในแอปกับผู้ใช้กลุ่มย่อย เพื่อให้คุณได้ข้อมูลไปใช้ในการเลือกผลลัพธ์ที่ดีที่สุดสำหรับฐานผู้ใช้ทั้งหมด

เหตุใดจึงใช้งานได้ดี

การทดสอบ A/B ช่วยให้คุณไม่ต้องเดาว่าคุณควรเปลี่ยนแปลงฟีเจอร์หรือเนื้อหาในแอปดีหรือไม่ และเนื่องจากคุณทดสอบการเปลี่ยนแปลงกับผู้ใช้เพียงกลุ่มเล็กๆ คุณก็ไม่ต้องเผยแพร่แอปให้ผู้ใช้ทั้งหมดหากการเปลี่ยนแปลงนั้นส่งผลที่ไม่คาดคิดหรือในเชิงลบ

วิธีทำ

  • เลือกแพลตฟอร์มการทดสอบ A/B ที่เหมาะสม เช่น การกำหนดเป้าหมายเปอร์เซ็นไทล์แบบสุ่มของการกำหนดค่าระยะไกลของ Firebas ด้วย Firebase Analytics หรือ Google Analytics ด้วย Google Tag Manager และผสานรวมกับแอปของคุณ
  • กำหนดตัวแปรฟีเจอร์หรือเนื้อหาที่คุณต้องการทดสอบและวิธีที่คุณจะวัดความสำเร็จ
  • กำหนดฟีเจอร์หรือเนื้อหาที่จะแสดงให้แก่กลุ่มควบคุมและกลุ่มทดสอบดังต่อไปนี้
สถานการณ์ ตัวอย่างของการเปลี่ยนแปลงที่ทดสอบ สิ่งที่ผู้ใช้ที่อยู่นอกการทดสอบเห็น… ตัวแปร A ตัวแปร B ตัวแปร C, D ฯลฯ (ไม่บังคับ)
การใช้งานแบบใหม่ของฟีเจอร์ที่มีอยู่ การเปลี่ยนเป็นการนำทางด้านล่างจากแท็บต่างๆ จะเพิ่มการมีส่วนร่วมของผู้ใช้ … การใช้งานที่มีอยู่
เช่น แท็บต่างๆ
การใช้งานที่มีอยู่
เช่น แท็บต่างๆ
การใช้ฟีเจอร์ใหม่
เช่น การนำทางด้านล่าง
การใช้งานฟีเจอร์เพิ่มเติม
เช่น ลิ้นชักการนำทาง
ฟีเจอร์ใหม่ที่สร้างเมตริกใหม่ การแสดงการซื้อในแอปตามความนิยมแทนตามราคาจะทำให้รายได้เพิ่มขึ้น … ไม่มีฟีเจอร์ใหม่
เช่น ไม่เปิดใช้การซื้อในแอป
การใช้ฟีเจอร์ใหม่ 1
เช่น รายการสินค้าในแอปที่แสดงตามความนิยม
การใช้ฟีเจอร์ใหม่ 2
เช่น รายการสินค้าในแอปที่แสดงตามราคา
การใช้งานฟีเจอร์เพิ่มเติม
เช่น รายการสินค้าในแอปที่แสดงตามลำดับตัวอักษร
ฟีเจอร์ใหม่ที่วัดผลด้วยเมตริกที่ใช้อยู่ การอนุญาตให้ผู้ใช้ทำเครื่องหมายรายการจะเพิ่มการมีส่วนร่วมของผู้ใช้ … ไม่มีฟีเจอร์ใหม่
เช่น ไม่ได้เปิดใช้การทำเครื่องหมายรายการ
ไม่มีฟีเจอร์ใหม่
เช่น ไม่ได้เปิดใช้การทำเครื่องหมายรายการ
การใช้ฟีเจอร์ใหม่
เช่น เปิดใช้การทำเครื่องหมายรายการ ด้วยสัญลักษณ์รูปหัวใจ
การใช้งานฟีเจอร์เพิ่มเติม
เช่น เปิดใช้การทำเครื่องหมายรายการ ด้วยสัญลักษณ์รูปดาว
  • เลือกขนาดของกลุ่มผู้ทดสอบหรือระยะเวลาในการทดสอบ โดยตั้งเป้าหมายให้มีจำนวนผู้ทดสอบอย่างน้อย 1,000 คน ทั้งนี้ขึ้นอยู่กับฟีเจอร์ของแพลตฟอร์มการทดสอบ A/B ของคุณ
  • ทำการทดสอบ
  • ดูผลการทดสอบเพื่อค้นหาว่าได้ผลที่ชัดเจนทางสถิติไหมและตัวแปรใดๆ ที่ทดสอบทำให้ประสิทธิภาพของแอปดีขึ้นไหม
  • เปิดตัวการเปลี่ยนแปลง “ที่ได้ผลดีที่สุด” ให้แก่ผู้ใช้ทุกคน

แนวทางปฏิบัติที่ดีที่สุด

  • เลือกแพลตฟอร์มที่อนุญาตการทดสอบจำนวนมาก เมื่อแอปและธุรกิจเติบโตขึ้น คุณจะต้องทำการทดสอบ A/B เยอะขึ้นและบ่อยขึ้น ตรวจดูว่าแพลตฟอร์มที่เลือกสามารถทำการทดสอบได้หลายครั้งพร้อมๆ กันสำหรับกลุ่มผู้ใช้เดียวกัน โดยการทดสอบแต่ละครั้งควรใช้กลุ่มผู้ใช้ร่วมกัน (เพื่อให้ผู้ใช้สามารถอยู่ในการทดสอบหลายรายการพร้อมกันได้)
  • ทดสอบตัวแปรให้น้อยที่สุดหรือมากที่สุดตามความจำเป็นเพื่อให้ได้การทดสอบที่มีประโยชน์ ลองทดสอบตัวแปรมากกว่า 2 ตัว หากมีตัวเลือกฟีเจอร์หรือเนื้อหาอื่นที่มีประโยชน์หลายรายการที่คุณคิดว่าน่าจะทำให้แอปดีขึ้น ลองใช้วิธีทดสอบแบบหลายตัวแปรเพื่ออธิบายตัวแปรต่างๆ ตัวอย่างเช่น
ปุ่มด้านล่าง (มุมมอง 2)
ซื้อ ซื้อสินค้า
สีปุ่ม (มุมมอง 1) น้ำเงิน ตัวแปร A ตัวแปร B
สีเขียว ตัวแปร C ตัวแปร D
  • ทำการทดสอบให้นานพอที่จะตัดความแตกต่างตามระยะเวลาออกไปได้ พฤติกรรมของผู้ใช้อาจแตกต่างกันไปเป็นรายชั่วโมง รายวัน รายสัปดาห์ หรือรอบเวลาที่คล้ายกัน คำนึงถึงปัจจัยนี้เมื่อกำหนดระยะเวลาในการทดสอบ แต่สำหรับในจุดที่ทราบว่าพฤติกรรมจะเปลี่ยนแปลงไปหลังรอบเวลาที่ยาวนานขึ้น คุณอาจต้องใช้ระยะการทดสอบที่สั้นลงแล้วนำผลที่ได้มาประมาณการ
  • ตรวจสอบเพื่อไม่ให้ความแตกต่างที่ทราบระหว่างกลุ่มผู้ใช้มีผลต่อการทดสอบ หากคุณคิดว่าพฤติกรรมของผู้ใช้จะแตกต่างกันไปในแต่ละกลุ่มผู้ใช้ ให้ทำการทดสอบภายใน 1 กลุ่มหรือใช้ตัวอย่างที่เป็นตัวแทนของผู้ใช้ทั้งหมด เช่น หากคุณทราบว่ารายได้ต่อผู้ใช้นั้นแตกต่างกันไปตามประเทศ ให้ทดสอบกับผู้ใช้จากประเทศเดียวหรือใช้กลุ่มตัวอย่างจากทุกประเทศ
  • ทดสอบกับกลุ่มผู้ใช้หลายกลุ่ม ในกรณีที่ทราบกลุ่มผู้ใช้ที่มีประโยชน์ เช่น ประเทศ ช่องทางการสร้างฐานผู้ใช้ หรือกลุ่มที่คล้ายคลึง ให้ลองทดสอบในกลุ่มที่หลากหลาย เพื่อดูว่าผลลัพธ์แตกต่างกันไหม คุณอาจเปิดตัวการเปลี่ยนแปลงหนึ่งไปยังบางกลุ่ม หรือการเปลี่ยนแปลงหลายรายการไปยังหลายๆ กลุ่มก็ได้
  • คำนึงถึงผลประโยชน์ทางธุรกิจที่เป็นไปได้เมื่อตั้งระยะเวลาของการทดสอบ เมื่อคุณตั้งระยะเวลาของการทดสอบหรือขนาดของกลุ่มทดสอบ (และเวลาที่แสดงตัวแปรต่างๆ แก่ผู้ทดสอบ) ให้พิจารณาว่าการทดสอบที่สั้นลงจะเป็นประโยชน์ต่อธุรกิจหรือไม่ (จากการปรับปรุงได้เร็วขึ้น)
  • ติดตามผลการทดสอบเพื่อหาผลลัพธ์ในเชิงลบที่ไม่คาดคิดและเตรียมตัวให้พร้อมสำหรับการหยุดทดสอบ แม้ว่าการทดสอบจะมีผู้ใช้เป็นเปอร์เซ็นต์ไม่มาก ผลลัพธ์ที่แย่มากๆ อาจส่งผลต่อคะแนนและรีวิวหรือส่งผลในเชิงลบต่อผู้ใช้รายอื่นๆ ผ่านข้อมูลที่แชร์ในโซเชียลมีเดีย
  • หากแพลตฟอร์มเอื้ออำนวย ให้เปิดตัวการเปลี่ยนแปลงทีละน้อย แม้ว่าการทดสอบจะระบุว่าตามสถิติแล้วการเปลี่ยนแปลงจะส่งผลดี คุณอาจพบผลลัพธ์ที่ไม่คาดคิดเมื่อผู้ใช้ทั้งหมดเห็นการเปลี่ยนแปลงนี้ การเปิดตัวการเปลี่ยนแปลงแบบทีละน้อยช่วยให้คุณสามารถติดตามผลกระทบในระหว่างที่มีผู้ใช้จำนวนมากขึ้นได้รับการเปลี่ยนแปลงนั้นๆ และหยุดการเปิดตัวหากไม่ได้ผลประโยชน์ที่คาดคิดไว้
  • นำผู้ใช้ที่เลือกเข้าร่วมออกจากเมตริก หากคุณมีตัวเลือกให้ผู้ใช้เลือกรับการดูหรือใช้ฟีเจอร์ใหม่ที่ทดสอบอยู่ อย่าลืมนำผู้ใช้เหล่านั้นออกจากเมตริก