Cải thiện ứng dụng của bạn bằng cách chạy thử nghiệm A/B trong ứng dụng

Thử nghiệm A/B giúp bạn thử nghiệm các cải tiến đối với ứng dụng của mình trên một nhóm nhỏ người dùng để bạn có thể sử dụng dữ liệu nhằm lựa chọn giải pháp tốt nhất cho toàn bộ cơ sở người dùng của mình.

Lý do phương pháp này hiệu quả

Thử nghiệm A/B loại bỏ tình trạng phỏng đoán khi xác định liệu sự thay đổi đối với các tính năng hoặc nội dung của ứng dụng có lợi hay không. Đồng thời, vì bạn có thể thử nghiệm các thay đổi trên một nhóm nhỏ người dùng nên thử nghiệm này giúp tránh phát hành bản cập nhật cho tất cả người dùng chỉ để thấy rằng bản cập nhật đó có tác động không mong muốn hoặc tiêu cực.

Cách thực hiện

  • Chọn một nền tảng thử nghiệm A/B phù hợp, chẳng hạn như nhắm mục tiêu theo phần trăm ngẫu nhiêm Cấu hình từ xa Firebase với Firebase Analytics hoặc Google Analytics với Trình quản lý thẻ của Google và tích hợp nền tảng với ứng dụng của bạn.
  • Xác định các biến thể nội dung hoặc tính năng bạn muốn thử nghiệm và cách đo lường thành công của chúng.
  • Thiết lập tính năng hoặc nội dung được hiển thị cho các nhóm kiểm soát và thử nghiệm như sau:
Trường hợp Ví dụ về thay đổi đang được thử nghiệm Người dùng bị loại trừ khỏi thử nghiệm thấy ... Biến thể A Biến thể B Các biến thể C, D, v.v. (tùy chọn)
Mới triển khai tính năng hiện có Chuyển sang Điều hướng dưới cùng từ tab sẽ tăng mức độ tương tác của người dùng … triển khai hiện tại
ví dụ: Tab
Triển khai hiện tại
ví dụ: Tab
Triển khai tính năng mới
ví dụ: Điều hướng dưới cùng
Triển khai tính năng bổ sung
ví dụ: Ngăn điều hướng
Tính năng mới tạo ra chỉ số mới Liệt kê các mặt hàng mua trong ứng dụng theo mức độ phổ biến hơn là giá sẽ tạo thêm doanh thu ... không có tính năng mới
ví dụ: mua hàng trong ứng dụng không được bật
Triển khai tính năng mới 1
ví dụ: các mặt hàng mua trong ứng dụng được liệt kê theo mức độ phổ biến
Triển khai tính năng mới 2
ví dụ: các mặt hàng mua trong ứng dụng được liệt kê theo giá
Triển khai tính năng bổ sung
ví dụ: các mặt hàng mua trong ứng dụng được sắp xếp theo thứ tự bảng chữ cái
Tính năng mới được đo bằng chỉ số hiện có Cho phép người dùng đánh dấu mục sẽ tăng mức độ tương tác của người dùng ... không có tính năng mới
ví dụ: đánh dấu mục không được bật
Không có tính năng mới
ví dụ: đánh dấu mục không được bật
Triển khai tính năng mới
ví dụ: đánh dấu mục được bật, sử dụng một biểu tượng trái tim
Triển khai tính năng bổ sung
ví dụ: đánh dấu mục được bật, sử dụng một biểu tượng ngôi sao
  • Chọn quy mô nhóm thử nghiệm của bạn hoặc khoảng thời gian thử nghiệm, tùy thuộc vào tính năng của nền tảng thử nghiệm A/B, với mục tiêu đạt được một nhóm thử nghiệm bao gồm ít nhất 1000 người dùng.
  • Chạy thử nghiệm.
  • Xem lại kết quả thử nghiệm để xác định xem chúng có ý nghĩa về mặt thống kê hay không và có bất kỳ biến thể nào đã thử nghiệm cải thiện hiệu suất của ứng dụng hay không.
  • Triển khai thay đổi “thành công” với tất cả người dùng của bạn.

Các phương pháp hay nhất

  • Chọn nền tảng cho phép thử nghiệm ở quy mô lớn. Khi ứng dụng và doanh nghiệp của bạn phát triển, bạn sẽ muốn chạy nhiều thử nghiệm A/B thường xuyên hơn. Đảm bảo nền tảng bạn đã chọn có thể chạy nhiều thử nghiệm song song với cùng một nhóm người dùng, tốt nhất nên sử dụng nhóm chung (để người dùng có thể tham gia vào nhiều thử nghiệm cùng một lúc).
  • Thử nghiệm với vài hoặc nhiều biến thể như bạn cần để làm cho thử nghiệm hữu ích. Cân nhắc việc thử nghiệm hơn hai biến thể nếu có một số tùy chọn nội dung hoặc tính năng thay thế hữu ích bạn cho là có thể mang lại những cải tiến. Cân nhắc việc sử dụng phương pháp đa lượng biến để xác định các biến thể. Ví dụ:
Văn bản nút (Khung hình 2)
Mua Mua
Màu nút (Khung hình 1) Màu lam Biến thể A Biến thể B
Xanh lục Biến thể C Biến thể D
  • Chạy thử nghiệm đủ lâu để loại bỏ các biến thể tuần hoàn. Hành vi của người dùng có thể thay đổi theo chu kỳ hàng giờ, hàng ngày, hàng tuần hoặc tương tự. Xem xét những điều này khi đặt khoảng thời gian thử nghiệm của bạn. Nếu hành vi được xác định là thay đổi theo chu kỳ dài hơn, có thể cần phải sử dụng một giai đoạn thử nghiệm ngắn hơn và ngoại suy kết quả.
  • Đảm bảo các biến thể đã xác định giữa các phân đoạn người dùng không ảnh hưởng đến thử nghiệm của bạn. Nếu bạn cho rằng hành vi của người dùng sẽ khác nhau giữa các phân đoạn người dùng của bạn, hãy chạy thử nghiệm trong một phân đoạn hoặc đảm bảo bạn sử dụng mẫu đại diện cho tất cả người dùng. Ví dụ: nếu doanh thu trên mỗi người dùng được xác định là thay đổi theo quốc gia, hãy thử nghiệm với người dùng từ một quốc gia hoặc một mẫu người dùng từ tất cả các quốc gia.
  • Thử nghiệm trên nhiều phân đoạn. Trường hợp bạn có phân đoạn người dùng hữu ích, đã xác định — chẳng hạn như quốc gia, kênh chuyển đổi hoặc tương tự — hãy cân nhắc việc chạy thử nghiệm trên các phân đoạn khác nhau để xem kết quả có khác nhau giữa các phân đoạn đó hay không. Sau đó, bạn có thể triển khai thay đổi chỉ cho một số phân đoạn hoặc các thay đổi khác nhau cho các phân đoạn khác nhau.
  • Xem xét lợi ích kinh doanh tiềm năng khi đặt khoảng thời gian thử nghiệm. Khi đặt khoảng thời gian thử nghiệm hoặc quy mô của nhóm thử nghiệm (và thời gian để các biến thể được hiển thị cho người thử nghiệm), hãy cân nhắc xem thử nghiệm ngắn hơn có thể có lợi ích kinh doanh hay không (bằng cách đạt được bất kỳ cải tiến nào sớm hơn).
  • Theo dõi thử nghiệm để biết bất kỳ kết quả tiêu cực không mong muốn nào và chuẩn bị để tạm dừng thử nghiệm. Mặc dù thử nghiệm có thể chỉ bao gồm một tỷ lệ phần trăm nhỏ người dùng nhưng kết quả quá kém có thể ảnh hưởng đến xếp hạng và bài đánh giá của bạn hoặc ảnh hưởng tiêu cực đến người dùng khác thông qua thông tin được chia sẻ trên phương tiện truyền thông xã hội.
  • Nếu nền tảng của bạn cho phép, hãy triển khai các thay đổi theo chiều hướng tăng dần. Mặc dù thử nghiệm của bạn có thể cho thấy lợi ích về mặt thống kê khi thực hiện thay đổi nhưng có thể có kết quả không mong muốn khi tất cả người dùng của bạn nhận được thay đổi đó. Triển khai thay đổi theo chiều hướng tăng dần cho phép bạn giám sát hiệu quả của thay đổi khi có nhiều người dùng hơn nhận được thay đổi đó và tạm dừng triển khai nếu thay đổi không mang lại những lợi ích như mong đợi.
  • Loại trừ người dùng đã chọn tham gia khỏi số liệu của bạn. Nếu bạn cung cấp cho người dùng tùy chọn chọn tham gia để xem hoặc sử dụng tính năng mới mà bạn đang thử nghiệm, hãy nhớ loại trừ người dùng đó khỏi số liệu.