A/B测试

什么是A/B测试?

A/B测试,即为同一目标制定多个方案,将流量分割成A/B两组或多组,运行一段时间后可将流量全部分配给某一固定分支;或者根据每组用户的表现(即每组指标值的高低),系统自动执行表现好的那一组,即将流量全部分配给指标值高的那一组。

如何配置A/B测试?

注:

AB测试图元配置完,发布旅程后不可更改AB测试图元配置,即使停止旅程重新编辑也不可更改。因AB测试涉及流量分配以及指标计算,旅程发布后更改配置可能会导致指标计算异常。

1、添加分支并分配流量

设置分支,即根据需要设置不同的对照组。同时,给其设置流量配比,设置完成并发布旅程后,系统将按照该配置,自动将流量划分至各个分支。

2、配置指标

可以给每组分支设置指标,系统会自动计算这个指标值。

例:下图绿色分支指标设置为“访问网页的总次数”,则系统会计算:进入旅程的用户,在其进入旅程之后发生”访问网页“事件的总次数。

注:

  • 指标值仅会统计“进入旅程的用户”发生的事件,未进入旅程的用户发生的事件不会统计在内。
  • 同样的,指标值仅会统计这批用户进入旅程之后发生的事件,进入旅程之前或者达到设置的结束条件之后发生的事件不会统计在内。
  • 每个分支的指标度量建议一致。比如分支一指标为下单数100,分支二是触达率60%,则这二者指标度量不一致,系统会在那按照100>0.6进行指标比较。

3、设置结束条件

计算节点:

一直执行:系统会一直按照设置的配置来给分支分配流量。且一直计算指标值。

进入AB测试达到xx人次:当进入AB测试图元的人次达到设定值时,系统将停止按照设定的配比来分配流量,会自动执行达标率高的分支或者执行某一固定分支。

截止日期:当到达指定的日期时间时,系统将停止按照设定的配比来分配流量,会自动执行达标率高的分支或者执行某一固定分支。

结束后:

可选择到底结束条件后,是自动执行达标率高的分支,还是执行某一固定分支。

测试指标统计

旅程发布中,可点击AB测试图元-数据-测试指标统计,可查看各个分支的指标数据。

A/B测试场景案例

1、小程序推广下,不知道哪个产品/小程序图更吸引用户点击?

A/B测试设置4个分支,每组分支流量配比25%,分别发送不同路径的小程序。当进入AB测试人数达到400人次时,系统会自动执行打开小程序页面最高的那一分支。