A/B测试

1. 功能概述

A/B测试是一种对比测试，将用户按比例分为对照组和测试组并对不同的组使用不同的配置。您可以通过不同的测试组使用不同的广告策略对比结果，来帮助您验证哪种广告策略效果更好。

Taku A/B测试支持以下功能：

 

2. 操作指引

2.1 A/B测试使用流程

2.1.1 创建A/B测试

(1) 您可以通过【高级功能】-【 A/B测试 】 创建并管理A/B测试

(2) 创建A/B测试时可以设置多个A/B分组(最多10个分组)，同时可以在同一个应用下选择多个Taku广告位进行A/B测试

(3) A/B测试创建完成之后，原有的聚合管理的WaterFall配置将自动同步到A/B测试中最小ID的分组（如配置了A\B\C三组，将自动复制到A组)。 其他分组(B/C)如何要同步原有聚合管理的WaterFall配置可以使用复制现有WaterFall功能。

(4) A/B测试的生效时间可以选择立即或指定时间。

(5) 您可以通过A/B测试的状态筛选或搜索功能来快速查找当前应用下已经创建好的A/B测试实验。

 

2.1.2 为A/B测试的分组设置WaterFall

(1) 您创建完成A/B测试后，可以在聚合管理为各个A/B测试分组配置流量分组和配置广告源。

 

(2) 您可以使用复制流量分组和复制广告源的功能，快速完成WaterFall配置。

 

(3) 测试分组如果没有任何可用的广告源时，Taku默认会”自动分配展示广告“，即使用其他测试分组的广告源进行展示。您也可以选择”此分组不展示广告“。

 

2.1.3 在聚合管理中查看A/B测试数据

(1) 当前A/B测试的分组数据会在相应分组显示，您可以在当前的A/B测试分组中调整WaterFall配置。

(2) 针对Taku SDK旧缓存策略（非当前A/B测试的策略）产生的数据，将会放在”历史分组数据“上显示。

注意：历史分组数据只支持查看数据，不能修改WaterFall配置。

(3) 在历史分组数据里，您可以通过A/B测试分组名称筛选您想要查看的全部历史A/B测试的数据。

 

注意：区分A/B组以后，观察数据，请关注“预估数据”等指标。例如：预估eCPM、预估收益、预估ARPU。

A/B组中的带有“API”的指标，为整个代码位维度的数据，即此代码位的实际收益。实际不会发生拆分。

例如：穿山甲代码位“xxxx”配置在 60/40分配比例的A/B测试中，实际收益API为100人民币。在A组中的预估收益为60人民币，B组中为40人民币。但是收益API在两个分组中都会和“从三方平台拉回来的实际收益一致”，即不论在A组中，还是在B组中观看，穿山甲代码位“xxxx”的收益API都会等于100。

 

2.1.4 在A/B测试中查看A/B测试数据

(1) 您可以在A/B测试页面，按应用维度查看A/B测试数据，同时您也按广告位维度的测试数据。

(2) A/B测试支持数据指标：

• DAU
• DEU
• 预估收益/DAU
• 预估收益/DEU
• 预估收益
• 预估eCPM
• 流量请求
• 流量填充率
• 展示（从2023年3月7日 0点（UTC+8）起，统计口径从“Taku调用广告平台SDK开始展示的次数”调整为“Taku收到广告平台SDK展示成功的回调次数”）
• 展示率
• 渗透率
• 展示/DAU
• 展示/DEU
• 点击
• 点击率
• isReady调用次数
• isReady成功率
• 展示(旧) （原来的展示统计口径数据，Taku调用广告平台SDK开始展示的次数）
• 切量人数（原广告位维度的DAU数据，每天请求过本A/B测试任一广告位的独立用户数，可查看实际AB测试的切量比例）

 

2.1.5 在A/B测试中查看数据趋势

(1) 您可以通过A/B测试的数据趋势图查看A/B测试在选择日期范围内的变化。

(2) 点击应用数据或广告位数据右侧的详细数据进入。

(3) 在数据趋势图中，您可以选择相应数据指标查看趋势图，也可以将分天详细数据导出。

 

2.2 结束A/B测试

(1) 结束A/B测试时，您可以通过指定全部广告位，一键选择最优的分组策略。

(2) 您也可以指定广告位，单独选择最优的分组策略。

 

2.3 查看历史A/B测试数据

(1) A/B测试结束后，由Taku SDK策略缓存问题，未选择的分组策略在一定时间内会产生遗留数据，您可以通过以下方式查看：

AB测试结束后，当您发现综合报表中查询的广告位数据跟聚合管理中显示的数据不一致，您可以在综合报表的数据维度中选择AB测试，进一步确定数据差异是由旧的AB测试策略引起

 

(2) 在A/B测试查看已结束的AB测试数据

① A/B测试结束后，聚合管理页面上只会显示您已经选择的最优AB测试分组的数据，其他没有选择的AB测试分组数据不会在聚合管理中显示。如果需要查看未选择的AB测试分组的数据可以在历史分组数据查看， 或前往综合报表查看(数据维度中选择AB测试）

② A/B测试结束后，如果您需要在聚合管理页面上查看AB测试启动之前的历史数据，您可以在历史分组数据查看， 或前往综合报表查看(数据维度中选择AB测试）

 

3. 常见问题

(1) A/B测试功能如何分配设备？

AB策略不变的话，设备ID会被固定分配到其中一个组。若是策略改变，比如修改切量权限，那么设备ID会重新分配。

 

(2) A/B测试设置的切量比例跟实际广告位的切量人数比例对不上，但App的DAU切量比例跟A/B测试设置的切量比例接近？

正常情况下AB实验设置的切量比例跟实验的广告位切量人数的分配比例Gap在5%是正常的。

当Gap超过5%时，您可以检查参与实验的全部广告位是否有测试分组未配置广告源。在测试分组没有配置任何可用广告源时，Taku默认采用”自动分配展示广告“策略，即此测试分组的流量将切到其他有可用广告源的测试分组，从而影响广告位实际的切量人数比例。

 

(3) 当单个广告位参与A/B测试，广告位的A/B测试结果跟App维度的A/B测试结果不一致？

正常情况下单个广告位的A/B测试结果会跟App维度的A/B测试结果一致，当出现不一致时有可能是参与A/B测试的样本出现切量不均。

建议您关闭现有A/B测试重新创建新的A/B测试，在新的A/B测试里可考虑采用AABB测试(两个AA组为对照组、两个BB组为测试组），当两个AA组的测试结果接近时，说明A/B测试样本切量均匀，本次A/B测试可以考虑AB组的对比效果。

 

(4) 多个广告位参与实验，各个参与实验的广告位的汇总数据跟App维度的实验结果不一致？

当出现此情况时，说明您当前的参与A/B测试的广告位跟整体App维度的测试结果出现《辛普森悖论》。此情况下，您可以根据各个广告位的A/B测试结果单独选择最优策略测试分组策略。

同时，建议您对上述参与A/B测试的广告位单独创建不同的A/B测试，对现有测试结论进行复验。