1. 功能概述
A/B测试是一种对比测试，将用户按比例分为对照组和测试组并对不同的组使用不同的配置。您可以通过不同的测试组使用不同的广告策略对比结果，来帮助您验证哪种广告策略效果更好。
Taku A/B测试支持以下功能：
- 多分组支持：最多可以设置 10 个测试分组。
- 双场景测试：支持广告位 A/B 测试及流量分组 A/B 测试。
- 多广告位聚合：广告位 A/B 测试可以同时选择多个 Taku 广告位，流量分组 A/B 单次只能选择一个流量分组进行 A/B 测试，同时 Taku 支持从应用维度查看 A/B 测试数据。
- 一键择优：A/B 测试结束后可以一键选择最优测试分组。
- 历史数据追溯：可以查看历史 A/B 测试的分组数据及高级设置情况。
2. 操作指引
2.1 A/B测试配置流程
2.1.1 添加A/B测试入口
您可以从聚合管理或者A/B测试两个入口创建测试。
【聚合管理】-【AB测试】-【添加】
【高级功能】-【A/B测试】-【+ A/B测试】
2.1.2 添加AB测试详细配置
1. 测试类型
AB测试类型分为【广告位A/B测试】和【流量分组A/B测试】，点击小标题右侧问号【?】可以查看维度差异
若您选择【流量分组】创建，可以设置多个A/B分组(最多10个分组)，同时可以在同一个应用下选择多个Taku广告位进行A/B测试（流量分组A/B测试仅支持单个流量分组创建）。
注意：同一个广告位下，只支持创建一种类型的A/B测试
2.流量分配
为比例方式设置，若需要自动均分，打开标题右侧开关即可
3. 配置分组
A/B测试创建完成之后，原有的聚合管理的WaterFall配置将自动同步到A/B测试中ID最小的分组（如配置了A/B/C三组，将自动复制到A组）。 如其他分组（B/C）要同步原有聚合管理的WaterFall配置，可以使用【复制瀑布流配置】功能。
4. 生效时间
可选择【立即】【手动】或【指定】。
配置全部完成后，点击【提交】即创建成功。
若您选择【手动开启】，测试变为“待生效”状态，可以在【聚合管理】或【AB测试】页面点击【开启测试】 正式启动。
您可以通过A/B测试的【状态筛选】或【搜索】功能来快速查找已经创建好的A/B测试实验。
2.1.3 分组设置WaterFall
创建完成A/B测试后，可以在【聚合管理】为各个A/B测试分组配置流量分组和配置广告源。
您可以使用复制流量分组和复制广告源的功能，快速完成WaterFall配置。
测试分组如果没有任何可用的广告源时，Taku默认会【自动分配展示广告】，即使用其他测试分组的广告源进行展示。若您的AB测试需要测试某个分组不配置广告源，也可以选择【此分组不展示广告】。
2.1.4 编辑测试
可在【聚合管理】页面筛选对应AB测试后，【更多操作】编辑AB测试配置；
或【高级功能】-【A/B测试】-【编辑】调整配置
2.1.5 结束测试
结束A/B测试时，您可以选择【全部广告位】，一键选择最优的分组策略；也可以选择【指定广告位】，分别选择最优的分组策略。
2.2 A/B测试数据查看方式
2.2.1 A/B测试板块首页视图
点击列表中的【广告位】或【流量分组】，可以跳转查看详情。
2.2.2 正在进行的AB测试
-
聚合管理页面查看
您可以在【聚合管理】页面筛选日期范围和测试名称，查看每组详情数据；点击【详细数据】跳转【A/B测试数据详情】页面
- AB测试页面查看
A/B测试列表点击【查看数据】跳转【A/B测试数据详情】页面
对于多广告位测试，可分开查看每个广告位或查看所有广告位的汇总数据。看板默认显示测试阶段汇总数据，可切换为应用预估数据；下拉查看具体指标的对比，支持切换查看分天数据趋势。
A/B测试支持数据指标在本文档第3部分。
2.2.3 历史AB测试配置和数据
- 聚合管理页面查看
聚合管理页面上只会显示您已经选择的最优AB测试分组的数据，其他没有选择的AB测试分组数据不会在聚合管理中显示。如果您需要在聚合管理页面上查看未选择的AB测试分组的数据或AB测试启动之前的历史数据，您可以在【历史分组数据】查看
或前往【综合报表】-【数据概览】-【维度】，选择【AB测试】查看
在历史分组数据里，您可以通过A/B测试分组名称筛选您想要查看的全部历史A/B测试的数据。
注意：历史分组数据中，仅展示结束测试前，A/B测试的分组情况及开启状态下的广告源情况，A/B测试过程中关闭的广告源不会记录在内，完整的数据需要到综合报表进行查看
注意：区分A/B组以后，观察数据，请关注“预估数据”等指标。例如：预估eCPM、预估收益、预估ARPU。
A/B组中的带有“API”的指标，为整个代码位维度的数据，即此代码位的实际收益。实际不会发生拆分。
例如：
穿山甲代码位“xxxx”配置在 60/40分配比例的A/B测试中，实际收益API为100人民币。在A组中的预估收益为60人民币，B组中为40人民币。但是收益API在两个分组中都会和从三方平台拉回来的实际收益一致。
即不论在A组中，还是在B组中查看，穿山甲代码位“xxxx”的收益API都会等于100。
- AB测试页面查看
历史A/B测试列表点击【查看数据】跳转【A/B测试数据详情】页面
2.2.4 在综合报表查看AB测试数据
A/B测试结束后，由于Taku SDK策略缓存问题，未选择的分组策略在一定时间内会产生遗留数据。当您发现综合报表中查询的广告位数据跟聚合管理中显示的数据不一致，您可以在【综合报表】-【数据预览】-【维度】中选择【AB测试】，进一步确定数据差异是由旧的AB测试策略引起
3. A/B测试支持数据指标
| 类别 | 指标 | 说明 |
|---|---|---|
| 收益数据 | 预估收益 | 仅统计参与本A/B测试的当前广告位或汇总所有参与实验广告位的预估收益。 |
| 预估收益/切量设备 | ||
| 预估收益/展示设备 | ||
| 用户行为 | 切量设备 |
广告位汇总数据口径：请求过本A/B测试任意广告位的独立用户数（设备数）。 单个广告位数据口径：请求过当前广告位的独立用户数(设备数)。选择一段时间内切量设备为每日切量设备累加，不去重。 |
| 展示设备 |
广告位汇总数据口径：展示过本A/B测试任意广告位广告的独立用户数(设备数)。 单个广告位数据口径：展示过当前广告位广告的独立用户数（设备数）。选择一段时间内展示设备为每日展示设备累加，不去重。 |
|
| 切量渗透率 |
每天展示过广告的用户占请求过当前广告位策略的用户占比， 计算公式：展示设备/切量设备 |
|
| 广告请求展示 | 填充耗时（秒） | 填充耗时表示从广告位加载到广告位有填充的时间 |
| 广告请求 | 常规广告源的请求为实际向三方广告平台发送的请求数。竞价广告源的请求为有竞价响应，竞价广告源参与瀑布流排序，轮到该广告源请求时，实际向三方广告平台发送的请求数 | |
| 广告源填充率 | 常规广告源为向广告平台发送请求后，成功返回广告的占比；竞价广告源为有竞价响应后，竞价广告源参与瀑布流排序，轮到该广告源请求，实际向三方广告平台发送请求后，返回成功的占比 | |
| 展示/切量设备 | ||
| 展示/展示设备 | ||
| 流量请求 | 应用向Taku发送请求的次数。一次流量请求可能触发多次广告请求 | |
| 流量填充率 | 应用向Taku发送请求后，返回成功的占比 | |
| 展示 | Taku统计的三方广告平台展示回调数，当实际收到三方广告平台展示回调时才会统计 | |
| 展示率 | Taku统计的广告展示率。计算公式：展示/填充 | |
| 预估eCPM |
根据预估收益和Taku统计的展示计算出预估eCPM计算公式：（预估收益/Taku统计的展示）*1000。 注：1. 预估eCPM当天提供；2. 常规广告源基于手动填写的eCPM价格计算，竞价广告源基于实时竞价价格计算；3. Meta竞价广告源基于历史eCPM API预估 |
|
| 点击 | Taku统计的广告点击数。部分平台不提供点击回调，导致Taku无法统计到用户的点击行为 | |
| 点击率 | Taku统计的广告点击率，计算公式：点击/展示 | |
| 广告Ready数据 | 查询isReady | 调用Taku isReady接口的次数 |
| isReady成功率 | Taku isReady接口返回True次数/调用Taku isReady接口的次数 | |
| eCPR | 千次广告请求收益，计算公式：预估收益/请求*1000。对于竞价广告源，请求为询价指标；对于常规广告源，请求为广告源请求指标。 |
4. 常见问题
(1) A/B测试功能如何分配设备？
AB策略不变的话，设备ID会被固定分配到其中一个组。若是策略改变，比如修改切量权限，那么设备ID会重新分配。
(2) A/B测试设置的切量比例跟实际广告位的切量人数比例对不上，但App的DAU切量比例跟A/B测试设置的切量比例接近？
正常情况下AB实验设置的切量比例跟实验的广告位切量人数的分配比例Gap在5%是正常的。
当Gap超过5%时，您可以检查参与实验的全部广告位是否有测试分组未配置广告源。在测试分组没有配置任何可用广告源时，Taku默认采用”自动分配展示广告“策略，即此测试分组的流量将切到其他有可用广告源的测试分组，从而影响广告位实际的切量人数比例。
(3) 当单个广告位参与A/B测试，广告位的A/B测试结果跟App维度的A/B测试结果不一致？
正常情况下单个广告位的A/B测试结果会跟App维度的A/B测试结果一致，当出现不一致时有可能是参与A/B测试的样本出现切量不均。
建议您关闭现有A/B测试重新创建新的A/B测试，在新的A/B测试里可考虑采用AABB测试(两个AA组为对照组、两个BB组为测试组），当两个AA组的测试结果接近时，说明A/B测试样本切量均匀，本次A/B测试可以考虑AB组的对比效果。
(4) 多个广告位参与实验，各个参与实验的广告位的汇总数据跟App维度的实验结果不一致？
当出现此情况时，说明您当前的参与A/B测试的广告位跟整体App维度的测试结果出现《辛普森悖论》。此情况下，您可以根据各个广告位的A/B测试结果单独选择最优策略测试分组策略。
同时，建议您对上述参与A/B测试的广告位单独创建不同的A/B测试，对现有测试结论进行复验。
(5) 流量分组A/B测试使用限制
本期流量分组A/B测试暂时不支持智能管家及动态瀑布流功能。有使用需要的开发者，可联系AM开通流量分组A/B功能。
;}.cls-2{fill:%230868f7;}.cls-3{fill:url(%23未命名的渐变_44);}.cls-4{fill:%23333;}%3c/style%3e%3clinearGradient%20id='未命名的渐变_8'%20x1='33.73'%20y1='100.61'%20x2='-0.03'%20y2='-1.06'%20gradientUnits='userSpaceOnUse'%3e%3cstop%20offset='0'%20stop-color='%237ae9fb'/%3e%3cstop%20offset='0.67'%20stop-color='%232b90f8'/%3e%3cstop%20offset='1'%20stop-color='%230868f7'/%3e%3c/linearGradient%3e%3clinearGradient%20id='未命名的渐变_44'%20x1='27.86'%20y1='18.67'%20x2='68.36'%20y2='22.22'%20gradientUnits='userSpaceOnUse'%3e%3cstop%20offset='0'%20stop-color='%235ac7f2'/%3e%3cstop%20offset='1'%20stop-color='%230868f7'/%3e%3c/linearGradient%3e%3c/defs%3e%3cpath%20class='cls-1'%20d='M29,28.74V81.91l-9.51-3.68v0L8.52,74A7.17,7.17,0,0,1,4,67.32V24.54A3.76,3.76,0,0,1,9.08,21Z'/%3e%3cpath%20class='cls-2'%20d='M68.09,78.07a13.15,13.15,0,0,1-17.9,12.06L29,81.91h0V28.74L50.19,37A13.17,13.17,0,0,0,68.08,25.3h0Z'/%3e%3cpath%20class='cls-3'%20d='M68.08,25.3a13.19,13.19,0,0,1-6.73,10.87A13.09,13.09,0,0,1,50.19,37L29,28.74V6A3.76,3.76,0,0,1,34.1,2.52l25.59,9.91A13.22,13.22,0,0,1,68.08,25.3Z'/%3e%3cpath%20class='cls-4'%20d='M129.06,81.76a4.33,4.33,0,0,1-3.19-1.31,4.4,4.4,0,0,1-1.31-3.24V56.86H97.65V77.21a4.36,4.36,0,0,1-1.35,3.2A4.68,4.68,0,0,1,93,81.76a4.32,4.32,0,0,1-3.19-1.31,4.37,4.37,0,0,1-1.32-3.24V27.27A4.58,4.58,0,0,1,89.83,24a4.59,4.59,0,0,1,7.82,3.27V48.15h26.91V27.27A4.58,4.58,0,0,1,125.91,24a4.59,4.59,0,0,1,7.82,3.27V77.21a4.37,4.37,0,0,1-1.36,3.2A4.65,4.65,0,0,1,129.06,81.76Z'/%3e%3cpath%20class='cls-4'%20d='M163.77,81.66c-6.57,0-11.76-1.92-15.44-5.7s-5.54-9.07-5.54-15.74a26.76,26.76,0,0,1,2.09-10.43,17.72,17.72,0,0,1,6.67-8.06,19.15,19.15,0,0,1,10.68-2.95,19,19,0,0,1,10.46,2.8,18.7,18.7,0,0,1,6.55,7.36,22.53,22.53,0,0,1,2.36,10.28A4.51,4.51,0,0,1,177,63.77H152.23a10.8,10.8,0,0,0,3.49,6.65c2,1.68,4.88,2.52,8.66,2.52a22.25,22.25,0,0,0,7.54-1.21c.74-.3,1.55-.67,2.37-1.07a3.75,3.75,0,0,1,1.84-.4,4.09,4.09,0,0,1,3,1.15,4,4,0,0,1,1.12,3,4.38,4.38,0,0,1-2.58,3.82,32.34,32.34,0,0,1-6.36,2.61A28.67,28.67,0,0,1,163.77,81.66ZM172.4,55.9a9.72,9.72,0,0,0-1.63-4.56A9.9,9.9,0,0,0,167,48a10.38,10.38,0,0,0-4.64-1.14,12,12,0,0,0-4.77,1.06,9.54,9.54,0,0,0-4.89,5.66,11.78,11.78,0,0,0-.51,2.3Z'/%3e%3cpath%20class='cls-4'%20d='M193,81.64a4.49,4.49,0,0,1-4.51-4.55V27.28A4.58,4.58,0,0,1,189.84,24a4.48,4.48,0,0,1,3.28-1.36A4.36,4.36,0,0,1,196.35,24a4.46,4.46,0,0,1,1.31,3.31V77.09a4.34,4.34,0,0,1-1.35,3.2A4.67,4.67,0,0,1,193,81.64Z'/%3e%3cpath%20class='cls-4'%20d='M263.79,81.71a5.7,5.7,0,0,1-4.2-1.74,5.76,5.76,0,0,1-1.73-4.19V27.37a4.58,4.58,0,0,1,1.35-3.27A4.59,4.59,0,0,1,267,27.37V72.53h24a4.58,4.58,0,0,1,3.27,7.82A4.66,4.66,0,0,1,291,81.71Z'/%3e%3cpath%20class='cls-4'%20d='M424.48,81.74a4.71,4.71,0,0,1-2.71-.88,5.43,5.43,0,0,1-1-1l-.07-.09-12.41-17-5.41,5v9.44a4.31,4.31,0,0,1-1.36,3.19,4.66,4.66,0,0,1-3.3,1.36A4.29,4.29,0,0,1,395,80.42a4.36,4.36,0,0,1-1.32-3.23V27.37A4.58,4.58,0,0,1,395,24.1a4.52,4.52,0,0,1,6.58.12,4.54,4.54,0,0,1,1.24,3.15V56.31l17.72-16.38.05,0a4.8,4.8,0,0,1,2.94-1.11,4.4,4.4,0,0,1,3.27,1.2,4.57,4.57,0,0,1,1.2,3.27,4.44,4.44,0,0,1-.77,2.33,7.45,7.45,0,0,1-1.43,1.65l-11,9.64,13.34,17.68a5,5,0,0,1,1,2.71,4.12,4.12,0,0,1-1.36,3.24A4.64,4.64,0,0,1,424.48,81.74Z'/%3e%3cpath%20class='cls-4'%20d='M317.93,81.76a21.5,21.5,0,1,1,21.17-21.5A21.37,21.37,0,0,1,317.93,81.76Zm0-34.1a12.61,12.61,0,1,0,12.42,12.6A12.52,12.52,0,0,0,317.93,47.66Z'/%3e%3cpath%20class='cls-4'%20d='M212.18,101.22a4.12,4.12,0,0,1-3.05-1.26,4.17,4.17,0,0,1-1.26-3.1V43.34a4.37,4.37,0,0,1,1.3-3.14,4.26,4.26,0,0,1,3.13-1.3,4.19,4.19,0,0,1,3.1,1.26,4.32,4.32,0,0,1,1.26,3.16,20.77,20.77,0,0,1,13-4.54,21.51,21.51,0,0,1,0,43,20.51,20.51,0,0,1-13-4.57V96.86a4.15,4.15,0,0,1-1.3,3.06A4.5,4.5,0,0,1,212.18,101.22Zm17.43-53.63c-6.23,0-12.93,4.11-12.93,12.72a12.73,12.73,0,0,0,25.46,0A12.71,12.71,0,0,0,229.61,47.59Z'/%3e%3cpath%20class='cls-4'%20d='M365.76,81.76a21.5,21.5,0,1,1,21.18-21.5A21.37,21.37,0,0,1,365.76,81.76Zm0-34.1a12.61,12.61,0,1,0,12.42,12.6A12.52,12.52,0,0,0,365.76,47.66Z'/%3e%3c/svg%3e)