干货 | 从玄学走向科学，一文读懂A/B Test在广告营销领域应用

字节跳动DataTester团队将A/B Test实验方法应用在广告营销领域，并首先在西瓜视频成功实践，用科学实验衡量决策收益，让广告营销从创意玄学走向数据科学。

文 | 诚诚 来自字节跳动数据平台DataTester团队

“我有一半的广告费都被浪费了，但就是不知道是哪一半。”

以上图为例，假设我们有 100 万用户要进行 A/B 测试：

• 先选定目标受众，比如一线城市的用户。

• A/B 测试不可能对所有用户都进行实验，所以要进行科学抽样，选择小部分流量进行实验。

• 抽样之后需要对样本进行分组，比如 A 组保持现状，B 组的某一个因素有所改变。

• 分组之后在同一时间进行实验，就可以看到改变变量后用户行为的变化。

• 再根据对应实验目标的指标，比如点击率的高低，来评估实验的结果。

• 可以选择关注更多维度的指标，如激活率、注册率、ROI、LTV、留存率等，并通过关注指标自动生成数据报告；

• 可以将实验下面所有广告计划的数据进行快速对比，快速了解各指标的差异；

• 数据报告

• 通过设置核心指标识别优胜组

• 可以查看关注指标的置信度

目前，国内外还没有数字广告效果度量的通用标准。虽然不能够完全通过实验最精准的量化广告效果，但「增效度量」是目前几乎最接近广告真实效果的度量解决方案之一。增效度量客观量化线上广告投放对广告主产生的"价值",包括但不限于"广告"对最终的转化、用户行为、用户认知等产生的变化。

• 帮助广告主明确不同渠道/媒体的广告价值（帮助广告主正确的归因),明确广告投资回报率

• 帮助广告主证明归因方式是否准确，从而合理归因广告转化

• 帮助广告主持续优化广告营销的策略，合理调整不同渠道/媒体的广告预算分配

火山引擎A/B实验平台提供一站式增效度量实验，结合广告增效思路，构建科学实验分流、实验配置、科学的度量报告，有效促进品牌广告科学评估价值。

广告主可以在火山引擎A/B实验平台上传DMP人群，配置度量实验，进行跨渠道的投放生效，A/B实验平台提供投放和监测服务，也可配置对接客户的投放和监测服务，在投放后一定周期内完成监测数据归因和转化数据回传，平台统一生成增效度量实验报告。

品牌广告效果的量化评估多年以来一直困扰着业界。难点在于品牌广告是能提升销售，但目前却很难做到精确有效地评估出某个品牌广告对销售增长的促进作用，而只能停留在触达层面的评估上。

品牌广告对消费者的影响是润物细无声的，影响消费者的过程可能有数月甚至一年之久；并且品牌广告对消费者心智影响的效果通常是无形和难以衡量的；另外销售的提升可能是品牌广告和效果广告作用的结果，品牌广告到底有多少贡献难以衡量；众多的难点要素叠加起来导致了业界还没有找到品牌推广和销售之间的准确转换关系。

品牌增效度量将品牌力这一主观判断以数据形式产出，通过广告曝光行为在两组相似用户之间的用户认知差异对比，能更好地帮助广告主了解广告效果，从而为媒体效率提升提供方向。此外，增效度量能帮广告主更好衡量广告的真实价值。采用广告的真实价值作为衡量标准，也能得出更好的用户洞察。

品牌增效度量实验核心流程：

• 创建BLS类型实验

• 导入人群包，绑定广告投放活动

• 开始投放广告，同步回收广告数据

• 根据广告人群回收情况，启动问卷投放

• 回收问卷数据，总结本次实验结论

人群分流以往的计算方法是在选择好曝光组的基础上透过基础画像标签去找到相似的人群作为控制组，这种选法对于广告主来说会有两个挑战点：一是找到的控制组并无法保证与曝光组的一致性，二是为确保曝光组、控制组的一致性，广告主在这个流程上需要花费较大的人力及时间去做圈选校验。

而火山引擎的AB实验平台，在广告投放前确定人群随机分流方式，通过算法匹配将人群随机分流为曝光组、控制组，并对控制组进行广告屏蔽，相较于以往方法，更科学、省力且结论数据更真实。

和普通增效度量实验不同的是，品牌广告效果无法通过监测代码直接追踪转化效果（转化可能在线下)，所以在度量品牌效果时，需要引入问卷调研能力，来统计品牌广告的uplift效果。火山引擎AB实验平台提供了以下能力：

• 在品牌增效度量实验中，火山引擎A/B实验平台完成人群分流及广告投放工作

• 在问卷调研中会通过接入多种问卷工具产品来实现问卷下发&问卷回收

• 通过标准化的问卷模版，将回收问卷数据进行汇总计算，产出数据洞察报告

问卷样例：

- End -