作者：稀饭
1、对实验进行准确分析的难点
虽然AB实验的随机对照逻辑能够给我们提供科学的分析方法，但是准确分析依旧是一个大挑战。除了需要具备基础的分析能力之外，还要注重实验本身的设计问题。对AB实验进行准确分析，有一些难点需要克服，包括：
① 如何正确选择关注哪些指标，即确认哪些指标的提升能够真正代表业务本身的增长；
② 在选对了分析指标后，怎样判断实验组和对照组是否可比，有没有不可比因素存在；
③ 实验分析依赖对实验场景的理解，具体问题需要具体分析，即明确分析什么人群、从什么维度进行分析，看什么指标，这些是实验分析方法设计的核心要素。不同实验场景在分析大原则（可比性、结果置信）满足的基础之上，需要针对性设计符合场景的有效分析方法。
2、实验分析的三要素
（1）样本：指实验期间被实验所圈定的人群，包括实验组和对照组；
（2）指标：基于实验的目的而定，通常来说包括整个人群的总体（大盘）指标和人均指标两类，例如实验组的总点击量，实验组人均点击量等；
（3）维度：如果是时间维度，要确定是统计一天，还是一个完整的用户周期。如果是人群维度，则要明确是仅看当日实验用户，还是累积实验用户。
3、流量型AB实验的概念和分析
（1）概念
流量型实验比较常见，它是指从所有流入实验场景的用户群体中根据某些条件筛出一部分群体，然后随机下发不同策略。这种类型的实验有很多，比较有代表性的就是对进入网页或者APP某个落地页的用户随机分组进行不同页面元素的展示，以及对所有打开过小程序的用户随机分组进行不同商品页的曝光等。
（2）特点
流量型实验是比较简单和理想的实验，因为整个样本总体可以看成是一段时间内状态稳定的群体。由于在实验前的一段时间里，样本比较活跃，可以得到理想的空跑期数据。所谓的空跑期是指，对用户群体划分实验组和对照组后，不立刻下发策略，而是观察一段时间后以确认分组是否具有同质性，并且可以在实验分析期间消除空跑期的差异。
（3）分析要素
① 样本：通常选每天进入场景的实验组和对照组用户；
② 指标：根据实验目的来确定。例如样本中都是活跃用户时，可以设置人均访问时长以及ARPU等反映活跃度的指标；
③ 维度：时间维度上一般需要关注完整的周期，而人群维度一般只用看当日进入实验中的用户即可，有些需求中也可能要看累积用户。
（4）分析注意事项
由于流量型实验比较好进行同质性判断和人群流量累积，所以分析时重点需要关注的就是实验过程的质量控制，对分析方法和思路的调整不多。
4、唤醒型实验的概念和分析
（1）概念
唤醒型实验主要是针对回流的场景。例如，我们圈定某小程序的沉默人群，实验组通过APP下发一些召回策略，而对照组并不下发（或下发空策略），实验的目的是评估下发的召回P策略能否对用户活跃度产生影响。
（2）特点
唤醒型实验相比流量型实验，其最大的区别是在于样本进入实验场景之前就已经完成了分组。因为需要影响的是那些沉默的用户，因此不会存在像流量型实验那样，大量用户流入实验场景的情况，实验用户只能在实验前预先设定好。
（3）分析要素
① 样本：所有沉默用户，实验组和对照组；
② 指标：根据实验目的而定，但在处理一些人均值时需要小心；
③ 维度：时间维度通常看一周，人群维度则需要看累积用户。
（4）分析注意事项
唤醒型实验由于很难进行空跑期测试，为了保证可比性，需要把实验组和对照组的所有用户都考虑起来（而不是仅看活跃的那部分）。可以预见，实验过程中由于实验组下发了召回策略，相比对照组来说会有更多的沉默用户转为活跃用户。在分析总量指标（例如DAU、总时长等）时，可以根据实验组指标减去对照组指标得到增量，但在分析人均指标（例如人均时长、人均PV等）时需要小心一些。以人均时长为例，很多实验平台的指标设计是基于流量型实验设计的，人均指标通常为“总时长 / 活跃用户数”，实验组通过策略召回沉默用户后，可能导致沉默用户转为活跃用户，其活跃用户数会增多，导致最后计算总体时长时，人均时长可能还会减少，就产生策略降低了人均时长的误判。
5、分享型实验的概念和分析
（1）概念
分享型实验往往涉及分享者和接受者两类用户，会更复杂，更容易分析出错。例如，想看不同的分享内容排版对分享点击率的影响时，实验设计中可能会把分享的人群随机分为两组，分享的内容排版对应方案A和方案B。但分享的人群在分享时，可能会存在共同点击（即分享方案A的链接和分享方案B的链接被同一个阅读者点击过），从而导致出现交叉效应，无法判断排版的真实影响。
（2）特点
容易出现交叉效应，在设计的时候无法保证用户分享给谁，也就是无法预先设定“分享者-接受者”这样的用户配对组。
（3）分析要素
① 样本：视实验目标而定，既可以是分享者，也可以是接受者；
② 指标：分享率、点击率、裂变系数等；
③ 维度：时间维度通常看一周，人群维度只需要关注当天命中实验的用户。
（4）分析时需要注意的事项
分享型实验的观察内容取决于实验目的。如果分享实验是面对接受者的，就要看接受者对于分组策略的反馈；如果实验的目标是针对分享者的，则要看分享者在被策略命中后的相关点击情况。
广告区↓
