AB实验中的SRM问题

1、SRM问题的概念

样本比例不匹配问题（Sample Ratio Mismatch）是常见的一种导致实验失败的原因。在AB实验中容易发现SRM问题，当出现SRM问题时，可能导致实验分析的结论存在偏颇。SRM问题主要是指实验组和对照组之间的实验参与单元数量（比如用户数、页面数、会话数等）的比率不匹配。但需要注意的是，SRM问题中的用户一般采取的是暴露给实验的全部用户，而不是实验后续漏斗路径中的用户，漏斗用户量的差异可能是实验效果导致的，这不属于SRM问题。

2、实验中判断是否存在SRM问题的经验方法

当样本比例的P值较低，且实验样本足够大的时候，大概率存在SRM问题。此时其他的指标也无法被信任和采用，基本都是无效的。

3、导致SRM问题的原因

（1）实验部署阶段

有缺陷的用户随机化是引起SRM问题的主要原因，主要涉及随机性算法的性能和稳定性，如能否完成理想的正交分层，能否完成大量、实时的随机分组，能否在一段时间后仍然保持效率和稳定等。

（2）执行阶段

实验部署后进入执行阶段，需要下发策略，下发策略时如果没有对齐时期，导致下发人群的可比性不够准确，也可能会导致SRM问题。

（3）数据处理和分析阶段

在这一阶段，SRM问题主要是分析过程中一些样本偏差被忽视，以理论的样本比例进行分析而造成的错误。

4、SRM问题的定位的经验方法

当发现SRM问题后，需要定位SRM问题的出现地点，一般有如下经验方法：

（1）验证随机化点或者触发点上游没有差异。例如，如果因为更改了结账功能而从结账点开始分析用户，确保该结账点上游的变量之间没有差异；

（2）验证变量分配是否正确；

（3）验证变量是否有相同的初始区间；

（4）查看细分标签下的样本比率。

广告区↓

互联网数据分析岗位求职备战