点击上方蓝色【数据攻略】关注+星标~
第一时间获取最新内容
最近在面试中我发现一个共性问题：
一、搞清概念
二、计算差异
三、选择原则
四、注意事项&case自查💡
搞清概念
目标指标：又被称为北极星指标，即一般是公司业务核心KPI
驱动指标：又被称为间接指标，与目标指标之间在逻辑上有因果关系，但比它更快更灵敏
护栏指标：顾名思义，作为“保护型”指标，是每个测试都需要观察的指标，一般有两种类型：
保证目标指标不会违背重要的限制：一般为衡量用户不好体验的指标，如加载率、崩溃率等等，一般而言不能对其有显著负向影响才可以 评估实验结果的可信赖度和内部有效性：常见的如SRM，如若出现问题实验中其他指标评估结果基本不可信
如果按照统计类型分类：
计数求和型：即样本的指标之和，比如有uv、pv、总时长 复合计算型：均值类、比例类、比率类 均值类：即样本的均值，如uv价值、人均时长
比例类：即每个样本服从二项分布，如用户点击率、用户购买转化率
比率类：即两类指标的比值，如pv点击率、ROI等等
计算差异
在抛公式前，需要有个大致概念：
一般情况下，不同指标的差异主要体现在假设检验时方差的计算方式上。这是因为不同指标的计算方法往往考虑了不同的信息，从而导致了方差的计算方式也会有所不同。
因此，正确估计指标的方差是获得可靠的实验结果的前提。
在实际业务中，常用的是参数检验中关于均值类、比例类 这类统计量的组间差异检验。另外，多说一嘴：有关计数求和型指标，只有当实验对照组样本一致的情况下，这类绝对值指标的对比才更具意义，否则还是需要转换成以上指标才可以对比。
均值类指标是基于正态分布做计算
大多数情况下，样本充足，选用Z检验：
（因假设实验对照组均值分布无差异，即：u1-u2=0）
比例型指标是基于伯努利分布做近似计算：
如上，无论是均值类指标的检验采用正态分布计算方差，还是比例型指标的检验采用二项分布方式计算方差，其实这里有个适用前提假设，即：
需要满足样本独立同分布
但这里比率型指标是不满足的。AB测试一般在用户层面进行随机化分流，如若指标的分析单元不是用户，例如pv点击率，是点击pv/曝光pv，这里分析单元中的每个曝光Yi可能来源同一个用户，各样本点不满足独立性，所以方差计算需要做下修正，不可以直接套用。
关于这类指标，业界常用的方式例如有：delta method进行修正，或者bootstrap方式计算方差的无偏估计。
① Delta method：
优点：计算简便，需满足一些基本假设，大多数情况下即可利用一阶泰勒展开，在很低的计算成本下获得准确的方差估计，效率更高
缺点：仅适用于大样本，且对统计量形式有限制
优点：形式简单，容易理解，适合任一统计量，且对样本量没有限制
缺点：成本高，耗时长，需要较大算力来支持重抽样次数
其中Delta method方式，计算修正后的样本方差：
ps.有关此方法的推导感兴趣可私信留言~
选择指标原则
通常情况下，在实际工作中，大多数人会按照过往经验或者业务感觉来选择实验评估指标，虽然很少出现问题，但还是需要清楚底层关键需要满足以下几个原则：
易懂性：指标是为了反应某种事物和现象的一种量化方式，所以需要容易理解且可衡量实验效果 一致性：需要和AB实验采取策略的目标保持一致，方便衡量干预措施和数据结论有一定因果逻辑
灵敏性：AB实验本质是为了利用数据驱动的方式为业务策略探路验证用的评估方法，倘若选取的指标很难检测到差异，可能会错失增长良机，或者没及时发现问题止损而付出更大代价，所以需要选取的实验指标保证灵敏性
注意事项
▌指标个数
▌case自查：
实验组和对照组uv价值的相对差异，是否可以用传统计算方差方式？
- 答案：不可以，需要进行方差修正。
- 提示：可以将该指标列出，观察分母：对照组的uv价值是常数还是随机变量，可以发现新的统计量需要计算的是实验对照组uv价值比值的方差，即需要用到比率型指标的估计方差方式。
以上就是为大家分享的AB实验中关于：
评估指标差异的定义、分类、注意事项
如若盼 追更 『求职类』干货系列
往期好文推荐 
Ps. 微信推文改了规则
看完记得设置为 “ 星标 ”
不然我会消失的
欢迎关注
更多 『求职干货』 & 『日常学习』 系列好文，等你发现~
