一、AB测试是什么
互联网行业变化很快,很多产品的迭代速度都是按周甚至是按天来的。无论是产品的优化方向,还是决策的制定,都需要有数据来说话。
目前,大部分产品迭代的方式,是直接将某版本发布给全部用户。一旦遇到线上BUG或者数据效果不好,就不得不紧急修复或者功能优化,有时甚至需要回滚到前一版本。这对用户体验、项目进度影响是很大的。
如何能解决这个问题呢?AB测试能很好的避免这个问题。
所谓AB测试,就是在正式发版上线前,将用户流量对应分成几组,让用户分别看到不同的方案设计,根据几组用户的真实数据反馈,进行数据效果的校验。如果新版本数据呈现没问题,再考虑将新版本向全量放开,从而可以有效减少线上全用户发生事故的概率,提升用户体验。
简单理解,其实就是初中学的对照试验。一组是对照组,一组是实验组。
哪些场景比较适合进行AB测试呢?
二、AB测试的应用场景
AB测试通常用在以下几个场景。
(1)UI的优化
这是比较常见的场景。
不像功能的设计,存在着很多逻辑上的思路,经常还是可以确定哪种方案好,哪种方案不好。UI的优化,往往是很“艺术”层面的。往往看到真实数据前,谁也难以说明哪种设计能带来更好的数据效果。
(2)文案变化
这个其实和UI层面的优化很类似。
(3)页面布局
页面布局,主要指的是同页面中的不同元素的排列方式。
(4)算法优化
算法优化,应该也是AB测试的一个重要场景。
上线前的算法,基本都是基于历史数据进行算法模型的训练、搭建。在本地模型效果再好,上线后也不一定有良好的表现。只有线上才是检验算法效果的决定性标准。
但谁也不能确保上线后的效果吧?那这时先用小流量做一些AB测试,是非常不错及通用的选择。
三、流量分配
AB测试的基础概念也讲了一些,其中很重要的一个概念就是用户流量分组。实际落地时,是按照一定的规则,让用户随机访问某个版本。那具体该如何进行流量的分配呢?
关于流量分配,主要的要点有两个:同层互斥分配和分层流量正交。




