目录
三. 案例2：基于假设检验与A-B测试的支付宝点击率策略提升效果分析
一. AB测试简介
AB测试（A/B test）是一种常用的实验设计方法，用于比较两个或多个不同的版本（例如产品、网页设计、广告等）在某个指标上的表现差异。而假设检验是AB测试的统计分析方法，用于判断这些差异是否具有统计学意义。
其实AB测试类似于初中生物说的对照试验。对用户分组，每个组使用一个方案（方案应遵从单变量前提），在相同的时间维度上去观察用户的反应（体现在业务数据和用户体验数据上）。需要注意的是各个用户群组的组成成分应当尽量相似，譬如新老用户很有可能表现出较大的偏好差异。最后根据假设检验的结果，判断哪些版本较之原版有统计意义上的差异，并根据效应量选出其中表现最好的版本。
1）假设检验的一般步骤
(a)提出原假设H0和备择假设H1
(b)用均值之差或者比例之差作为检验统计量Z检验或者t检验，并计算统计量及p值
(c)根据p值与显著性水平判断是否拒绝H0
2）基于假设检验的AB测试步骤
(a)H0假设：A组转化率等于B组转化率；H1假设：A组转化率不等于B组转化率
(b)用均值之差t检验或者比例之差z检验，并计算统计量及p值
(c)判断p值是否小于显著性水平0.05，判断是否拒绝H0
二. 案例1：使用基于均值的假设检验进行AB测试
1）原始数据
2）提出原假设H0和备择假设H1
H0:版本A和B在统计上存在显著差异
H2:版本A和B在统计上没有显著差异
3）使用均值之差的t检验，计算出t统计量的值和P值
4）进行假设检验
通常情况下我们在做AB测试前需要做AA测试，也就是从A里面通过不同的抽样方式选定一定样
本AA，再与A进行测试
5）AA测试（简单随机抽样）
6）AA测试（分层抽样）
7）AA测试（系统抽样）
8）AB测试
我们假设有两个版本A和B，通过生成正态分布的样本数据进行比较。然后计算两个样本的均值和标准差，并使用独立样本t检验进行假设检验。根据显著性水平alpha的设定，判断是否拒绝零假设，进而得出结论。
三. 案例2：基于假设检验与A-B测试的支付宝点击率策略提升效果分析
1）原始数据
2）计算3组营销策略的点击率的平均值
根据原始数据计算3营销策略的点击率如下：
我们可以得到：
对照组(dmp id=1)的点击率0.012551，
策略1组(dmp_id=2)的点击率0.015315
策略2组(dmp_id=2)的点击率0.026192
从点击率来看，策略一和策略二在对照组的基础上都有一定的提升。其中策略一提高了0.2个百分点，策略二提高了1.3个百分点，只有策略二满足了我们对点击率提升最小值1个百分点的要求。接下来需要进行假设验证，来看看策略二的点击率提升是否显著。
3）假设检验进行判断
记对照组点击率为p1,策略二点击率为p2,则：
(a)H0假设：p1>=p2策略2组点击率大于等于对照组点击率
H1假设：p1<p2策略2组点击率小于对照组点击率
(b)计算A组和B组样本的转化率
(c)用转化率之差作为检验统计量z检验
(d)计算p值
(e)判断p值是否小于显著性水平0.05，判断是否拒绝H0
可以看到，p约等于0<0.05。所以拒绝原假设，认为策略2点击率的提升在统计上是显著的。两种营销策略中，策略二对广告点击率有显著提升效果，因而在两组营销策略中应选择第二组进行推广。
Bye！
