确定SOP(Standard Operating Procedure)
就是满足什么条件 认为实验结果是置信的,满足什么条件 可以推全,是 除了大盘 AB提升 大于两倍 AA波动 以外的条件。
这些条件可以是离线统计分析的结果,比如只看受策略影响的商品/商家的AB/AA指标表现。
这些条件可以是T检验确认置信:
对于同样的实验桶,AB提升 在 实验周期的分布vs历史周期的分布 的pvalue<0.05
(pvalue的计算方法的正确性的验证:AA波动 在 实验周期的分布vs历史周期的分布 的pvalue>0.2)