问题定义
每个商品/商家卡片,上面有几个文案候选可以展示,最终随机展示一个文案,每个文案有一个文案类型,
现在想分析出 某类型文案 的好坏,分析出 某类型文案 对于用户展示的好坏,分析出 哪类文案好 哪类文案略差。
问题难点
如果直接用 曝光点击日志的所有商品/商家的 某类型点击总和 除以 该类型曝光总和,即点击率,代表该类型文案的好坏程度分数,
问题在于 这个类型的文案不是100%覆盖那个曝光的商品/商家,这个类型的文案也不是100%曝光过。
解决方案
还是要圈选一批商品/商家,对这批商品/商家 进行 某类型文案的 点击总和/曝光总和 的分数计算,
在按用户分流的 实验组 展示类型A+展示其他类型,在对照组 不展示类型A+展示其他类型,
圈选的这批商品/商家,是在实验组100%展示出来过 某类型文案 的商品/商家。
为什么要设置实验组和对照组?实验组展示某类型文案,对照组不展示该类型文案。因为要 消除 圈选的这批商品/商家 卡片本身 的点击率的影响