- 好的推荐系统
- 疑问:推荐系统的主要任务,推荐系统和分类目录以及与搜索引擎的区别等
- 什么是推荐系统
- 如果对象数目巨大,用户只能通过搜索引擎找到自己需要的目标
- 如果用户没有明确需求时,需要一个工具帮助筛选,给出一些建议,这个工具就是推荐系统
- 推荐系统的任务
- 联系用户和信息,一方面帮助用户发现对自己有价值的信息,另一方面让信息能够展现在对他感兴趣的用户面前,从而实现信息消费者和生产者的双赢
- 更好的发掘长尾(一小部分用户的个性化需求),提高销售业绩
- 和搜索引擎比较
- 不同的是推荐系统不需要用户提供明确信息
- 相同的是帮助用户发现信息
- 推荐算法的本质:通过一定的方式将用户的物品联系起来,而不同的推荐系统利用了不同的方式
- 推荐系统就是自动联系用户和物品的一种工具
- 成功的条件
- 信息过载
- 用户没有明确的需求
- 什么是好的推荐系统
- 用户,平台,内容生产者 三赢
- 预测准确度是最重要指标
- 准确的预测并不代表是好的推荐,不新颖,不能令他惊喜,无法增加潜在购买力
- 不仅能够准确预测用户行为,能够扩展用户事业,帮助用户发现可能感兴趣,不容易发现的东西
- 实验方法
- 离线实验
- 方法
- 日志获得用户数据行为,生成数据集
- 按照规则划分训练集和测试集,在训练集上训练模型,测试集上预测
- 通过事先定义的指标评测算法的预测结果
- 优点
- 不需要实际系统的控制权
- 不需要用户参与
- 速度快,测试大量算法
- 缺点
- 离线指标不全面,无法计算商业指标
- 方法
- 用户调查
- 用户回答问题
- 成本高,任务设计要科学,实验人群要分布科学
- 在线实验
- AB实验,常见实验方法,随即划分用户
- 优点:公平获得不同算法在线的性能指标
- 缺点:周期长,各个层级阶段会互相干扰
- 预测准确度
- 评分预测:预测用户对物品评分的行为叫评分预测,可能出现用户评分高,但是用户评分的可能性很小
- TopN预测:给用户一个个个性化的推荐列表,准确率/召回率,更符合实际应用需求
- 覆盖率:描述一个推荐系统对物品长尾的发掘能力,推荐系统能够推荐出来的物品占总物品的比例。一个好的推荐系统不仅要有较高的用户满意度,还要有较高的覆盖率
- 多样性:能够覆盖用户不同的兴趣领域
- 新颖性:推荐用户没有听说过的东西,可以推荐用户没搜索过的东西
- 惊喜度:用户历史上喜欢的物品不相似,但是用户觉得满意的推荐
- 信任度:同样的推荐结果,让用户信任的方式推荐给用户,让用户产生更强的购买欲
- 提高透明度,让用户了解推荐系统的运行极机制,得到用户认同
- 考虑用户的社交网络信息,利用好友推荐
- 实时性
- 实时推荐给用户,满足用户新的行为变化
- 能够将新的物品推荐给用户
- 健壮性
- 设计推荐系统的时候尽量使用代价较高的用户行为
- 进行攻击检测,清理污染的数据
- 商业目标
- 推荐系统需要符合商业目标
- 离线实验