推荐系统的bias有很多:position bias, popularity pias, selection bias, exposure bias, conformity bias (从众心理)等,针对不同的bias有不同的模型来解决。核心的问题还是,这些bias导致一部分优秀的item underestimate或者underperform,为了更公正的推出这些item,需要去掉这些bias。
基本的debias操作可以是
1. IPS (inverse popensity score),也称为re-weighting。核心假设是,模型之所以有bias,是因为在训练集中,越popular(popular是上面各种bias的结果)的item,算loss的次数越多,因此模型倾向于给这些item更低的loss,也就是说更不容易over/under-estimate;但是对于不popular的,可能存在under-estimate(why not overestimate?)。因此解决思路就是在训练的时候,根据popensity score给item的loss乘上一个IPS,以达到降权的目的。缺点是high variance,因为1/ps是一个很大的值,乘在loss上面会导致variance很大。
2. Imputation (re-labeling),主治selection bias。即在训练的时候,给没有打上label的打上一个伪标签。缺点是label的strategy很重要。
2.5 这两个一起作用,叫做doubly robust。其实不是两个都robust,是两个加起来才robust。[2]
3. Generative model。这种类似于多阶段建模,或者是multi-source 建模,假设数据的生成过程由多个阶段构成(如点击=view*interest), 然后分别建模view的概率和interest的概率。然后用interest的概率作为label去训练。缺点是strong assumption。
其实3的思路再发展一下就是后面因果推断的思路,只是generative model的建模通常只考虑单因素,但是实际上影响到item的最终评分是由多因素决定的,也就是所谓的causal graph。为了更完整的建模整个链条,采用了casual的语言来描述这个generative的过程,然后建模,并且推断,当缺少某一个node的时候(do),真实概率是多少。
[2] Doubly Robust Joint Learning for Recommendation on Data Missing Not at Random. 只要是sparse rating,不管是因为selection/conform/exposure还是别的原因,只要是需要解决sparse rating的问题,那就可以用这个方法。
[3] Model-Agnostic Counterfactual Reasoning for Eliminating Popularity Bias in Recommender System.
主要参考资料:https://xx.woa.com/articles/show/596599
标签:debias,loss,selection,建模,item,bias,推断,popular,因果 From: https://www.cnblogs.com/kunrenzhilu/p/18016327