·阅读摘要：
本文主要提出后验概率校准、负例监督两个创新点，提升了实验精度。
·参考文献：
[1] 融合后验概率校准训练的文本分类算法
参考论文信息
论文名称：《融合后验概率校准训练的文本分类算法》
发布期刊：《计算机应用》
期刊信息：CSCD扩展
[0] 摘要
目前文本分类存在一定问题：
1、随着模型的准确率越来越高，其预测结果的置信度就不再能匹配高准确率；
2、模型的分类器在为语义相似的文本分配不同标签的情况下性能下降。
论文提出 后验概率校准负例监督模型（PosCal-negative） 来解决以上问题。
【注】：后验概率校准为了解决第一个问题，负例监督为了解决第二个问题。
[1] 相关工作
后验概率校准要解决的问题
神经网络中预测结果的置信度就是分类类别的后验概率。
在某些情况下，随着神经网络分类性能的提高，模型盲目自信的问题也越来越严重。单方面的增加网络的深度和宽度均会使得模型的分类错误降低，但是同时模型准确率和置信度越加不匹配。
在大规模的二分类神经网络模型上进一步进行实验，因为模型足够复杂，大多数样本都以极接近于1或极接近于0的后验概率判定为正类，很少有样本的预测后验概率落入0.1到0.9区间内。
为了校准后验概率，提出了许多后处理方法，Zadrozny提出了 Histogram binning方法；Naeini提出了贝叶斯分位数方法（Bayesian Binning into Quantiles，BBQ）；Platt提出了 Platt scaling方法。
本文提出了PosCal，一个简单但有效的端到端后验概率校准模块，不同于后处理的校准方法，PosCal在训练过程中动态地对预测后验概率和经验后验概率之间的差异进行惩罚。
负例监督要解决的问题
在文本分类任务中，当分类标签分配的标准与语义相似性不一致时，由于语义相似性的过多影响，分类器往往容易出错。这是因为编码器将文本转换为表示文本语义的特征向量，语义相似的文本具有相近的特征向量表示，这时分类器可能区分不出相似文本间导致标签分配不同的细微差别。
[2] 模型
如下图：
· 首先是嵌入层，论文用的是BERT。
。
。
。
。