这篇文章设置的问题是：考虑长尾分布的训练集下，对测试集上的OOD样本进行检测。作者在训练集中引入了open set样本学习异常表征，以OCL（Outlier Class Learn）为baseline，训练时引入prototype方法，推理时对logits进行调整校准。
问题背景
DNNs会把OOD（out-of-distribution）样本误分类为ID（in-distribution）样本，训练集为长尾分布时，问题被进一步加剧，表现为：
- OOD样本以较高的置信度分为head classes。
- tail classes样本比head classes样本更容易被误分类为OOD样本。
Related Work
平衡数据集下的OOD检测
- 事后方法（post hoc methods）：在推理阶段，设计新的OOD打分函数。
- 使用辅助的open set数据集，最早由[2]提出的OE（outlier exposure）损失函数，对于open set样本使用单独的损失函数。这里\(u\)表示基于均匀分布的OOD数据伪标签，与[3]中对于引入的open set打标签做法就是借鉴于此，详见此处。
长尾学习下的OOD检测
- 使用辅助的open set数据集使得模型对OOD检测更robust，[3]的问题设置主要针对长尾学习，但在实验中也提到了OOD检测。
- 将OOD的预测概率拟合进长尾分布，但在长尾学习中很难获取准确的OOD分布。因此作者使用OCL（outlier class learning）作为baseline。这里\(\tilde{y}=k+1\)，k表示ID类的数量。
作者在实验中发现，一般的OOD检测任务中，OE表现优于OCL，但在长尾学习下，OCL表现优于OE。这是因为设置open set样本的先验概率为均匀分布，在长尾设置下并不合理。因此选用OCL为baseline。但需要考虑两个问题：OOD被误分类head classes；tail classes样本更容易被误分类为OOD。
Method
整体的框架如图所示，在训练阶段引入Debiased large margin learning，推理阶段引入Outlier-class-aware logit calibration。
训练阶段的Debiased large margin learning
解决“tail classes样本更容易被误分类为OOD”：
之前的工作利用各种增强将尾部样本推离OOD样本，但由于尾部类别的大小有限，学习不到两者间区分明显的表征。
为了解决这个问题，作者使用一个可学习的prototype代表一个tail class，同类的样本拉近prototype，并推离其他尾部类prototype和OOD样本，利用尾部原型来增加尾部类表示的存在，有助于减少模型对OOD样本的偏差。原型表示为\(\mathcal{M}\in\mathbb{R}^{N\times D}\)。N表示可学习参数数量，D表示特征维度，优化目标为：
\[\mathcal{L}_t=\mathbb{E}_{x\sim\mathcal{D}_{tail}}[\mathcal{L}_t(x,\mathcal{M})],\tag{3} \]\[\mathcal{L}_t(x,\mathcal{M})=\frac1{|\mathcal{B}|}\sum_{x\in\mathcal{B}}log\frac{exp(z(x)m_x^\intercal/t)}{\sum_{m\in\mathcal{M}}exp(z(x)m^\intercal/t)+P(x)},\tag{4} \]这里P与batch内的开集样本相关，\(P(x)=\sum_{\hat{x}\in\mathcal{O}}exp(z(x)z(\hat{x})^\intercal/t)\)；m表示为\(\mathcal{M}\)内的尾部类原型，z表示为logits，t表示为温度参数。
也许这里的P可以用相似度来代替。
解决“OOD被误分类head classes”：
由于长尾数据集中，head classes样本数量极大，OOD样本很容易被归类为head classes。此处，作者引入了对比学习：选择1个OOD样本为anchor，随机挑选一个head classes样本为negative samples（\(x^n\)）和另一个OOD样本为positive samples（\(x^p\)），优化目标为：
\[\mathcal{L}_h=\mathbb{E}_{x\sim\mathcal{D}_{out}}[\mathcal{L}_h(x)], \]\[\mathcal{L}_{h}(x)=\frac1{|\mathcal{B}|}\sum_{x\in\mathcal{B}}max(0,\|z(x)-z(x^p)\|_2^2-\|z(x)-z(x^n)\|_2^2+margin), \]其中margin为超参数，最后的损失函数定义为：
\[\begin{aligned} \mathcal{L}_{total}& =\mathcal{L}_{OCL}+\alpha\mathcal{L}_t+\beta\mathcal{L}_h \\ &=\mathbb{E}_{x,y\thicksim\mathcal{D}_{in}}[\ell(f(x),y]+\gamma\mathbb{E}_{x\thicksim\mathcal{D}_{out}}[\ell(f(x),\tilde{y}] \\ &+\alpha\mathbb{E}_{x\sim\mathcal{D}_{tail}}[\mathcal{L}_{t}(x,\mathcal{M})]+\beta\mathbb{E}_{x\sim\mathcal{D}_{out}}[\mathcal{L}_{h}(x)], \end{aligned}\]推理阶段的Outlier-class-aware logit calibration
推理阶段时，head classes样本比tail classes和OOD有着更高的预测置信度，为了解决这个问题（尽可能得多筛选出OOD样本），作者提出了Outlier-class-aware logit calibration：
\[P(y=i|x)=\frac{e^{f_i(x)-\tau\cdot\log n_i}}{\sum_{j=1}^{k+1}e^{f_j(x)-\tau\cdot\log n_j}}, \]其中\(n_i\)为闭集类的样本数占闭集类总样本数：\(n_i=\frac{N_i}{N_1+N_2+\cdots+N_k}\)，对于异常类k+1类，认为ID分类和OOD检测同样重要，因此设置为\(n_{k+1}=1\)。这样，降低头类概率，增加尾类概率，同时考虑OOD样本对预测的影响。
实验设置
训练集加入了open set样本，但加入的open set样本与测试集的OOD样本无交集。以cifar10为例，训练集的opens set辅助数据集为TinyImages 80M；测试集的OOD数据集分别加入数据集Texture、SVHN、CIFAR100、Tiny ImageNet、LSUN、Place365，并分别做测试，统计AUC、AP-in、AP-out、FPR，也就是测试了6次，如果测试集加入的OOD类与训练集样本的类有重合，需要把它剔除。
参考文献
- Miao, Wenjun, et al. "Out-of-distribution detection in long-tailed recognition with calibrated outlier class learning." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 38. No. 5. 2024.
- Hendrycks, Dan, Mantas Mazeika, and Thomas Dietterich. "Deep Anomaly Detection with Outlier Exposure." International Conference on Learning Representations. 2018.
- Wei, Hongxin, et al. "Open-sampling: Exploring out-of-distribution data for re-balancing long-tailed datasets." International Conference on Machine Learning. PMLR, 2022.