标签：tau cdot 学习 实例 类级 exp 记忆 对比
Table of Contents
- 路线1: 记忆库在实例级构建，实例级更新，损失函数在实例级计算
- 路线2: 记忆库在类级构建，实例级更新，损失函数在类级计算
- 路线3: 记忆库在类级构建，类级更新，损失函数在类级计算
路线1: 记忆库在实例级构建，实例级更新，损失函数在实例级计算
-
\[L_q = - \log \frac{exp(q \cdot u_+ / \tau)}{\sum_{i=0}^N \exp(q \cdot u_i / \tau)} \ (1)
\]
-
\[u_i = mu_i + (1 - m)q \ (2)
\]
路线2: 记忆库在类级构建，实例级更新，损失函数在类级计算
- 类级构建记忆库\[c_k = \frac{1}{|\mathcal{H}_k|}\sum_{u_i \in \mathcal{H}_k}u_i \ (4)
\]
- 类级计算损失函数\[L_q = -\log \frac{\exp(q \cdot c_+ / \tau)}{\sum_{k=0}^K \exp(q \cdot c_k / \tau)} \ (3)
\]
路线3: 记忆库在类级构建，类级更新，损失函数在类级计算
- 记忆库在类级构建\[\phi_k = \frac{1}{|\mathcal{H}_k|} \sum_{u_i \in \mathcal{H}_k}u_i \ (7)
\]
- 损失函数在类级计算\[L_q = - \log \frac{\exp(q \cdot \phi_+ / \tau)}{\sum_{k=0}^K \exp(q \cdot \phi_k / \tau)} (5)
\]
- 记忆库在类级更新\[\phi_k \leftarrow m \phi_k + (1 - m)q \ (6)
\]
标签：tau,
cdot,
学习,
实例,
类级,
exp,
记忆,
对比
From： https://www.cnblogs.com/advanceflow/p/16709464.html