【论文阅读】Multi-dimensional weighted deep subspace clustering with feature classification

论文地址：Multi-dimensional weighted deep subspace clustering with feature classification - ScienceDirect

摘要

基于深度自动编码器（DAE）和自表达层的深度子空间聚类（DSC）方法已经取得了令人瞩目的性能。然而，传统的DSC方法在DAE的特征提取过程中往往会丢失有用信息，导致自表达系数矩阵的学习不完整。此外，现有的深度子空间聚类方法通常仅从单一维度提取特征信息，忽略了可能存在于多个维度的自表达系数矩阵中的潜在信息。

本文提出了一种基于特征分类的多维加权深度子空间聚类方法（MWDSC）。具体而言，利用多变量特征分类模块（MFC）来学习多个局部特征矩阵的潜在信息，以实现局部预聚类。为了进一步提高聚类性能，提出了一种自翻转加权融合策略（SWF）。SWF策略通过自翻转加权获得一个包含丰富特征的自表达系数矩阵，从而有助于实现全局最优解。

在五个基准数据集上进行的大量实验验证了所提出方法相较于其他最新方法的优越性和有效性。

引言

聚类是一项经典的数据挖掘任务，旨在无需真实标签的情况下识别聚类成员。近年来，各种聚类方法被提出以解决实际问题，如图像分割（Wang & Deng, 2021）、人脸识别（Hinojosa, Rojas, Castillo, & Arguello, 2021）等多个领域。在大数据时代，高维数据的爆炸性增长及其复杂性催生了对高性能聚类算法的需求。高维数据不仅增加了算法的内存需求，还由于噪声影响及样本数量相对于周围空间维度过小而导致算法性能下降，这种现象被称为“维度灾难”（Bellman, 1966）。然而，传统聚类方法难以应对高维数据所带来的挑战。为了解决维度灾难问题，先进的子空间聚类算法（Vidal, 2011）通过对原始数据的特征空间进行划分，提取不同的特征子集，从而将高维数据归纳到对应的低维子空间中，显著降低了无关特征对聚类结果的影响，从而有效解决了高维数据的维度灾难问题。

然而，许多现有方法通过设计能量函数（约束或正则化）优化模型，这在非线性或复杂应用场景中可能会带来局限性。随着深度学习的发展（Kang, Lu, Liang, Bai, & Xu, 2020），研究人员通过深度自动编码器（DAE）（Vincent et al., 2010）学习数据的非线性表示，并将其应用于深度子空间聚类。深度自动编码器由编码器和解码器组成，编码器从原始图像中学习低维表示，解码器反向将低维表示重建为原始数据点。在深度子空间聚类（DSC）方法中，通过引入自表达层，模型能够从潜在特征中学习自表达系数矩阵（Zhang, Ji, Harandi, Huang and Li, 2019；Zhang, Li et al., 2019）。现有的代表性工作（如 Cai et al., 2022；Lv, Kang, Lu, and Xu, 2021；Zhou et al., 2019 等）在解决高维非线性数据问题方面做出了重要贡献（Wang, Cheng, Gao, Zhao, & Jiao, 2020）。

尽管这些DSC方法相比之前的研究取得了显著进展，但仍面临一些挑战。首先，大多数当前的深度聚类方法依赖于不完整的去噪自动编码器进行特征提取，这本质上是对数据的简化。然而，数据简化通常导致强制稀疏化，一些有效特征会与冗余数据一起被丢弃，从而影响模型学习全面特征表示的能力（Ji, Zhang, Li, Salzmann, & Reid, 2017）。其次，在训练早期阶段，如果自表达系数矩阵受到噪声或离群点的干扰，模型可能在后续训练中逐渐过度自信，导致聚类错误和性能不稳定（Shaham et al., 2018；Xie, Girshick, & Farhadi, 2016）。研究表明，传统的DAE方法在处理高维数据时，由于过度简化会丢失信息。例如，Vincent, Larochelle, Bengio, 和 Manzagol（2008）提出的去噪自动编码器尽管在降噪方面表现出色，但在复杂数据结构的特征提取上仍有局限性。此外，近期研究指出，深度模型在处理包含噪声和离群点的数据时容易过拟合并导致聚类错误（Zhou & Paffenroth, 2017）。

为了解决这些问题，一些基于多通道的DSC方法被提出，通过引入多通道学习策略，在无监督的情况下同时提取、保留和融合特征（Baek, Yoon, Song, & Yoon, 2021；Fang, Gao, & Feng, 2023）。尽管这些方法在一定程度上缓解了过拟合问题，但仍存在以下局限性：

1. 多通道网络架构的泛化能力普遍较差，其效果可能在很大程度上依赖于数据集的特定特性。如果数据分布与所使用的数据集显著不同，网络性能可能会下降。
2. 在学习数据的一致性自表达时，忽略了各特征矩阵的区分性贡献。

针对上述问题，作者引入了多变量特征分类模块（MFC），使每个特征矩阵能够学习独特的自表达系数矩阵，从而更好地捕获数据的内部结构和关联性，有效减少特征提取引起的损失。这有助于网络学习完整的自表达系数矩阵，进一步提升模型的泛化能力。

与此同时，诸如SADSC（Chen, Ding, & Hou, 2021）、MDSCDL（Wang, Wu, Ren, & Zhou, 2022）和CMFGN（Hou, Ding, Xu, & Ding, 2023）等方法通过引入自注意力机制、坐标注意力机制和图注意力网络，提高了特征提取和聚类性能。然而，大多数基于注意力机制的现有方法对整体自表达系数矩阵施加了约束，忽略了自表达系数矩阵中多角度局部几何结构信息，而这些信息能够帮助模型更好地理解数据的多维特征。因此，作者引入了一种自翻转加权融合策略（SWF），对自表达系数矩阵进行多维加权。该策略使每个自表达系数矩阵能够学习区分性特征信息，突出其贡献。通过利用自表达系数矩阵中原始维度与变换维度之间的结构关系，有效提升了聚类的准确性和稳定性，从而实现了鲁棒聚类。

本文提出了一种基于特征分类的多维加权深度子空间聚类方法（MWDSC）。具体而言，该网络由三部分组成：多变量特征分类模块、自表达模块、自翻转加权融合策略。多变量特征分类模块（MFC）从多个维度提取具有不同特性的特征矩阵，提高了对自表达系数矩阵内全局特征和潜在信息的理解。随后，自翻转加权融合策略（SWF）将具有不同特征的多个自表达系数矩阵叠加，并在叠加后交换维度并对一致的自表达系数矩阵进行加权，从而实现多维度自表达的有效整合，增强了特征矩阵的表示能力。

本文的主要贡献如下：

• 提出了一个基于多通道的全新特征提取模块。通过从多变量通道中提取局部特征信息，实现了通过综合自表达系数矩阵的局部预聚类。
• 引入了自翻转加权融合策略，突出了不同维度中特征信息的重要性，并对关键特征赋予更高权重，从而引导模型关注特定维度的重要特征。融合策略有效结合了原始与多维特征图之间的信息，提高了模型的性能。
• 大量实验表明，方法在五个基准数据集上表现出色，尤其是在ORL数据集上，准确率相比最先进的方法提高了11.25%。这一结果进一步证明了基于特征分类的多维加权深度子空间聚类相较其他最新方法的优越性。

模型

本文介绍了一种名为多维加权深度子空间聚类与特征分类（MWDSC）的新方法。该方法主要由两个模块组成：多变量特征分类（MFC）和自翻转加权融合（SWF），如图1所示。

多变量特征分类模块

考虑到深度自编码器中相邻通道间存在大量潜在特征，MFC模块利用分类器学习多个特征矩阵，如图2所示，其中每部分特征向量承载不同的特征信息。这一特性有助于自表达模块学习更具方向性的自表达系数矩阵。

具体而言，给定输入数据 X，通过编码器得到潜在变量 Z，然后通过分类器对多个通道进行分类。具体过程如下：将 n 个形状为 H×H的特征矩阵进行全局平均池化，得到 n 个形状为 1×1 的特征矩阵；再通过两个全连接层获得重新排序后的特征矩阵，分为 v 个部分（v=1,2,…,n），随后按照索引值进行排序，生成多个具有不同特征表示的潜在变量 Zv。这些潜在矩阵被输入到全连接层中，以学习多个自表达系数矩阵。因此，自表达损失可以扩展到局部尺度，其公式如下：

其中，Cv∈RN×N 是局部通道 v学习到的自表达系数矩阵，V 表示分割的多个通道的数量。

3.2 自翻转加权融合策略

为了学习具有区分性贡献的自表达系数矩阵，在获得包含特定信息的多个自表达系数矩阵后，作者对这些矩阵进行加权叠加。受到挤压-提取网络（Hu, Shen, & Sun, 2018）的启发，提出的SWF模块采用注意力机制捕获这些矩阵 Cv 的关系，从而自适应地为它们分配不同的权重。

此外，自翻转加权融合策略（SWF）通过对叠加的自表达系数矩阵进行维度交换，并对各维度特征矩阵进行加权，然后通过卷积操作融合这些加权矩阵以获得最佳一致的自表达矩阵，如图1所示。

具体而言，SWF策略首先将所有自表达系数矩阵 Cv堆叠为张量 Cp=ω(C1,C2,…,CV)，以捕获其在通道维度上的关系。随后通过维度转换提升表达能力，将堆叠后的 Cp 从形状 N×N×V转换为 N×V×N，记为 Cp′。

在“自翻转”步骤中，通过交换 Cp的第二和第三维度，得到新的矩阵 Cp′∈RN×V×N。最后，通过全局平均池化（GAP）操作为每个通道生成具有全局分布的描述符：

其中，Fsq(⋅) 是加权操作。为了充分利用聚合描述符信息，MFC模块通过在非线性周围设置两个全连接层实现激励操作，其表达式为：

其中，δ 是ReLU函数，σ 是Sigmoid函数，权重 h 和 h′ 被用于对 Cp\和 Cp′ 进行加权，具体如下：

最终，通过卷积核融合加权后的 Cp 和 Cp′，得到一致矩阵 CF：

其中，Cp 和 Cp′ 是由 Cv组成的张量，∗表示卷积操作。最后，通过谱聚类算法对亲和矩阵 进行聚类，获得最终聚类结果。

3.3 损失函数

基于所描述的网络架构，最终的目标损失函数应包含三个主要部分：自表达损失、重构损失和用于子空间聚类结构的正则化损失。

3.3.1 重构损失

3.3.2 自表达与正则化损失

对自表达系数矩阵 C 使用 F-范数惩罚，因为相比非平滑惩罚项（例如 L1-范数），它更易于学习，同时能够实现相当或更好的性能。学习到的潜在表示 Z可用于计算相似度矩阵，并通过谱聚类算法（Shi & Malik, 2000）对相似度矩阵进行处理以获得子空间聚类结果。

实验

学习了。。。