功能连接矩阵 | 双向LSTM深度时间组学习针对轻度认知障碍

• 微信公众号：机器学习炼丹术
• 笔记：陈亦新
• 论文题目：Deep Chronnectome Learning via Full Bidirectional Long Short-Term Memory Networks for MCI Diagnosis

introduce

为了捕获time-varying information brain networks，dynamic functional connectivity (dFC)被提出来表征time-resolved connectome,也叫做长荣NEC Tome，主要是使用滑动窗口相关的方法，sliding-window correlation approach.

我的目的就是看这个dFC是如何求取的。

本文说，直接将LSTM应用在dFC-based MCI诊断上是non-trivial：

1. 大脑是非常复杂的，其动态可能与自然语言有不同；
2. 大脑dFC信号的背景造成会比音频、视频信号更大

提出了一个full-LSTM的结构，将所有细胞的输出连接到一个融合层，以捕获一个共同的时不变状态切换模式。其次，使用了BILSTM来挖掘隐藏在dFC的上下文信息。

Methods

计算dFC通过滑动窗口

For each subject, the whole-breain time-varying connectivity matrics are computed based on M (M=116) ROIs from the automated anatomical labeling (AAL) template using a sliding window approach.

• 上图中，averaged BOLD time-series
• Then the window {} are generated and applied to S = {S_i}, where T is the total number of sliding windows.从上图中来看，就是把整个时间划分成T个windows，然后每一个window可以计算出来一个dFC相关性矩阵
• Next， 对于每一个窗口，一个FC的矩阵就可以计算出来。这个矩阵的尺寸是MxM的，也就是ROI之间的相关性。
• Thus，对于每一个subject，就会得到T个FC矩阵，这个整体叫做dynamic FC。
• 因为每一个FC都是对称的，所以我们可以将FC矩阵转换成一个向量，这个向量选取FC矩阵的上三角矩阵，所以x的向量的元素为M（M-1）/2.
• 因此，dFC时间序列可以表示为T个向量，这个T个向量作为full-BiLSTM分类模型。

Experiments and Result

dynamic functional connectivity matrix

在这个实验中，windows length 是90s。窗口滑动的step是6s，产生54段BOLD信号。对于each subject and each scan，获得了54个FC，表示了chrnonectome。

这里发现，windows elngth是90s，但是windows的滑动是6s，所以每一个windows是有很大面积重叠的。

Data Augnemtnation

深度学习模型需要大量的模型样本。幸运的是，一部分dFC时间序列就足够分辨MCI和NC了。因为FC动态数据可以发生在非常短的时间内。这允许我们进行数据增强来增加样本数量。

• 样本当中，之前说的step=6s的前提下，有54个时间戳，我们连续减去其中的30个就可以作为一个新的样本；这样54个时间戳的1个样本，就可以得到54-30+1=25个新的augmented样本。所以样本倍数增加25倍；
• 在测试阶段，同一个受试者的所有增强数据的标签会进行majority voting。

额外的资料

• 参考博客：​​fMRI脑影像特征提取——Pearson相关与低阶功能连接LOFC（dpabi+nilearn）_意疏的博客-CSDN博客​​

MRI主要包括两种类型，结构MRI脑影响sMRI，功能MRI脑影响fMRI。前者反应了大脑的组织结构，后者反应了大脑的活动代谢。一幅图被称为volume，图中一个点被称为一个体素。

fMRI脑影响通过BOLD信号来成像，BOLD是boold oxygenation level dependent血氧依赖水平，可以间接反应大脑的活动代谢情况，某个区域的BOLD信号水平高表示该区域正忙于处理信息或被激活。fMRI是由多个volume组成（volume类似frame），每一个volume的一个体素的值，表示空间位置对应的大脑某一个小体积内的BOLD信号值，如果把每一个volume相同大脑位置（同一个ROI）的值都取出来，按照先后顺序排在一起，就形成了大脑在该ROI随时间变化的BOLD信号，也就是时间序列。上图中的右上角所示。

然后我们来看如何计算两个BOLD序列构建相关性。常用Peason相关系数来计算两个信号的同步性，两个大脑位置的BOLD信号的Pearson相关系数，可以称为他们之间的功能连接强度。如果将所有大脑位置的BOLD信号两两做Pearson相关，就可以形成一个对称的功能连接矩阵，也就是上面论文中的FCMatrix。

两个ROI节点的边就是连接强度，最常用的方式是Pearson相关，两个节点之间可能没有物理来连接，但是如果他们的BOLD信号同步性很强，则他们之间可能存在很强的功能写作，即很强的功能连接。如果一个节点包含不只一个体素那该节点的BOLD信号为该节点内所有体素BOLD信号的平均。

如果要衡量这种同步性，就需要使用线性关系。一个信号值变大，另一个信号值也需要变大。所以如果两个信号分别作为x和y轴的话，一定实在一条直线附近分布。Pearson相关，是两个信号线性相关性的衡量

可以看到，这个Pearson相关性就是归一化的协方差。协方差就是衡量两个随机变量之间的协同性。

这里的Pearson相关建立的功能连接，叫做低阶功能连接LOFC。