CAUSAL DISCOVERY FROM TIME-SERIES DATA WITH SHORT-TERM INVARIANCE-BASED CONVOLUTIONAL NEURAL NETWORKS
摘要
- 与非时间序列数据的因果发现相比，时间序列数据的因果发现需要更多的序列化样本和更长的观测时间步。
- 提出了一种新的基于梯度的因果发现方法STIC，利用卷积神经网络揭示时间序列数据中的因果关系。
- STIC利用每个窗口观测中因果关系的短期时间和机制不变性，通过构建两个因果卷积核来估计窗口因果图。
- 在合成数据集和FMRI基准数据集上的实验评估表明，STIC显著优于基线方法，并在观测时间步较少的数据集上达到了最先进的性能。
提出了一种名为STIC的新型因果发现方法，该方法利用短期不变性特性来提高样本效率和准确性。STIC通过滑动窗口沿时间序列数据构建具有不变特征的批次，避免了依赖预定义的非循环约束，从而避免了局部优化问题。
STIC使用时间不变性块来捕捉变量间的因果关系，并利用机制不变性块进行变换函数。
通过建立空间域（同时性）和时间域（时间滞后）组件的卷积与时间序列数据的多变量傅里叶变换之间的等价关系，动态捕捉观测变量的共时和时间滞后因果结构。
在合成和基准数据集上进行的实验表明，STIC在处理有限观测时间步长的情况下，在合成时间序列数据集上取得了最先进的结果，并在时间序列数据的因果发现方面优于基线方法。
一个示例展示了给定观测变量、底层窗口因果图和窗口因果矩阵之间的对应关系。观测数据集包含 d = 5 d = 5 d=5 个观测变量，真实的最大滞后时间 τ ˉ \bar{\tau} τˉ 为 2 . 在 W ∈ R 5 × 5 × 3 \mathcal{W} \in \mathbb{R}^{5 \times 5 \times 3} W∈R5×5×3中, 每个 W i , j τ \mathcal{W}_{i, j}^\tau Wi,jτ 在 τ \tau τ 的时间滞后下 X i X_i Xi 对 X j X_j Xj的因果效应 . 例如，在窗口因果图中的蓝色线条表示在任何时间步长 t t t，具有时间滞后 τ = 2 \tau =2 τ=2 的以下三个因果效应。即 W 1 , 3 2 = 1 ⇒ X 1 → 2 X 3 ; W 1 , 5 2 = 1 ⇒ X 1 → 2 X 5 ; W 4 , 2 2 = 1 ⇒ X 4 → 2 X 2 \mathcal{W}_{1,3}^2=1 \Rightarrow X_1 \xrightarrow{2} X_3 ; \mathcal{W}_{1,5}^2=1 \Rightarrow X_1 \xrightarrow{2} X_5 ; \mathcal{W}_{4,2}^2=1 \Rightarrow X_4 \xrightarrow{2} X_2 W1,32=1⇒X12 X3;W1,52=1⇒X12 X5;W4,22=1⇒X42 X2. 此外，红线表示具有时间滞后 τ = 1 \tau=1 τ=1的因果关系 τ = 1 \tau=1 τ=1, 即 W 3 , 2 1 = 1 ⇒ X 3 1 X 2 ; W 3 , 4 1 = 1 ⇒ X 3 1 X 4 ; W 3 , 5 1 = 1 ⇒ \mathcal{W}_{3,2}^1=1 \Rightarrow X_3{ }^1 X_2 ; \mathcal{W}_{3,4}^1=1 \Rightarrow X_3{ }^1 X_4 ; \mathcal{W}_{3,5}^1=1 \Rightarrow W3,21=1⇒X31X2;W3,41=1⇒X31X4;W3,51=1⇒ X 3 → 1 X 5 ; W 5 , 4 1 = 1 ⇒ X 5 → 1 X 4 X_3 \xrightarrow{1} X_5 ; \mathcal{W}_{5,4}^1=1 \Rightarrow X_5 \xrightarrow{1} X_4 X31 X5;W5,41=1⇒X51 X4. 最后，绿色线条代表同时发生的因果关系。 W 1 , 2 0 = 1 ⇒ X 1 → 0 X 2 ; W 1 , 4 0 = 1 ⇒ X 1 → 0 X 4 ; W 5 , 2 0 = 1 ⇒ X 5 → 0 X 2 \mathcal{W}_{1,2}^0=1 \Rightarrow X_1 \xrightarrow{0} X_2 ; \mathcal{W}_{1,4}^0=1 \Rightarrow X_1 \xrightarrow{0} X_4 ; \mathcal{W}_{5,2}^0=1 \Rightarrow X_5 \xrightarrow{0} X_2 W1,20=1⇒X10 X2;W1,40=1⇒X10 X4;W5,20=1⇒X50 X2.
背景
问题定义
| Symbol | Description |
|---|---|
| d | The number of observed variables |
| T | The length of observed time steps |
| X i t X_i^t Xit | The observed value of the i i i-th variable at the t t t-th time step |
| X i = { X i 1 , ⋯ , X i T } ∈ R T X_i=\left\{X_i^1, \cdots, X_i^T\right\} \in \mathbb{R}^T Xi={ Xi1,⋯,XiT}∈RT | The observed value of i i i-th variable within all T T T time steps |
| X = { X 1 , ⋯ , X d } ∈ R d × T \mathcal{X}=\left\{X_1, \cdots, X_d\right\} \in \mathbb{R}^{d \times T} X={ X1,⋯,Xd}∈Rd×T | The observed dataset |
| 菅 | The maximum time lag |
| G | The underlying window causal graph |
| V = { X 1 , … , X d } \mathcal{V}=\left\{X_1, \ldots, X_d\right\} V={ X1,…,Xd} | The nodes within the graph G \mathcal{G} G |
| E \mathcal{E} E | The contemporaneous and time-lagged relationships among nodes V \mathcal{V} V |
| W ∈ R d × d × ( τ ˉ + 1 ) \mathcal{W} \in \mathbb{R}^{d \times d \times(\bar{\tau}+1)} W∈Rd×d×(τˉ+1) | The window causal matrix |
| X i → τ X j X_i \xrightarrow{\tau} X_j Xiτ Xj | The causal relationship with τ \tau τ lags between X i X_i Xi and X j X_j Xj |
| P a t τ ( ⋅ ) \mathrm{Pa}_t^\tau(\cdot) Patτ(⋅) | The set of parents of a variable with τ \tau τ time lags at time step t t t |
| P a t ( ⋅ ) P a_t(\cdot) Pat(⋅) | The set of parents of a variable with all time lags range from 0 to τ ~ \tilde{\tau} τ~ at time step t t t |
| H ∗ ( {\frac{H^*}{}}^{\text {( }} H∗( | The conditional independence with τ \tau τ time lags at time step t t t |
| P a G ( X ) P a_{\mathcal{G}}(\mathcal{X}) PaG(X) | The relationships among X \mathcal{X} X in the window causal graph G \mathcal{G} G |
| E | The noise term |
| f | The underlying functions among X \mathcal{X} X |
| F ( X ) \mathcal{F}(\mathcal{X}) F(X) | The multivariate Fourier transform of X \mathcal{X} X |
| ω \omega ω | The angular frequency |
| f ^ , h , g \hat{f}, h, g f^,h,g | The functions in intermediate processes |
| * | The convolution operation |
| ∝ \propto ∝ | The directly proportional relationship |
| σ τ 2 ( X i ∣ X ) \sigma_\tau^2\left(X_i \mid \mathcal{X}\right) στ2(Xi∣X) | The variance of predicting X i X_i Xi using X \mathcal{X} X with τ \tau τ time lags |
**定义 1（窗口因果矩阵）**捕获同时性和时间滞后因果关系的窗口因果图 G \mathcal{G} G, 可以有效地用一个三维布尔矩阵 W ∈ R d × d × ( τ ~ + 1 ) \mathcal{W} \in \mathbb{R}^{d \times d \times(\widetilde{\tau}+1)} W∈Rd×d×(τ +1)来表示。 布尔矩阵中的每个条目 W i , j τ \mathcal{W}_{i, j}^\tau Wi,jτ i对应于变量 X i X_i Xi 和 X j X_j Xj
标签：CONVOLUTIONAL,tau,TERM,精读,xrightarrow,time,mathcal,因果,Rightarrow From： https://blog.csdn.net/m0_60414790/article/details/144871494