互信息-协方差

综述

《The great multivariate time series classification bake off:
 a review and experimental evaluation of recent algorithmic advances》
 
 应用：
    金融： 多个指标的时间变化来了解股票
    医疗： 多个生理指标的时间演化来诊断疾病
	交通： LSTM算法构建一个多变量时间序列模型，预测交通流量。通过对包含交通流量、天气和节假日信息的数据进行处理

时间序列分类（Time Series Classification, TSC）

单变量TSC（univariate time series classification），即每个实例仅有单个序列和单个类标签	
多元时间序列分类(MTSC)问题--多变量时序分类
    Multivariate Time Series Classification
	  非同长序列（unequal series）
	       padded time series 填充时间序列
	  同长序列
二分类-binary classification
多分类--multiclass classification	

MTSC

MTSC算法可以基于以下特点分类：
    distance measures；shapelets；histograms over a dictionary；
	interval summarizing；
	emsenble methods 
	deep learning
	
具体
  Distance measures： 动态时间规整（Dynamic Time Warping，DTW）
       Euclidean distance or Dynamic Time-Warping (DTW) for classification
  histograms over a dictionary： 是通过滑动窗口截取子序列，通过一些方式将其转换为对应的字母，以此作为样本的特征来进行分类。
分类
   distance-based approaches, 
   feature-based approaches, 
   ensemble-based approaches,
   and recently developed deep learning (DL) approaches	

时间特性和动态特性

 temporal and dynamic aspects
  spatial  scales  空间尺度
 different types of entropy measures have been proposed in the literature for time series classification.
    近似熵（Approximate Entropy）
    样本熵（Sample Entropy）
	   样本熵是对近似熵算法的改进，也是当前运用比较广泛的一种熵特征值计算方法
	斜率熵（Slop Entropy） 
	排列熵（Permutation Entropy）
      提出的一种检测时间序列随机性和动力学突变行为的方法，		
    多尺度熵(Multiscale entropy, MSE)
	   多尺度熵（Multiscale entropy, MSE）将样本熵扩展到多个时间尺度，以便在时间尺度不确定时提供额外的观察视角
        通过多个时间尺度来分析问题将会得到更多信息
		粗粒化（ Coarse Graining）数据意味着对不同数量的连续点取平均值，以创建不同尺度（或分辨率）的信号
    多尺度样本熵（Multiscale Sample Entropy）
   
     Eigen-entropy (EE) technique developed by J. Huang
	 cumulative moving window (CMW).
  CMW helps us memorize the information of the past data points
  
数据预处理
  The design of EE − TSS and details of preprocessing of the datasets
   数据类型
      integer scale factors      多尺度熵(Multiscale entropy, MSE)  multiscale_entropy
      non-integer scale factors	
	  
    Multivariate-multiscale-permutation-entropy 

稠密多尺度熵

稠密多尺度熵的计算过程包括以下几个步骤：
   粗化过程（Coarse-graining procedure）：将原始时间序列数据通过插值或采样方法转换为不同时间尺度上的序列。
   样本熵计算：在每个粗化后的序列上计算样本熵（Sample Entropy），以评估该尺度上的复杂度。
   构建DMSE矩阵：将不同尺度上的样本熵值组织成一个矩阵，这个矩阵反映了时间序列在不同时间尺度上的复杂性。
   特征提取：从DMSE矩阵中提取特征，这些特征可以用于后续的模式识别或分类任务。

互信息

 它量化了通过一个随机变量能够得到的有关另一个随机变量的信息总量
 
离散数据
连续数据--连续数据分箱
continuous-continuous MI estimator
MI between a discrete data set and a continuous (scalar or vector) 
  Jensen-Shannon Divergence(JS散度)是一种用于衡量两个概率分布之间差异的指标
  
  
space-time mutual information  
     量子通道容量(Quantum Channel Capacity)

复杂系统

 复杂系统可以认为具有两个共通的特征：由大量简单元素或主体组成；元素间存在着不平凡的关系 （往往是非线性的）
   
 复杂系统的研究要关注信息论，以信息论作为工具
     分布式计算（distributed computation），分布式计算指的是系统中的主体们在操作和加工信息
	  信息存储（information storage） 、信息转移（information transfer） 和信息修正（information modification）
	    感知----》 存储-通信-计算--行为
	  获取和反馈-计算和分析
 复杂网络
用信息度量因果
    1+1》2 
	   表现出的现象似乎“超过其各部分的总和”；
	      鸟群似乎不只是鸟的集合，意识似乎不只是神经元之间的电脉冲
		  
	还原论（reductionism 涌现论（emergentism）
	   层级之间可以有自主性：  涌现能力如何受到系统的微观划分的变化所影
	   基于多变量系统中的信息流规律来解决强涌现的“悖论”特性
	显示了一种极端的因果的出现，我们称之为“因果解耦”
	    系统各要素之间的相互作用以及它们随时间共同演变的集体属性

参考

  https://zhuanlan.zhihu.com/p/423417458
  https://github.com/alberto-ara/Multivariate-multiscale-permutation-entropy
  https://github.com/nikdon/pyEntropy