信息的度量-读《数学之美》第六章有感

  《数学之美》是一本很通俗易懂的介绍数学和算法在生活中的应用的一本书。今天着重来谈一谈他的第六章。
  在看到目录时我一眼便看到了他的第六章所提到的信息熵，因为我在学校的大数据可视化的通识课上了解过这一概念。老师当时举了个谈恋爱的例子：一个人想要表白他的白月光。但是不知道能不能成功，也就是说成功的概率是50%。他的信息熵，也就是他了解到的信息总量是可以通过公式算出来的。同样书本也举了个踢足球的例子，假如50多支队，一个一个猜。信息熵大概就5b比特。
  之后他又介绍了一个叫冗余度的概念。还提出了中文是冗余度较小的语言。
  信息熵越大，变量的不确定性就越大，想要消除不确定性。就需要引入更多的信息。所以，信息的作用就是消除不确定性。
  条件熵和互信息：互信息是熵-条件熵。条件熵H(x|y)就是在y取各个值时x的概率分布。因此通过互信息公式来衡量两个信息是否相关。他的具体应用在于确定一个词在该语境的意思。