https://zhuanlan.zhihu.com/p/149186719香农首次提出熵的定义，目的寻找一种高效/无损地编码信息的方法：以编码后数据的平均长度来衡量高效性，平均长度越小越高效；同时还需满足“无损”的条件，即编码以后不能呢个有原始信息的丢失。所以熵的定义是：无损编码事件信息的最小平均编码长度