对于二元随机变量(X,Y)，如何衡量他们之间有多相关？协方差显然不合适，因为没有归一。线性相关系数也显然不合适，因为只能反应线性关系的强弱。互信息是一个不错的选项。

互信息为什么可以表示“X透露出Y的信息的量”？因为互信息

就是熵与条件熵的差。

互信息为什么非负？因为互信息就是联合分布熵与边际分布乘积熵的相对熵：

相对熵也就是KL distance，衡量的是两个分布（例如p和q）的偏差：

It equals zero if and only if P=Q。KL distance是非负的，这也是为什么可以作为概率的距离函数的理由。

参考：斯坦福大学信息论讲义