信息熵 信源熵怎么计算

一、信息熵怎么算

所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据CharlesH.Bennett对Maxwell'sDemon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。

所以信息熵的符号与热力学熵应该是相反的。一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。

信息熵的计算是非常复杂的。而具有多重前置条件的信息，更是几乎不能计算的。所以在现实世界中信息的价值大多是不能被计算出来的。但因为信息熵和热力学熵的紧密相关性，所以信息熵是可以在衰减的过程中被测定出来的。

因此信息的价值是通过信息的传递体现出来的。在没有引入附加价值（负熵）的情况下，传播得越广、流传时间越长的信息越有价值。

二、信息熵有什么用

“熵是用以解决信息量化度量问题,是信息量与信息价值的比值，熵值越低，代表用户获取信息价值越大。

”这是在全球移动互联网大会发布的，手机QQ浏览器提出了降熵的概念。

三、信息熵，怎么念

信息熵的读音是xìnxīshāng