以下内容摘自系统规划与管理师教程第1章信息系统综合知识

信息的定量描述
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表的论文《通信的数学理论》（A Mathematical Theory of Communication）作为现代信息论研究的开端。香农用概率来定量描述信息，给出了如下公式： 

H(X)表示事件X的信息熵，Pi是事件出现第i种状态的概率，在二进制的情况下，对数的底是2，此时信息熵可以作为信息的度量，称为信息量，单位是比特(bit)。在没有任何先验知识的基础上，人们对明天是否刮风，风力最大是多少是完全未知的，假如为从0级一直到7级，那么明天刮风这一事件的信息量是多大呢？由于没有先验知识，所以明天刮风出现最大风力为任何一个风力级别的概率是一样的，都是1/8，公式可以计算出明天刮风这一事件的信息量是3bit。为便于计算机处理，可以用3位二进制数来表示，即可用000, 001, 010, 011,100,101,110,111来描述明天刮风事件。当明天没有来临时，刮风事件具有不确走性，这个不确定性定义为信息，而明天刮风事件一旦发生了，这种不确定性就消除了，因此信息还可以理解为消除不确定性的一种度量。