信息量的大小取决于信息内容消除人们认识的不确定程度，消除的不确定程度大，则发出的信息量就大；消除的不
确定程度小，则发出的信息量就小。如果事先就确切地知道消息的内容，那么消息中所包含的信息量就等于零。我
可以利用概率来度量信息。只要可能性范围缩小了，获得的信息量总是正的；如果可能性范围没有变化，获得的信
息量就是零；如果可能性范围扩大了，信息量变为负值，人们对这一事件的认识就变得更模糊了。信息量的单位叫
比特，一比特的信息量是指含有两个独立均等概率状态事件所具有的不确定性能被全部消除所需要的信息。