麻省理工学院公开课：信息与熵

麻省理工大学

事实上，信息已成为现代科学技术普遍使用的一个概念。作为日常用语，指音信、消息；作为科学技术用语，可以简单地理解为消息的接受者预先不知道的报导；作为一个社会概念，信息则是指人类共享的一切知识，或从社会发展趋势以及客观现象中提炼出来的各种信息之总和。

信息是日常生活的常见现象，是事物表现的一种普遍形式。一切事物都会发出信息，因此说，信息无时不在，无处不有。人类生活在千变万化的信息之中，因此必须拥有足够的信息，才能有效地工作和生活。

信息论中的信息是上述各种信息的抽象化和定量化，它同任何意义无关，已不存在诸如有意义或无意义、有无目的等概念。对这种信息的度量，导致了信息熵概念的建立。 

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学数、据压缩等问题的应用数学学科。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

信息论

熵（entropy）指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵由鲁道夫.克劳修斯（Rudolf Clausius）提出，并应用在热力学中。后来在，克劳德·艾尔伍德·香农（Claude Elwood Shannon）第一次将熵的概念引入到信息论中来。

熵