概率质量函数（信息论和熵）

信息论是对数字信息的量化、存储和交流的科学研究。该领域是由1920 年代的Harry Nyquist和Ralph Hartley以及 1940 年代的Claude Shannon的作品从根本上建立起来的。该领域是概率论、统计学、计算机科学、统计力学、信息工程和电气工程的交叉领域。 .

信息论中的一个关键度量是熵。熵量化了随机变量的值或随机过程的结果所涉及的不确定性的数量。例如，与指定掷骰子的结果（具有六个同样可能的结果）相比，确定公平掷硬币的结果（具有两个相同可能性的结果）提供的信息更少（熵更低）。信息论中的一些其他重要度量是互信息、信道容量、误差指数和相对熵。信息论的重要子领域包括源编码，算法复杂性理论，算法信息论和信息论安全。

信息论基础主题的应用包括源编码/数据压缩，以及信道编码/错误检测和纠正。它的影响对于航海者号深空任务的成功、光盘的发明、手机的可行性和互联网的发展都至关重要。该理论还在其他领域找到了应用，包括统计推断、密码学、神经生物学、感知、语言学、进化论和功能分子代码（生物信息学），热物理学， 分子动力学， 量子计算，黑洞，信息检索，情报收集，抄袭检测， 模式识别，异常检测甚至艺术创作。

建立信息论学科并将其立即引起全世界关注的标志性事件，是1948年7月和10月Claude E. Shannon在贝尔系统技术杂志上发表的经典论文《通信的数学理论》。

在香农的革命性和开创性的论文中，香农首次将通信的定性和定量模型作为信息理论基础的统计过程引入，并以断言开头：

“通信的基本问题是在某一点精确或近似地复制在另一点选择的消息。”

信息量

信息论是基于概率论和统计学的。信息论通常关注与随机变量相关的分布信息的测量。重要的信息量是熵，单个随机变量中的信息量度，以及互信息量，两个随机变量之间的共同信息量度。前一个量是随机变量的概率分布的属性，并限制了具有给定分布的独立样本生成的数据可以被可靠压缩的速率。后者是两个随机变量联合分布的一个属性，是通过噪声信道进行可靠通信的最大速率在长块长度的限制下，当通道统计由联合分布确定时。

信息源的熵

基于要通信的每个源符号的概率质量函数，香农熵 H以比特为单位（每个符号）由下式给出

其中是源符号的第i个可能值出现的概率，这个方程以“比特”（每个符号）为单位给出熵。

直观地说，离散随机变量X的熵是当仅知道其分布时与X值相关的不确定性量的量度。

发射N个独立同分布(iid)符号序列的源的熵是N ⋅ H位（每条消息的N个符号）。如果源数据符号同分布但不独立，则长度为N的消息的熵将小于N ⋅ H。

如果发送 1000 位（0 和 1），并且这些位中的每一个的值在传输之前为接收器所知（具有确定性的特定值），则很明显没有信息被传输。然而，如果每个比特独立地可能是0 或1，则已经传输了 1000 个香农信息（通常称为比特）。

在这两个极端之间，信息可以量化如下。如果是X可能是的所有消息的集合， 是某些消息的概率，然后定义X的熵H：

（这里，是自我信息，它是单个消息的熵贡献，并且是期望值。）

熵的一个性质是，当消息空间中的所有消息都是等概率的时，它最大，在这种情况下。

具有两个结果的随机变量的信息熵的特殊情况是二元熵函数，通常取对数底2，因此以香农 (Sh) 为单位：

互信息（transinformation）

互信息衡量通过观察另一个随机变量可以获得的关于一个随机变量的信息量。它在通信中很重要，它可以用来最大化发送和接收信号之间共享的信息量。X相对于Y的互信息由下式给出：

其中SI（特定互信息）是逐点互信息。

互信息的一个基本性质是

也就是说，知道Y时，与不知道Y相比，我们可以在编码X时平均节省位。

互信息是对称的：