信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源-信道隔离定理相互联系。
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》(通信的数学理论)作为现代信息论研究的开端。
信息论与编码理论系统地讨论了香农信息理论中的基本概念和相关问题,介绍了信源、信道、信源编码、信道编码的一般原理和基本方法。本套信息论与编码视频教程包括绪论、信息的统计度量、离散信源、离散信道、连续信源和连续信道、无失真信源编码、限失真信源编码、信道编码。