，，！
一张高清电视分辨率的照片，如果没有经过压缩，要占用600万个字节的计算机内存（6，1个字节是8个比特）。
可是如果这张照片照的是一面单色的墙的话，它所含的信息量就很小，只要用三个字节就可以描写整张照片（3个字节描写红绿蓝三种颜色的深浅）。
所以单色墙的照片的文件大小，可以从600万个字节压缩到3个字节，大大减少了占用计算机内存的空间和传输照片所需的时间。
但一般一张照片的信息量要比三个字节大很多，那么如何量化照片所含的信息量？照片的压缩最多能有多少倍？香农是量化信息的，“通信的数学理论”
。
倚天剑一出，天下皆惊。
香农一针见血地指出，通信的问题可以分解成两个的问题，即信源编码和信道编码。
信源编码的目的是尽可能高效的表示信息源，即数据压缩；信道编码的目的则是尽可能高效的让数据可靠无误地通过信道。
在他1948年的文章里，香农证明了信源编码的极限是信源的熵，而信道编码的极限则是个叫信道容量的东东，标注着信道可以支持的最大通信速率。
（信道容量的概念是在熵的基础上的对信息论的进一步发展，故事更长，更精彩，不过俺还是不讲了吧。
）香农说，只有当信源的熵低于信道的容量的时候，可靠的通信才可能实现；而且只要在这个条件下，可靠的通信就一定可以实现！
香农的证明是存在性证明，就是说，他告诉俺们：反正这事儿一定可以实现，至于怎么实现，你们自己想办法吧。
信源编码的问题很快被香农的追随者和逐步解决。
基于算术编码（arithticdg）和lz编码el-zivdg）的信源编码方法在上世纪七八十年代已经日渐成熟，实现了香农预测的压缩极限并在实践中被广泛采纳。
而香农预测的信道编码的极限，信道容量，却花费了人类半个世纪挣扎。
业外人士未必了解，对信道编码的研究结晶了人类最高的智慧和前赴后继的努力。
然而香农预测的信道容量直到上世纪九十年代中叶才终于被实现。
今天我们的手机里也终于承载了香农在1948年的预言！
熵的提出是信息论，也是人类对信息认知的开始，而香农在他1948年文章里提出的数学工具正是信息论的骨架。
在我们今天生活的信息时代，香农和信息论存在于我们的手机，我们的电脑，我们的电视，我们的蓝光播放器，我们的te，我们的facebook，我们的韩剧大约七十年前，当人们还在黑暗中摸索数字通信的时候，香农说，要有熵。
于是，就开启了信息时代。
请关闭浏览器阅读模式后查看本章节，否则将出现无法翻页或章节内容丢失等现象。