原文标题：How fundamental is information?
作者：Oleg Kiselyov
原文链接：Doubts about the concept of information
本文是一篇批判性文章，探讨了信息概念的定义和基础。这篇文章的灵感源自 David Berlinski 的《What Brings a World into Being?》 [Berlinski]。
Berlinski 文章的主旨正是告诫人们不要以信息中心的视角来看待世界。正如文章所说，「把信息视为万事万物的本质」已经成为了一种流行的观点：
The thesis that the human mind is nothing more than an information-processing device is now widely regarded as a fact. ‘Viewed at the most abstract level,’ the science writer George Johnson remarked recently in the New York Times, ‘both brains and computers operate the same way by translating phenomena – sounds, images, and so forth – into a code that can be stored and manipulated’ . More generally, the evolutionary biologist Richard Dawkins has argued that life is itself fundamentally a river of information, an idea that has in large part also motivated the successful effort to decipher the human genome. Information is even said to encompass the elementary particles. ‘All the quarks and electrons in the cosmic wilds,’ Johnson writes, ‘are exchanging information each time they interact.’
译：「人类的大脑不过是一种信息处理设备」这一论点现在已被广泛视为事实。科学作家 George Johnson 最近在《纽约时报》上说道：「从最抽象的层面来看，大脑和计算机的运作方式是一样的：它们都把声音、图像等现象转化为可以存储和操作的代码。」更广泛的，进化生物学家 Richard Dawkins 受人类在解码 DNA 方面的工作上取得成功的启发，提出论点：「生命本质上就是一条流淌着信息的长河。」据称，信息还涵盖到了基本粒子的层面——Johnson 写道：「宇宙中的所有夸克和电子，每次相互作用时都在交换信息。」
香农通信理论中的信息
回顾「信息」这一概念的起源很有意义：香农［Shannon］关于通信的数学理论。熵［entropy］作为信息度量的经典推导（见下文）与意义本身毫无关系。香农本人也告诫人们不要混淆「信号的含义」和「信号」本身：
The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. Frequently the messages have meaning; that is, they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages [Shannon].
译：通信的基础问题就是：如何在某一点准确或近似地再现在另一点选定的信息。通常而言，信息是有意义的：即「信息」指向了某些物理或概念实体的系统，或代表了这些系统之间的相关性。通信的这一语义角度与工程上的问题无关，我们要关心的角度在于：实际的信息是从一组潜在信息中选择而出的。
正如 Chris Hillman 指出 [Hillman]
… ``Information’’ appears in Shannon’s theory only to the degree that the successful communication of information may lead to statistical correlations between the behavior of two systems. Any such correlation must presumably reflect some common causal influence upon these systems, but communication theory is emphatically not a theory of causal influence; nor is it a theory of knowledge or meaning. Rather, it is a purely probabilistic theory concerned with those statistical phenomena which are relevant to the following two fundamental problems, [of data storage and of transmission of messages over noisy communication channels.]
译：……在香农的理论中，「信息」这一概念只衡量了成功的通信可能导致两个系统的行为存在统计学意义上的相关程度。虽然任何这种的「相关程度」都可能反映了系统间某种共通的因果影响，但通信理论显然不是一种关于因果影响的理论，也不是一种知识或意义理论——相反，它是一种纯粹的概率论理论，关注的是与下面两个基本问题有关的统计现象：「数据存储」以及「有噪信道上的信息传输」。
语义信息定义不明且具有主观性
要阅读一本书，首先需要了解如何将词语组织成句子。此外，这些句子还必须与读者的已有经验相关联，才能形成叙述和意义。语言和已有经验是阅读理解的先决条件，然而它们并不是书的一部分。事实上，没有任何一本书会解释「如何理解语言」，因为这很大程度上是未知的。Chomsky 和最近的一些实验结果都指出：语言理解能力是一种与生俱来的能力，必须在人出生后的头几年进行校准。
「一本书的含义取决于其读者」这一结论也适用于另一本「书」，DNA。DNA 由细胞器读取，而细胞器远比 DNA 复杂；如果没有一个合格的读者，DNA 就毫无意义。磁带上可以存有磁带驱动程序的代码，但如果计算机没有能读取磁带的驱动器那也毫无意义。人们常说 DNA 编码了细胞中的一切，这是不对的 [Feitelson][Bethell]，是细胞在自己的细胞器中编码了细胞的一切。结合父母代的 DNA 后也不能在一束绿光中炮制出一个胚胎——组合后的 DNA 要成为卵细胞的一部分，然后通过卵细胞的分裂和分化才能形成胚胎。诚然，在大约 40 亿年前的蛋白汤中出现、创造或带来的原初细胞仍存活于我们每个人的体内，但《侏罗纪公园》式的「复活」灭绝物种的实验只在有近亲的情况下才能成功，因为近亲的卵细胞才有能力解读过去物种的 DNA。如果火星探险者发现了某种 DNA 类似物，但又没有发现活的火星人细胞，那么复活火星人的可能性就是零。没有读者，书就没有意义。
据测定，人类基因组的复杂程度仅为果蝇的两倍，与随地可见的杂草的基因组具有差不多的复杂程度。难道人类本身的复杂程度就只有果蝇的两倍？以 CPU 指令数量来计算，现代网卡驱动程序的大小与老式 8 位计算机的磁带驱动器的驱动大小相近。这难道就意味着现代计算机和老式 C-64 计算机之间具有可比性吗？
没有物质媒介，「信息」能自己运作吗？Berlinski 文章的结尾就探讨了这个问题。我们已经看到，脱离了信息传递者和接收者的信息毫无意义。如果要理解信息总是需要一个物质媒介，那么信息就无法独立的存在，遑论独立运作了。
在某媒介（DNA、书、一串氨基酸）中编码的逻辑无法通过相同的逻辑进行理解，而是需要额外的逻辑和媒介。信息不是一切，因为它具有主观性。
香农熵的简单推导
下面给出一个对信息之度量，即香农熵［Shannon Entropy］的基本推导。这一推导与香农论文中定理 2 和附录 2 中展示的推导不同，而是与定理 4 中暗示的推导有些接近。这个推导是我在某天晚上洗衣服时悟出来的。
设有对通过某信道［communication channel］相连的信源［source］和信宿［sink］。信源以 $R_{S}$ 的速率发生两种事件：A 事件与 B 事件，概率分别为 $p$ 和 $q=1-p$。信道可以按 $R_{C}$ 的速率传输符号 X 或 Y，而我们希望通过调制这些 X 和 Y 形成的数据流，使信宿知道信源处发生的事件。
考虑一个足够大的时间段 $T$，在这段时间内，信源会通过信道向信宿传输 $N$ 个符号。与此同时，信源处发生了 $M$ 个事件，其中 $M=T·R_{S}$。这些事件中有 $p·M$ 个属于 A 类型，而剩余的 $q·M$ 个则属于 B 类型。在每个时间段 $T$ 中，信源处会发生 $p·M$ 个事件 A 和 $q·M$ 个事件 B 的特定组合，并据此通过信道将长度为 $N$ 的 X 和 Y 符号组成的特定序列传递到信宿。记 $\mathsf{choose}\left(M,p·M\right)$ 为 $p·M$ 个 A 事件与 $q·M$ 个 B 事件所构成的不同组合的数量。
$\begin{equation} \mathsf{choose}\left(M,p·M\right)=M!/\left(p·M\right)!·\left(q·M\right)! \end{equation}\tag*{}$
当 $n$ 很大时，可以取近似 $n!≈\left(n/e\right)^{n}$1。
$ \begin{eqnarray} \mathsf{choose}(M,p\cdot{}M)& = & M!/(p\cdot{}M)!·{}(q\cdot{}M)! \\ & ≈ & ((p\cdot{}M+q\cdot{}M)/p\cdot{}M)^{p·M}· ((p\cdot{}M+q\cdot{}M)/q\cdot{}M)^{q·M} \\ & = & (1/p)^{p·M}·(1/q)^{q·M} \\ \end{eqnarray}\tag*{} $
为了要向信宿准确传达 $T$ 时间段内信源发生的事件，需对不同的 A 与 B 事件发送不同的 XY 符号序列，显然有
$\begin{equation} \left(1/p\right)^{p·M}·\left(1/q\right)^{q·M}≤2^{N} \end{equation}\tag*{}$
因此，为了保证信息的准确传输，通信信道必须具备以下容量
$\begin{equation} R_{C}/R_{S}=N/M=-p·log_{2}\left(p\right)-q·log_{2}\left(q\right) \end{equation}\tag*{}$
即香农论文中定理 9 给出的：在最高效的编码下传递信息所必需的最小信道容量2。
现在，我们可以对信息、信息的度量以及不确定性等问题得出总体结论了。但我们应该记住，香农对信息熵的推导核心不过是一个微不足道的计数论证，一种变相的抽屉原理：要在不损失「信息」的情况下对事件进行编码，我们至少需要有和事件序列一样多种类的编码。
参考文献
（略，见原文）
译后注
在《控制论与科学方法论》（金观涛著）的第 2.3 节《信息是一种客体吗》中提出了一种与本文观点类似的论述，现摘录如下。
有人认为数学家既然把信息定量化了，信息就成了一种纯粹的客体。他们认为数学家所采用的计算信息的方法跟文学家和艺术家的标准无关。他们认为数学家关不关心信息所传递的消息的实际内容，只对符号出现的概率和数量发生兴趣。正如长途电话台的收费员只关心通话的距离和时间，不管人们在电话里谈恋爱还是互相吵架。实际上，这种理解并不完全。信息除了有量的方面，更重要的，还有它质的方面。数学家是在质的规定性明确后，才给信息量下定义的。信息量只是信息多少的一种表示，并不排除信息的主观作用。由同一信息源发出的同一信息，对于不同的接受者可能有完全不同的意义。而这些不同的意义正是包含在信息之内的东西。
公明仪对牛弹起清角之操，牛理也不理，照样吃草。公明仪弹起蚊虫之声、小牛叫声，牛就摇尾巴，把头抬起来听。随着不同的接受者，同样的事件，可以有着完全不同的意义，对于不同的人，同样的话，有不同的内容。这种现象，称为信息的主观性。信息主观性在实际生活中可以找出许许多多来。孔明命令关羽埋伏在华容道上，等候曹操，并让关羽在山岗上点起火，引曹操来。关羽说，曹操一看见烟，就必定知道这儿有伏兵，如何敢来。孔明说，曹操善于用兵，一看见烟，必定以为虚张声势。要引曹操来，只有用这个办法。同样的山岗上有烟这个信号，对于曹操和关羽，有着截然不同的意义。对曹操来说，它意味着华容道上无伏兵。而对于关羽，恰恰相反。同样的信号，经过人的头脑加工，就产生了主观的差异，带上了主观的色彩。