跳到正文
全部文字

认知基底的演化

经验何以有效,又为何失灵

楔子:“说中了”,究竟说明什么

读一份星座或性格分析时,你也许有过这样的瞬间:“这不就是我吗?”假如旁边的人读到同一段话,也觉得写的是自己,这份分析究竟看透了谁?

心理学家福勒(Bertram Forer)做过一次课堂演示:39 名学生测验后,各自收到写着自己名字的性格描述。大多数人评价很高,内容却完全相同。Forer,1949 “我符合这段话”,还没有证明“它能把我和别人区分开”。

“中医有没有用”的争论,也常把几件事挤在一起:某种方法是否奏效、解释是否成立、还能用到哪些情况。确认一项疗效,并不能顺带证成整套解释。NCCIH,2019 古代钦天监既推算日月食,也承担吉凶占候;即便一次日食算准,也不能替人间祸福的预言作担保。《明史》卷七十四 一处的成功,究竟能支持到哪一层?

本文关注的是一条具体推断:观察到了什么,由此判断了什么,这一步凭什么成立? 体系的复杂程度也要放到这里看。一套语法能写出无数故事,不会使故事都成为事实。表达能力越强,越需要分清:它能讲出多少种解释,现实又排除了其中哪些。

本文尝试借代数来拆开这些问题。想象画图:选定几个基本方向,它们的线性组合能到达哪里?这个范围就是它们张成的空间。在线性代数中,一组向量若能张成指定空间,且没有哪个能由其余向量线性组合得到,就称为该空间的基。后一个条件叫作线性无关。这里借用的直觉是:我们选了哪些基本区别,又能凭它们辨认多少事情?

从一条推断的成败,进一步追问人如何改变辨认世界的方法,本文提出一个更大的研究纲领:

人类思想史从根本上说是一部基底演化史:人类不断寻求更加正交(可分离)、更加完备,并能够以越来越高的分辨率张成经验宇宙的坐标系统。

“基底”在认识论中借指辨认世界的基本区分。“更正交”借指判断可分别检查,“更完备”指容纳遗漏的方面,“更高分辨率”指区分细到足以回答问题。严格的数学基已经张成指定空间,这里的“更完备”则指可处理的现象与问题有所扩展;这些说法借助数学建立认识论类比。

下面先从具体判断入手,看哪些困难要求我们拆开旧联系、补充新区别,或者换一种表示。由此建立的分析工具,将帮助我们追踪这些改变怎样发生;它们能在多大程度上解释思想史,则要由历史比较来检验。

摘要与关键词

摘要

本文以具体推断为单位,分析局部经验、解释歧义、表示与信息的缺口,以及表示的使用成本。“复合经验坐标”让一个入口同时调用多条联系,便于记忆和行动,也可能使一处的成功替其他联系作担保。知识改进既可能改变基本区分,也可能改变使用、检验与修正这些区分的规则。道路思想实验、代数模型与布莱克史例分别说明这些变化的可能性、约束与操作形式;它们共同构成一套有待具体历史研究检验的分析视角。

关键词: 复合经验坐标;局部拟合;解释歧义;表示不完备;科学表征

一、把经验打包:一个名字为什么能带出一整套判断

设想一位山路向导。“雨季难行”四个字,就能提醒人们推迟出发、另选路线或多带补给。它打包了时令、积水、打滑等经验,使用者不必每次查明全部原因,也能作出不错的选择。后来,道路加固,排水改善,雨季照常到来,路却未必难走。过去的本领是真实的,旧标签现在也可能误导行动。

我们把这类入口称为复合经验坐标:一个词、类别或图式,同时调用若干属性、情境与行动建议。分析它时,还要追问:什么变化会使这条推断需要重审?

这里要分清两层:用什么区分世界,以及怎样使用和修正这些区分。 前者是本文借称的“基底”,后者决定哪些推断得到许可、遇到反例后怎样调整。规则改变可以推动区分被拆分或补充,也可能在区分尚未改变时先改善判断;并非每次知识改进都已经换了一组基。

古典知识中,可以看到更大规模的打包。《素问·阴阳应象大论》把方位、气候、味、脏与情志编织进对应序列。“木”牵连的不只是一种材料,还包括东方、风、酸、肝和怒。原文

图 1
五行的五组对应;每组跨越方位、气候、味、脏和情志。 同一类别,跨越多个领域 《阴阳应象大论》对应段整理 木 东 风 酸 肝 怒 火 南 热 苦 心 喜 土 中央 湿 甘 脾 思 金 西 燥 辛 肺 忧 水 北 寒 咸 肾 恐 方位 气候 味 脏 情志 同列表示文本中的关联;不是已经验证的因果链。
五行的五组对应;每组跨越方位、气候、味、脏和情志。 一个类别,连接多个领域 《阴阳应象大论》对应段整理 木 东 风 酸 肝 怒 火 南 热 苦 心 喜 土 中央 湿 甘 脾 思 金 西 燥 辛 肺 忧 水 北 寒 咸 肾 恐 方位 气候 味 脏 情志 文本中的对应,不等于已经验证的因果链。
图 1|一个类别,连接多个领域。据《阴阳应象大论》对应段整理,仅列部分项目。同列表示文本将这些事项相联,不表示每条联系都已经过经验检验;“脏”等术语沿用原典语境。原文的生、伤、胜等关系未在图中展开。

这张图如同一份便携索引,但放在同一列,不等于已经证明可以彼此推断。联系可能来自观察,也可能来自象征、类比与宇宙论安排。一个类别实际被用来推出什么,仍要逐条检查。

名称少,也不意味着知识简单。名称能调用例证、操作与熟练判断;古典传统内部同样有细分,例如古希腊医学家盖伦就区分了混合中各体液的量与作用强度。盖伦注释,第 60—66 页 有限记忆使压缩很有价值,省略细节的规则也可能适应具体任务。Simon, 1956

下面先检查三类边界:经验覆盖的范围不够广、不同解释分不开,以及表示缺少所需区别。 然后再问:发现边界之后,一条联系能否单独失去效力?这些困难也会出现在现代模型中。

二、局部拟合:能画出曲线,是否就懂了它

“刻舟求剑”里,人记住了剑落下时在船边的位置,等船停了再去找。刻痕还在,船却已经走了。《吕氏春秋·察今》 刻痕保住了船上的位置,却没有保住它与落剑处的关系。 刻得更精细,也补不上这个变化。

本地表现很好,为什么仍不能担保远处

经验规则也依赖条件。走同一条路一千遍,与走过一千条不同的路,增加的是不同的知识。经验更多,不等于经历过的条件更多。 地点、材料或操作改变后,旧关系还能不能成立,需要新的根据。Peters 等,2016

仅凭熟悉区域里的表现,能不能选出唯一规则?假定我们只熟悉条件 ss 接近零的一小段范围,考虑

f1(s)=s,f2(s)=s+0.2s3.f_1(s)=s,\qquad f_2(s)=s+0.2s^3.

在 ∣s∣≤0.5|s|\leq 0.5 时,两者相差不超过 0.0250.025,观察若不够精细,就可能分不出它们。到了 s=2s=2,一个给出 22,另一个给出 3.63.6。本地的吻合,没有决定远处的答案。

图 2
两条曲线在零附近很接近,在条件 s 等于 2 时分别给出 2 和 3.6,相差 1.6。 -2 -1 0 1 2 条件 s(任意单位) -4 -2 0 2 4 预测值 f(s) s = 2 时 相差 1.6 熟悉区域 −0.5 ≤ s ≤ 0.5 f s s 1 ( ) = f s s s 2 3 ( ) = + 0 . 2 局部几乎相同,外推可以分开
两条曲线在零附近很接近,在条件 s 等于 2 时分别给出 2 和 3.6,相差 1.6。 -2 -1 0 1 2 条件 s -4 -2 0 2 4 预测值 3.6 2 局部相似,远处可以不同 f s s 1 ( ) = f s s s 2 3 ( ) = + 0 . 2 阴影:熟悉区域 −0.5 ≤ s ≤ 0.5 s = 2 时:2 与 3.6,相差 1.6
图 2|局部相似,远处可以不同。曲线按正文函数绘制,绿色阴影为假定的熟悉区域。这里没有拟合历史数据,也不指定哪条曲线是真实规律。图示说明:局部证据若不足以排除不同规则,就不能仅凭当地成功担保外推。

这与过拟合还不一样:规则可能准确捕获了本地规律,只是换环境后失效;过拟合则连样本特有的细节也学进去,在相近条件的新案例上仍可能表现变差。扩大模型可以让训练数据拟合得更好,却不自动保证预测更准。Goodfellow 等,第 5.2 节

画法足够灵活,意味着什么

拟合像用一套可调整的画法贴近观测点。可用的“笔画”与组合方式,决定哪些形状容易画。“基”的线性组合是一种画法;可改变的构件、非线性运算和多层组合,还能形成别的模型族。

只要横坐标互不相同,任意有限个观测点,都能被某个足够高次的多项式精确穿过,含噪声的点也一样。拟合成功,可能说明画法足够灵活,尚不足以证明它找到了现象的成因。 模型容量说明它有多大的调整余地;新条件下的检验,才继续追问这样的吻合能维持到哪里。

数学说明|穿过数据与增加容量,分别保证什么

穿过有限数据。

给定 nn 个横坐标两两不同的点 (si,qi)(s_i,q_i),定义

ℓi(s)=∏j≠is−sjsi−sj,p(s)=∑i=1nqiℓi(s).\ell_i(s)=\prod_{j\ne i}\frac{s-s_j}{s_i-s_j},\qquad p(s)=\sum_{i=1}^{n}q_i\ell_i(s).

由于 ℓi(sj)\ell_i(s_j) 在 i=ji=j 时为 11、否则为 00,就有 p(si)=qip(s_i)=q_i,且 pp 的次数至多为 n−1n-1。它只保证穿过这些点,不保证点间或区间外正确,更不证明任何固定的低维模型都能做到。

增加模型容量。 若两个模型族满足 ℱ⊆𝒢\mathcal F\subseteq\mathcal G,在同一批数据上,以相同损失定义的经验误差 L^\widehat L 满足

inf⁡f∈𝒢L^(f)≤inf⁡f∈ℱL^(f).\inf_{f\in\mathcal G}\widehat L(f) \leq\inf_{f\in\mathcal F}\widehat L(f).

原因只是旧的候选仍在新的集合中。该式比较训练误差的下确界,不要求存在取得该值的模型;实际优化未必接近它,样本外表现也没有由此获得保证。若只增加类别名称,却没有扩大模型所能实现的函数集合,连这个结论的前提都未满足。

三、解释歧义:两根指针一起动,贡献该算给谁

一位向导认为路难走主要看雨量,另一位认为积水更关键。如果过去总是雨越多、积水越深,两个人就可能都判断得很好。再给一百份同样的记录,能分出谁更有道理吗?

设 u,vu,v 是两项已选定单位的观测量,qq 是预测结果,a,ba,b 是权重:

q=au+bv.q=a u+b v.

若全部样本满足 v=uv=u,且至少有一例 u≠0u\ne 0,模型便只剩 q=(a+b)uq=(a+b)u。假定记录的结果恰为 q=2uq=2u,权重取 (2,0)(2,0)、(1,1)(1,1) 或 (0,2)(0,2) 都合适:只要 a+b=2a+b=2,拟合就同样好。

再增加满足 v=uv=u 的样本,仍只能知道权重之和。到了 u=1,v=0u=1,v=0,三个方案却分别预测 22、11 和 00。过去同样准确,到了新情境可以各说各话。

换坐标也不能补出这份证据:把旧记录改写成“和”与“差”,差值仍全是零。需要的是能让不同方案分岔的新比较。

把某项观测量在多次样本中的数值排成一列,就得到一个向量。图 3 把两列向量各自缩放到长度 1,只比较它们的方向关系:

图 3
两列观测的方向从斜交、接近共线到完全共线,对应系数唯一、敏感与不唯一。 u v u v u u v = 方向不正交,系数仍可唯一确定 斜交,仍可分 线性无关 → 系数唯一 接近重合 系数唯一,但可能敏感 本例原列相等 只能分清权重之和
两列观测的方向从斜交、接近共线到完全共线,对应系数唯一、敏感与不唯一。 u v u v u u v = 方向不正交,系数仍可唯一 箭头示意:两列观测归一后的方向 斜交,仍可分 线性无关 系数仍唯一 接近重合 系数唯一 可能对小扰动敏感 本例原列相等 只能识别 两个权重之和 系数可识别,仍不等于因果关系已识别。
图 3|方向不正交,系数仍可唯一确定。箭头表示样本矩阵两列归一后的方向。依次为:斜交但线性无关,系数仍唯一;接近共线,系数可能敏感;完全重合,对应正文两列相等的特例,只能识别权重之和。这里讨论固定线性模型的系数识别;唯一系数本身不等于因果解释。

方向不成直角,并不自动造成不唯一;完全共线才造成例子中的不唯一,接近共线则可能使估计不稳定。冗余也可能帮助抗误差与重建:恢复对象,与用唯一系数表示对象,是不同问题。Kovačević 与 Chebira, 2008

在经验判断中,风险常出在下一步:未经检查,就让“过去一起出现”替“换条件也必定一起成立”作担保。本文称之为推断的过度绑定。证据不足不等于联系已被证明为假;过度之处,是让它回答证据还回答不了的问题。

代数说明|为什么增加同类样本仍不能分开权重

把两列观测写成矩阵 A=[𝐮 𝐯]A=[\mathbf u\ \mathbf v]。当 𝐯=𝐮≠0\mathbf v=\mathbf u\ne 0 时,矩阵的秩为 11,而不是 22。对任意实数 λ\lambda,

A(a+λb−λ)=A(ab).A\begin{pmatrix}a+\lambda\\b-\lambda\end{pmatrix} =A\begin{pmatrix}a\\b\end{pmatrix}.

沿 (1,−1)(1,-1) 方向改变系数,预测保持不变,当前数据因而无法区分这些系数。图 3 的“系数唯一”指在给定两列线性无关时,线性最小二乘解唯一;若目标位于它们张成的空间内,精确表示也唯一。

四、表示不完备:地图上究竟少了什么

地图上两段路一样长,走起来却一段轻松、一段气喘。若只记平面位置,不记海拔,把坐标多写几位小数也找不出陡坡。这里有两种需要分开的缺口:表达形式到不了目标,或者记录没有留下所需区别。

先看表达范围。只允许水平方向 (1,0)(1,0) 时,无论怎样调整权重 cc,都只能到达 (c,0)(c,0)。目标 y=(2,1)y=(2,1) 却还要向上一格;旧模型的最近点是 (2,0)(2,0),始终留下一格缺口。

图 4
只使用水平方向时,目标与可表示直线相距 1;新增竖直方向后可以到达目标。 0 目标 (2, 1) 最近点 (2, 0) 残差 = 1 可表示范围 S 0 目标 (2, 1) 向右 2 向上 1 新增方向 缺一个方向,调权重也补不回来 只调水平权重:仍在一条线上 补一个不共线方向,即可到达目标
只使用水平方向时,目标与可表示直线相距 1;新增竖直方向后可以到达目标。 0 目标 (2, 1) 最近点 (2, 0) 残差 1 旧范围 S 0 目标 (2, 1) 向右 2 向上 1 新方向 调权重,与增加方向 只调水平权重,仍留下一格缺口 补一个不共线方向,即可到达目标
图 4|调权重与加方向,是两种不同的改进。旧模型的可表示范围是一整条水平直线;目标到直线的距离,是它无法消除的残差。加入与水平方向不共线的新方向后,二维空间才可被张成,图中选竖直方向以便阅读。这是明确的欧氏模型,不是历史概念的实测几何。

表达受限未必是缺观察。例如完整记下了 xx,却只允许用直线 a+bxa+bx 描述 x2x^2;只要有至少三个不同的 xx,就不可能全部吻合。加入由旧记录算出的 x2x^2 即可解决,无须新观察。新增表达能力,与新增信息,可以是两回事。

几何说明|固定的表达范围,怎样限定最小误差

在有限维欧氏空间中,把可用方向写成矩阵 Φ\Phi 的列。所有线性组合构成子空间 S=span⁡(Φ)S=\operatorname{span}(\Phi)。目标 yy 分解为它在 SS 上的正交投影与垂直残差:

y=PSy+r,r⊥S.y=P_Sy+r,\qquad r\perp S.

对任意系数 cc,由于 PSy−ΦcP_Sy-\Phi c 位于 SS 内,勾股关系给出

∥y−Φc∥22=∥PSy−Φc∥22+∥r∥22.\|y-\Phi c\|_2^2 =\|P_Sy-\Phi c\|_2^2+\|r\|_2^2.

第一项非负,又能通过适当系数取零,因此

min⁡c∥y−Φc∥2=∥r∥2.\min_c\|y-\Phi c\|_2=\|r\|_2.

只要可表示范围不变,调参就无法把误差压到残差长度以下。这是对模型形式的限制,不是对全部可用信息的判决。现实残差还可能来自噪声、测量偏差或操作失误,需要另外辨认。

从现场到笔记:不同的事情,怎样变成同一份记录

再看记录的损失。门外有人敲门:录音能留下次数与节奏,却未必有衣服颜色的线索;拍到来人的无声视频能留下颜色,却没录下声音。二者选择了现场的不同方面。

听完录音,我们又可能只记“有人敲门”。敲三下、五下,都写成同一句话。次数原先听得见,现在从笔记里消失了:

x→  O  y→  E  z→  g  t^.x\xrightarrow{\;O\;}y\xrightarrow{\;E\;}z\xrightarrow{\;g\;}\widehat t.

xx 是情境,OO 决定观察到什么,得到记录 yy;EE 把记录编码为 zz;gg 再据此估计我们关心的目标 t(x)t(x),例如敲门次数,输出 t^\widehat t。没观察到,与观察过却没留下,是两个不同的信息损失环节。

图 5
四种现场按敲门次数合并成两种声音记录,再合并成同一句笔记;笔记仍能确认有人敲门,却不能确定次数或衣色。 不同的现场,汇入同一份笔记 只追踪衣色与次数,展示两次“多对一” 现场 x 记录 y 笔记 z 红衣 · 敲 3 下 蓝衣 · 敲 3 下 红衣 · 敲 5 下 蓝衣 · 敲 5 下 听到 3 下 听到 5 下 “有人敲门” 观察 O 编码 E 是否敲门?可以确定 次数、衣色?不能确定 反向追溯:同一句笔记对应多个来处,没有唯一的原路。
四种现场按敲门次数合并成两种声音记录,再合并成同一句笔记;笔记仍能确认有人敲门,却不能确定次数或衣色。 不同的现场,同一份笔记 只追踪衣色与次数,展示两次合并 现场 x 红衣 · 3 下 红衣 · 5 下 蓝衣 · 3 下 蓝衣 · 5 下 观察 O 记录:3 下 记录:5 下 编码 E 笔记:“有人敲门” 是否敲门?可以确定 次数、衣色?不能确定 同一句笔记,仍与多个现场相容。
图 5|有损之处,在于不同情境被合并。为看清结构,示意只追踪衣色与次数,声音记录只保留次数。四种现场变成两种记录,再变成同一句笔记;反向看,笔记对应多个可能的来处。它不是完整现场或录音的声学模型。

为什么不能算回来?因为同一份笔记可以来自三下,也可以来自五下。无论猜哪一个,都不能保证正确:仅凭这份记录,无法确定原来是哪种情境。 原录音还在就能补查;仅靠这句笔记则不能保证还原。

这就是有损:原本不同的情况被合并。但压缩、降维未必有损——若已知两列始终完全相同,只存一列仍能恢复两列。关键是能否唯一确定所需内容。Singh,2015,第 16 讲

十二小时钟面也很直观:3 mod 12=15 mod 12=33\bmod12=15\bmod12=3。取模舍去了整圈数,保留圈内位置,把某些差异直接规定为“不再区分”。所有相差整圈的时刻被归为同一类,称为一个等价类。

常识能帮我们猜,却补回了什么

若知道来访者通常敲三下,我们就能猜得更准。但这份根据来自背景经验,没有证明这一次也如此。背景知识还可能提供确定的约束:如果它排除了其余候选,恢复可以是确定推断;只要答案不同的候选仍在,合理补全就不保证等于原事实。

限制始终针对全部可用信息和当前任务。若只问有没有人敲门,笔记已经够用;若问次数或衣色,它才不够。对整个情境有损,不等于对每个任务都无用。

一般说明|什么时候能恢复,什么时候留下不可消除的歧义

先固定观察与编码规则,把允许的情境写成 𝒳\mathcal X。完整链条为

x∈𝒳→  O  y∈𝒴→  E  z∈𝒵→  g  t^.x\in\mathcal X\xrightarrow{\;O\;}y\in\mathcal Y \xrightarrow{\;E\;}z\in\mathcal Z\xrightarrow{\;g\;}\widehat t.

令 R=E∘OR=E\circ O。给定表示 zz,与它相容的情境构成原像集合

R−1({z})={x∈𝒳:R(x)=z}.R^{-1}(\{z\})=\{x\in\mathcal X:R(x)=z\}.

这里的 R−1({z})R^{-1}(\{z\}) 表示集合,不是假定存在逆函数。若集合中有两个不同情境,就无法仅凭 zz 唯一恢复整个 xx;要在全部允许情境上精确恢复 xx,需要 RR 为单射。一般映射的歧义由这些原像集合描述;在线性正交投影中,被舍去的分量位于投影子空间的正交补空间。对整数 A,BA,B 和正整数 mm,取余 R(A)=A mod mR(A)=A\bmod m 时,R(A)=R(B)R(A)=R(B) 恰好等价于 mm 整除 A−BA-B;余数唯一,原整数并不唯一。

若只需回答目标 t(x)t(x),条件可以更弱:存在处处正确的规则 gg,使 t=g∘Rt=g\circ R,当且仅当

R(x1)=R(x2) ⟹ t(x1)=t(x2)对所有 x1,x2∈𝒳.R(x_1)=R(x_2)\ \Longrightarrow\ t(x_1)=t(x_2) \qquad\text{对所有 }x_1,x_2\in\mathcal X.

必要性来自同一输入只能得到同一答案;充分性则是给每个原像集合指定其中共同的目标值。因而,不能恢复整个情境,不妨碍特定目标仍然可确定。此处讨论确定性映射与精确恢复。

如果同一表示下仍有不同的目标值,就能给预测误差划出一道下限。设目标取值于度量空间 (𝒯,d)(\mathcal T,d),且

R(x1)=R(x2)=z,d(t(x1),t(x2))=Δ>0.R(x_1)=R(x_2)=z,\qquad d\bigl(t(x_1),t(x_2)\bigr)=\Delta>0.

三角不等式给出

Δ≤d(t(x1),g(z))+d(g(z),t(x2)),\Delta\leq d\bigl(t(x_1),g(z)\bigr)+d\bigl(g(z),t(x_2)\bigr),

所以至少一项误差不小于 Δ/2\Delta/2:

max⁡i∈{1,2}d(g(z),t(xi))≥Δ2.\max_{i\in\{1,2\}}d\bigl(g(z),t(x_i)\bigr)\geq\frac{\Delta}{2}.

这不是平均错误率,而是固定信息条件下、确定性预测的两点最坏误差下界。背景知识若已固定在规则中,不会单凭换一种猜法消除该下界;若新增信息或有根据地排除某个情境,前提才发生改变。近似相同的表示、噪声与概率预测需要另加假设,不能直接套用此式。

表达范围限制“允许怎样作答”,信息损失限制“凭什么区分”。认清缺口,才能决定该改模型、补观察,还是改进记录。

延伸阅读|亲历与训练,能改变我们看见什么吗

改变看见的方式,能带来什么

向天生失明的人解释颜色,是要让他知道什么东西是红的,还是获得看见红色的感受?目标不同,所需认识也不同。研究发现,先天盲人能掌握丰富的颜色知识,并在一些颜色推断上与明眼人相近;这不等于研究已经回答了第一人称视觉感受的问题。Kim 等,2021

佛教《沙门果经》把禅定训练与“天眼”之见相联,所述包括众生的死亡与再生。DN 2 这个教法把“怎样获得某种知见”放到中心;它提出的能力与所见是否可靠,仍是需要判断的问题。

沿用前面的观察—编码链条,新观察能力可能改变观察方式 OO,学会辨认线索可能改变编码方式 EE;练习还可能改变被观察的心理状态。判断认识是否因此增加,要问:哪些情况过去分不清,现在能分清了?亲历能提供体验材料,由它推断外部世界则还需根据。接纳新体验,不等于允许修正原有结论。 若一切反常都能归为“修得不够”,又无法区分修习不足与主张错误,新增体验也可能被用来保护既定答案。

五、允许修正:拆开判断,再重建联系

即使信息相同,面对失败也可能走上不同的路。两位向导都熟悉“雨季难行”:道路改造后,一位保留过去的记录,撤回“雨季必难行”,重新检查排水;另一位不断追加“特殊雨季”“隐性难行”,使任何结果都符合旧说法。关键在于:一条联系能否被单独重审,而不必把其他经验一起抹去。

“排水改善”若能另行查明,并带来新的预测,就是有内容的修正。修正也可以是缩小适用范围、降低可信程度;一次不符未必足以撤回解释。但若任何结果都只能成为旧说法的例证,证据便失去了改变判断的机会。Popper, 1959,第 22 节

怎样让“分别检查”成为实际操作?18 世纪,约瑟夫·布莱克研究一种叫“白镁土”的白色粉末。它遇酸会冒泡,也能生成盐;充分加热后,冒泡消失了,却仍能与相应的酸形成相应种类的盐。原先一起出现的两种表现,现在分开了。 这种高温处理称为“煅烧”;这里的“盐”是一类化学产物,并非专指食盐。Black,第一部分,第 14—15 页

图 6
煅烧前后分别与相应的酸反应:都形成相应种类的盐,前者起泡,后者不起泡。 先处理材料,再分别与酸比较 布莱克的白镁土实验 · 两种材料状态分别接受检查 未煅烧的制备物 与相应的酸反应 起泡 形成相应种类的盐 充分煅烧后的制备物 与相应的酸反应 不起泡 形成相应种类的盐 在这组比较中:起泡表现改变,成盐能力仍在。
煅烧前后分别与相应的酸反应:都形成相应种类的盐,前者起泡,后者不起泡。 先处理材料,再分别加酸 布莱克的白镁土实验 · 概念示意 未煅烧的制备物 与相应的酸反应 起泡 形成相应种类的盐 充分煅烧后的制备物 与相应的酸反应 不起泡 形成相应种类的盐 起泡表现改变,成盐能力仍在。
图 6|保留了什么,改变了什么?据布莱克第一部分实验作概念示意,并非原器具复原。材料先接受不同处理,再分别与相应的酸比较。“相应种类的盐”不表示所有酸都产生同一种盐。起泡消失时,形成相应种类盐的能力仍然存在。

消失的性质还能恢复吗? 布莱克先称量,发现煅烧使材料明显变轻。他把煅烧后的材料溶于酸,再加入实验所用的碱,使粉末重新沉淀出来。沉淀遇酸又能起泡,大部分失去的重量也回来了。他以“固定空气”——能结合在材料中、又能释放的气体——解释这些变化,并推断恢复时它由所加的碱提供。Black,第 16—19 页

恢复与所加的碱有什么关系? 在另一项实验中,他用已失去“固定空气”的苛性碱制取沉淀,沉淀遇酸不再起泡。新解释因而多了一项必须说明的差别:制得沉淀并不保证恢复起泡,所加碱的性质也须纳入解释。成盐、起泡、失重与恢复,也就能在这些比较中分别追踪、重新联系。Black,第 30—31、35 页

本文把这种机会称为认识操作的可分离性:几项判断可以分别检查、分别修正,即使仍共用仪器与背景假设。它不保证证据总能唯一指定该撤回哪条联系;必要时,共同假设也要重审。布莱克的比较展示了检验机会怎样增加:分别改变处理与试剂,追踪哪些表现随之改变。回到向导的例子,这种思路就是保留已经查明的路况记录,再检验“雨季”究竟能支持哪些通行判断。

分开判断,再查明它们如何相连。 本文借“更正交”指向这种检查机会。数学正交、统计独立与因果识别仍是不同概念;单纯换成正交坐标,也不会增加信息。

六、表示的选择:同样的信息,为什么用起来有难有易

答案也可能已经藏在记录里,只是很难看出。换一种写法,能不能让它显眼起来?

同样的信息,怎样让不同结构显眼

两个人记录圆周上的点:一人写横、纵坐标,另一人写到圆心的距离和方向角。以圆心为原点,同一个圆在前者的记录中满足 u2+v2=4u^2+v^2=4,在后者那里只需 r=2r=2。第二人一眼就能看到:距离这一栏始终相同。

图 7
同一个半径为 2 的圆与同一个点,在直角坐标和极坐标中分别表示;前者突出横纵位置,后者突出半径与角度。 O P √3 1 u v O P θ r = 2 0° 同一个圆,可以从不同的问题读起 直角坐标:横、纵各在哪里 u v 2 2 + = 4 圆周上,横纵数值一同变化 极坐标:离中心多远,朝哪边 r = 2 圆周上,半径不变而角度变化
同一个半径为 2 的圆与同一个点,在直角坐标和极坐标中分别表示;前者突出横纵位置,后者突出半径与角度。 O P √3 1 u v O P θ r = 2 0° 同一个圆,不同的阅读入口 直角坐标:横、纵各在哪里 u v 2 2 + = 4 横纵数值一同变化 极坐标:离中心多远,朝哪边 r = 2 半径不变,角度变化
图 7|同一对象,不同的阅读入口。两图画的是同一欧氏平面中的同一个圆。极坐标满足 u=rcos⁡θu=r\cos\theta、v=rsin⁡θv=r\sin\theta;对非原点,约定 r>0r>0 与 0≤θ<2π0\le\theta<2\pi 后可与直角坐标互换。原点的角度不唯一。极坐标是一种非线性坐标表示,不是换成另一组固定的线性基。

信息等价,不等于理解和使用它的代价相同。 若改问与坐标轴平行的矩形边界,直角坐标又可能更直接。

选择表示,就是选择哪些区别显眼、怎样提取和组合它们。完整换基本身不等于有损投影;再舍弃部分坐标,才可能抹掉区别。严格的投影还须说明投向哪个子空间、按什么规则确定结果。

都能逼近,为什么有的表示更省力

同一个目标也可以有很不同的表达代价。对已知周期变化 f(s)=sin⁡sf(s)=\sin s,零点附近的三次泰勒截断为

T3(s)=s−s36.T_3(s)=s-\frac{s^3}{6}.

加到九次项,得到用了五个非零项的 T9T_9,它在图示区间内已贴得很近;用包含 sin⁡s\sin s 的标准傅里叶函数族,则一个正弦项就能精确表示。

图 8
同一正弦函数分别与三次、九次泰勒多项式比较;傅里叶表示仅需一个正弦项。 −π 0 π -2 -1 0 1 2 s −π 0 π -2 -1 0 1 2 s 同一条曲线,不同的表示代价 ━━ sin s:一个傅里叶项,精确 ┄┄ 泰勒截断:逐次加入幂函数项 2 个非零项 · 3 次泰勒多项式 在 s = π:误差约 2.03 5 个非零项 · 9 次泰勒多项式 在 s = π:误差约 0.00693
同一正弦函数分别与三次、九次泰勒多项式比较;傅里叶表示仅需一个正弦项。 −π 0 π -2 -1 0 1 2 s −π 0 π -2 -1 0 1 2 s 同一曲线,不同的表示代价 ━━ sin s:一个傅里叶项,精确 ┄┄ 泰勒截断:逐次加入幂函数项 2 个非零项 · 3 次多项式 在 s = π:误差约 2.03 5 个非零项 · 9 次多项式 在 s = π:误差约 0.00693
图 8|能逼近与省力地逼近,是不同的能力。两幅图使用相同区间与纵轴尺度;曲线由明确公式生成,未拟合观测数据。这里比较的是给定表示中的非零项数,泰勒截断并非该次数下的最优多项式;“一个正弦项”也不等于计算机只需一次基本运算。

完备性关心最终是否够用,表示效率关心要付出多少代价。 哪套表示更省力,要看任务、精度,以及怎样计算成本。即使最终都能逼近目标,有限项数与精度下的成本仍可能差很多。这里比较的是给定构件的使用成本;发现该选哪些构件,还需要另付认识上的代价。

数学说明|泰勒多项式为什么能逼近本例的正弦

泰勒展开用某一点的导数确定多项式,不等于任意的数据拟合。对本例的正弦函数,取非负整数 mm;在 ∣s∣≤a|s|\le a、a≥0a\ge 0 上,泰勒余项给出

∣sin⁡s−∑k=0m(−1)ks2k+1(2k+1)!∣≤a2m+3(2m+3)!.\left|\sin s-\sum_{k=0}^{m}\frac{(-1)^k s^{2k+1}}{(2k+1)!}\right| \leq\frac{a^{2m+3}}{(2m+3)!}.

这里利用了紧随其后的偶数次系数为零。固定 aa 后,右侧随 mm 增大趋于零,因此这些截断在任意固定有界区间上一致逼近正弦函数。一般光滑函数未必等于自己的泰勒级数;不同函数族的“完备”也须指定函数空间与收敛标准。

两种表示也让人注意到不同结构:傅里叶系数突出频率成分,泰勒系数记录选定位置的函数值及各阶导数,突出局部变化;能否恢复整个函数,还取决于展开条件。

如果任务是辨认周期,按频率分解就有吸引力;有了这种表示,混在一起的周期又更容易被看出来。任务推动表示形成,表示让某些模式更容易被发现,新的问题再推动表示改变。任务与表示可以相互塑造;但一种表示的起源,不能单独证明它适用于新任务。

换一种排法,增加了什么

洗牌改变顺序,不会增加牌。把“降雨、积水、通行”三列记录连同表头重排,可能更方便看出关系,却没有增加一份观察。六种排法,也不是六份相互印证的证据。复杂的变换规则能整理可靠记录,也能编织未经验证的说法;内部运转顺畅,尚未决定它对现实是否正确。

代数延伸|重排保留了什么

三列的六种重排在复合下构成一个置换群:接连重排仍是重排,可以保持原样,也可以撤销操作。这个例子让我们关注变换中保持不变的东西——各列观测及其对应关系。丢弃信息的编码通常不可逆,任意推演规则也未必构成群。

给方向起一个名字,不等于找到了同名的实体

“雨季难行”先概括经验,随后却可能被当作新情境必须符合的规则。名字帮助记忆,也可能使待检验的解释显得理所当然。一个名字背后的联系,可能来自反复观察,也可能来自象征或类比;使用它时,这些不同来历很容易被遗忘。

在神经网络中,表示与命名也会错位。网络能学习大量特征及多层非线性组合,不必先由人为每一步命名。其能力来自结构、数据与训练的配合,不能只归结为维数大。LeCun 等,2015 一个神经元可能参与多种特征,一种特征也可能分布于多个神经元;人给出的名称,未必与内部计算一一对应。Elhage 等,2022 已有研究能识别和干预部分特征与路径,但覆盖仍有限。Anthropic,2025

能有效计算、能用熟悉词语说明、能证明对应真实机制,是三个不同的成就。

七、基底演化:地图怎样变好,取决于要走什么路

这套视角要帮助我们选对下一步。面对一项判断,可以沿着下面的索引检查;几种困难可能同时存在。

眼前的困难 先检查什么 可以尝试的改进
熟悉条件下奏效,换条件就不确定 过去真正见过哪些条件 补充跨条件比较,检查关系何时稳定
几个因素总一起变,贡献分不开 是否有让它们分别变化的证据 寻找有区分力的比较;另查因果前提
信息已有,模型仍表达不了 限制来自模型的哪些规定 改变表示或允许的关系形式
不同情境变成了同一份记录 所需区别在哪一步消失 补观察、回查材料或改进记录
信息足够,使用起来却很费力 什么结构被表示方式遮住 换一种组织方式,比较使用成本
每个反例都能被重新命名 什么结果会使哪条判断改变 明确修正条件,保留有根据的观察,检验新解释

换个场景试试。园丁的“养得好”经验都来自温室,每次浇水又总伴随施肥,却没记日照。能否用到露天、水肥各起什么作用、日照是否关键,分别需要跨条件比较、分开变化和补充观察。若露天试用失败,可以保留温室中的成功记录,撤回“到哪里都有效”的推广,再检查不同日照下的结果。失败并不要求把过去全部抹掉,也不能靠改叫“特殊情况”就算得到了解释。

再回到地图:补上海拔,是增加方面;把“高、低”细化为高度差,是提高分辨率;让海拔不再替路况作答,是拆开判断。三者都可能有用,却仍要看任务与核验范围。找车站时,示意图可能比地形图更好用;省略的价值或代价,取决于所问的问题。Potochnik, 2017

更丰富的记录若能恢复旧记录,就保留了复用旧办法的可能;实际收益仍受取得、学习和使用信息的成本约束。像录音与无声视频那样的表示,还可能各自保留不同信息,无法按一条“更多”的尺度排序。

形式说明|为什么保留旧信息,至少保留了旧策略

若新表示 R2R_2 可通过映射 hh 恢复旧表示 R1R_1,即 R1=h∘R2R_1=h\circ R_2,任意旧策略 g1g_1 都能被复用为 g2=g1∘hg_2=g_1\circ h,并给出相同输出:

g2(R2(x))=g1(R1(x)).g_2(R_2(x))=g_1(R_1(x)).

在任务和评价标准不变、允许复用这些策略且不计新增信息与计算成本时,新策略集合至少包含旧策略可实现的全部表现,因此最优表现不会更差。学习限制、测量误差与使用成本会影响现实收益。

人的记忆、时间和计算能力有限,这种“有界理性”帮助解释压缩为何有用;科学表征研究追问表示怎样支持关于对象的判断。Simon, 1956、Nguyen 与 Frigg, 2022 本文把这些问题连接起来:基本区分、推断联系和修正规则怎样配合,使人能在撤回一条联系时,保住其他有根据的判断。

从这里走向“基底演化”的历史研究,就要比较一次变化前后:哪些情况原来分不清,现在分清了?哪些判断原来绑在一起,现在能分别检查?这使哪些新问题有了可检验的答案? 布莱克的实验提供了一个这样的切片。考察更多变化时,还要追踪仪器、材料、训练与制度怎样使这些改进成为可能。

开篇纲领进一步提出:这类重构在人类知识发展中具有基础性作用。要支持这一纲领,就需在可比较的任务中反复发现:重要进展确实依赖区分能力、检查机会或适用范围的改善;若重要进展主要来自同一程序执行得更熟练、成本更低,而这些方面并无系统变化,就应缩小这条纲领的解释范围。任务本身不同的转变,也要先说明比较标准,才能判断何处变得“更完备”。

保存真实经验与修正理论,因而可以同时进行:既不让一处成功担保全部解释,也不因一处失败抹去全部经验。

回到开篇那些“很准”的体系,现在可以多问一句:这次成功究竟排除了什么,又有什么结果能让我改变判断?

经验帮助我们走熟一条路。更可修正的知识,还要让我们知道:凭什么判断它能走,何时走不通,下一次该补画什么。

参考文献

  1. Simon, H. A. (1956). Rational choice and the structure of the environment. Psychological Review, 63(2), 129–138. DOI;作者档案所藏全文。
  2. Nguyen, J., & Frigg, R. (2022). Scientific Representation. Elements in the Philosophy of Science. Cambridge University Press. DOI。
  3. Potochnik, A. (2017). Idealization and the Aims of Science. University of Chicago Press. 出版社书页。
  4. Popper, K. (1959). The Logic of Scientific Discovery. Hutchinson. 第 22 节区分可证伪性与实际证伪;相关章节原文。出版社后续重印版。
  5. Kovačević, J., & Chebira, A. (2008). An introduction to frames. Foundations and Trends in Signal Processing, 2(1), 1–94. DOI。
  6. Black, J. (1756). Experiments upon magnesia alba, quicklime, and some other alcaline substances. Essays and Observations, Physical and Literary, 2, 157–225. 本文据 Alembic Club Reprints, No. 1,1898 年重印本,第一部分,尤其第 14—19、30—31、35 页;1755 年宣读。数字转录本。
  7. 《黄帝内经·素问·阴阳应象大论》,尤其东方—风—木—酸—肝及情志对应段。中国哲学书电子化计划。
  8. Galen. Commentary on Hippocrates’ On the Nature of Man. W. J. Lewis 英译,J. A. Beach 协助,UCL Medicina Antiqua 数字文本;本文所据为 Kühn 版卷 15,第 51—66 页,网页段首数字对应该版本页码。译文。
  9. Peters, J., Bühlmann, P., & Meinshausen, N. (2016). Causal inference using invariant prediction: identification and confidence intervals. Journal of the Royal Statistical Society: Series B, 78(5), 947–1012. 作者预印本与期刊信息。
  10. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. 第 5 章,尤其第 5.2 节,Capacity, Overfitting and Underfitting。作者网站。
  11. Singh, A. (2015). Information Processing and Learning, Lecture 16: Sufficient statistics, information bottleneck, lossy compression. Carnegie Mellon University,讲授及记录:Aarti Singh;共同记录:Danai Koutra。本文参照第 16.1—16.3 节关于任务相关的信息保留与有损压缩的区分。课程讲义。
  12. LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521, 436–444. 作者论文与摘要。
  13. Elhage, N., et al. (2022). Toy Models of Superposition. Transformer Circuits Thread. 关于特征、方向、神经元多义性与叠加的模型研究。研究全文。
  14. Anthropic (2025). Tracing the thoughts of a large language model. 2025 年 3 月 27 日。研究者对 Claude 3.5 Haiku 局部计算路径及方法局限的报告,附原始论文链接。研究报告。
  15. National Center for Complementary and Integrative Health (2019). Traditional Chinese Medicine: What You Need To Know. 2019 年 4 月更新。按具体方法与健康问题整理研究证据。机构说明。
  16. 张廷玉等。《明史》卷七十四,志第五十,职官三,“钦天监”条。所据为日月交食预先推算、按占书条奏及保章正占候职责的记载。原文数字转录。
  17. 《沙门果经》(Sāmaññaphala Sutta),长部 DN 2,尤其 “The Passing Away & Re-appearance of Beings” 一节关于禅定后“天眼”之见的叙述。Dhammatalks 英译。
  18. Kim, J. S., Aheimer, B., Montané Manrara, V., & Bedny, M. (2021). Shared understanding of color among sighted and blind adults. Proceedings of the National Academy of Sciences, 118(33), e2020192118. DOI;研究全文。研究比较先天盲人与明眼人的颜色知识及推断。
  19. Forer, B. R. (1949). The fallacy of personal validation: A classroom demonstration of gullibility. Journal of Abnormal and Social Psychology, 44(1), 118–123. 程序与结果见原刊第 120—121 页。DOI;原刊扫描件。
  20. 《吕氏春秋·慎大览·察今》,刻舟求剑段。原文以寓言讨论时势变化与法的调整。中国哲学书电子化计划。
插图