为什么我没有签署菲尔兹奖得主们的那封公开信
Gowers 赞同「我们正面临危机」,但不同意「概念理解高于解题」是唯一正确态度:他把数学家的动机看成一条谱系,并逐条比较「模型全面超越人类」与「国际协议限制发布」两种未来的得失。
中文
复制
[本文同时发布在 Terence Tao 的博客。]
我大约 11 岁的时候第一次听说费马大定理。我立刻被它的陈述以及随之而来的故事吸引,并且相当认真地尝试去证明它。不出所料,我失败了,但从这次尝试里学到了很多。当时我完全不知道 n = 3 的情形早在两百多年前就被欧拉证明了,我认定那是个不错的起点:只要把它解决,我就有希望去对付一般情形。
由于我仍然看不出该从哪儿下手,我决定把问题再简化一步,转而研究立方数的逐次差分,想说明这种差分本身不可能是一个立方数。那时我还不知道如何用代数语言表达我在做的事,所以并没有明确去证明丢番图方程 3n² + 3n + 1 = m³ 无解。我只是算出若干逐次差分,盯着它们看,想弄明白为什么它们都不是完全立方数。(需要说明:半个世纪后只留下一些模糊的记忆痕迹,这段叙述是我根据推断重建的,未必完全可靠。)某个时刻,我想到去取「差分的差分」,发现它构成一个等差数列。那感觉像是进展,于是我又多研究了一会儿差分,并且纯凭经验发现了这样一条规律:如果从 n 次幂出发不断取逐次差分,最终会得到常数序列 n!, n!, n!, …。
不知怎么地,我始终没能把这个观察变成费马大定理的证明,后来我解决它的梦想也被别的数学梦想取代了。不过,当我在数学教育中真正学到「取差分」以及多项式会发生什么时,我对这些内容的理解远比没有自己发现差分数列、并快乐地玩上几个小时要深。我提这个故事,只是为了说明 25 位菲尔兹奖得主联署的那封信所强烈强调的那个现象:思考一个问题的过程本身就让人学到很多,无论最后有没有解决它。
但最终,我还是觉得自己不能签署那封信,尽管我同意其中很多内容。相反,我觉得更好的做法是像当初对待《莱顿宣言》那样,用一篇博客文章陈述我自己的立场。但也要理解:这样做并不意味着我把自己归入某个对立阵营——事实上,我目前的担忧之一就是数学界可能会变得严重撕裂,而这是我很想避免的。同样,在根本问题上我同意我们正面临一场危机:我只是想对「这场危机究竟是什么」给出一个略有不同的分析。我并不宣称这个分析完全原创,因为我知道其他几位数学家已经提出过类似的看法,不过(不管这值多少)我基本上是独立得出这些结论的。
说到「独立」,也许需要澄清一下:我在 OpenAI 的数学组有联系人,也拿到过他们部分模型的早期访问权(通常只在发布前几天),模型发布后还获得过他们 Pro 模型的免费使用权,但我从未从 OpenAI 拿过报酬。我提这一点,是希望(也许是天真地)我写的东西不会因为对人和动机的揣测而被一笔勾销。另一个让我被视为「亲 AI」的可能原因是:正如我多次公开说过的,我在剑桥有一个专门做自动定理证明的小组。但这其实更该是「反 AI」的理由,因为我们小组一直试图通过尽可能理解人类如何证明有意思的定理,来攻克「让计算机证明有意思的定理」这个问题;既然现在 LLM 显然可以在没有我们这类洞见的情况下做到,我们工作的主要动机之一就消失了。换句话说,我们不得不吞下「苦涩的教训」(当然我们一直知道这完全可能发生,只是发生的速度让我们意外)。我确实仍然认为,即使可以把 LLM 当黑箱使用,试图获得这种理解依然是极有意思、极有价值的智力练习——但那是另一篇博客的主题了。
那么,我为什么没有签署那封信?让我从信里摘出两句,它们表达了在我看来是主要论点的那部分。
但解决问题只是实现概念理解与洞见这一首要目标的工具与代理。在 AI 的世界里忘记这一点,可能让工具反噬首要目标。事实上,以越来越快的速度批量生产「真/假」陈述,可能会摧毁肥沃的土壤,而不是为新想法注入生命。
我没有签署,也许最主要的原因是我并不完全认同这个看法。我有一个更复杂的观点,实际上我在四分之一世纪前的文章《数学的两种文化》里就表达过,可以概括为:对于「解决问题」与「概念理解」之间的关系,数学界存在一个态度谱系。谱系的一端,是主要被「解决问题」的愿望驱动的数学家,他们把概念理解看作实现该目的的非常重要的手段。另一端,是主要被「获得概念理解」的愿望驱动的数学家,他们把解决问题看作实现那个目的的非常重要的手段。我担心这封关于「严重错位」的信会被读成:所谓「正确」的态度是把概念理解当作首要。上面那两句差不多就是直接这么说的。但我认为数学家分布在整个谱系上,而这是件好事(或者说,迄今为止一直是好事——未来就远没那么确定了),我也不想向包括我自己在内的一大批数学家暗示:他们的数学性情有什么「错」。
我自己的数学态度与 Jacob Tsimerman 的一条推文(他也未签署那封信)里所精彩表达的那种非常接近;现在回头看,那条推文说了很多我在这里要说的话。而那条推文又是对 Daniel Litt 的回应——在我看来,他是关于数学与 AI 最明智的评论者之一。他的观点表达在这里的一篇后续文章中,我特意在写完本文之后才去读它,然后不出所料地发现两者有大量重合。我也想借这个机会推荐 Noah Smith 的一篇好文章,题为《英雄时代的终结》,万一你还没读过。
到目前为止我谈的都是个体的数学理解,但我猜测,大多数签署者更关心的不是这个,而是至少部分产生于「人类解决问题这一活动」的集体理解。我的猜测是,他们(完全自洽地)会主张:即使集体理解才是首要目标,如果许多个体主要被解决问题的愿望驱动,那也完全没问题,并且同样对集体理解有贡献。
按这种解读,问题就略有不同:究竟是「数学界的集体理解尽可能先进」更重要,还是「尽可能多的问题有答案」更重要?又或者这两者是以不同方式有价值的,因此没必要宣布哪个更重要?还是它们如此密不可分,以至于争论孰重孰轻根本没有意义?而当你说「重要」时,是对谁重要:对数学家,还是对整个社会?
我觉得这些都是难题,所以我不想直接宣布一个答案。(你看我在这里干了什么?)相反,对我得出的任何结论,我都想尽量给出一些论证,即使这些结论只是暂定的。那就比较两种情境吧。在第一种情境里——我认为这更有可能真的发生——出现了公开可用的模型,它们在解决问题上比几乎所有数学家都强。即便还剩下少数能做模型做不到之事的人,他们只要大量借助模型,工作速度也远快于从前。于是,在很短时间里我们得到了许多我们深切关心的问题的答案,但我们收到答案的速度远远超过数学界吸收它们的速度。特别是,其中大多数答案是数学家零成本获得的——只靠一句「谢谢,请继续」这样的提示。
在第二种情境里,出于完全不同的原因,国际社会达成协议,阻止公开发布比我们现有模型强大得多的模型;科技公司里的数学家也同意不让内部模型去解决重大问题。他们转而接受数学界的指引:只有当某个足够有代表性的机构判定「拿到某个问题的解答所带来的收益,超过人类在更长的时间尺度上苦战所带来的收益」时,才去解决那个问题。
我想考察这两种情境对个体理解与集体理解分别意味着什么差异。先看个体理解。
有人可能会说,对于个体理解而言,即便我们突然被大量重大新结果淹没,也不会有太大变化。外面已有的数学远远超出我有希望理解的范围(比如,尽管费马大定理被证明时我着迷不已,我却从未尝试去理解那个证明);即便在我确实理解的部分里,我自己发现的那部分也只是很小一块,但那一块是我理解得最深的(至少一时如此——过一阵子我会遗忘,失去相当多曾经建立起来的理解)。不过有一个变化,从建立个体理解的角度看似乎算是正面的:可研究的结果会有多得多的选择。另外,如果我们在某处卡住,AI 也能帮我们。最可能出现的负面变化是,我们大概会不再锻炼大脑中「用几个月甚至几年死磕一个困难研究问题」的那部分能力,而那对发展理解力可能极有帮助。
我说「大概」,是因为原则上没人阻止你不借助 LLM 去思考非常难的问题,但实践中人们似乎不太可能投入现在这样的努力。这有点像导航软件带来的情况:你当然可以选择不用,以保持「看地图、记路线、照着走」那部分大脑的活跃,但实践中大多数人都屈服于使用导航的诱惑。(事实上,我自己确实努力让那部分大脑保持活跃,最近有一次我先在手机上草草查了路线,真正出发时却忘了带手机,最后自己找到了地方,我对此还挺得意。)不过,即使我们做的只是阅读 AI 的输出,我认为大脑里的「解题肌肉」也不会完全萎缩。当学生读数学论文时,我强烈建议他们(我认为这也是相当标准的建议)要「主动地读」而不是「被动地读」:比如自己先尝试证明那个结果,只在卡住、需要提示时才去看论文,而且即便看,也只取那点提示、尽量少看别的。如果那样读论文,你其实一直在解题,有些只是练习,有些则难得多。LLM 很可能能了解我们的数学背景,并给出恰到好处的提示,让我们以这种主动的方式读完一篇论文。是的,我们会失去那种「自己解决了一个难题」所带来的特别深刻的理解与拥有感,但数学的进展是否会因此受损,我并不清楚。我很想听到针对这一点的反驳。也就是说,我想知道,在一个 AI 找证明远比我们强得多的世界里,那种与一个证明深度纠缠的理解究竟有什么用处。
那集体理解呢?让我再引一段信里的内容。
事实上,以越来越快的速度批量生产「真/假」陈述,可能会摧毁肥沃的土壤,而不是为新想法注入生命。
这些解答常常被匆忙公布,没有时间好好写清楚、提炼出新的方法与想法、引用他人此前相关工作。与所有创造性职业一样,这带来了严重的署名与抄袭问题。而且,如果没有那些愿意花精力把 AI 构想发展、整合进数学正典的数学家,AI 产生的想法就永远不会真正活起来,数学家之间关键的人类传承链条也会断掉。
我稍后会回到关于正确引用的问题,先聚焦于我认为这里的核心担忧:如果结果被证明得太快,消化过程就会变得不可能。我确实担心结果得不到恰当消化,但理由不同。
第一点:AI 产出的并不只是「真/假」陈述。我们现在不仅知道带光滑外力的 Navier-Stokes 方程允许有限时间爆破,而且拥有这个结论的证明,它建立于人类数学家大量出色的工作之上。过去很多人担心 AI 会用完全不可读的证明解决我们最爱的问题,但事实并非如此,尽管它们的写作常常有很多地方亟待改进。(顺便说,我认为这些不合格的写作几乎肯定是暂时的麻烦,因此不构成对数学实践或未来数学理解的根本威胁。)
第二点:即使新结果的数量很大,数学是一门高度专业化的学科,数学家可以并行工作。比如,如果我们一年要消化 1000 个重要结果,且它们大致均匀分布在数学各领域,那么大多数数学家子群体可能只需要理解其中约 30 个;而对每个具体问题来说,真正该带头去理解的,可能只是少数几位专家,且这些专家因问题而异。所以任务会很重,但未必不可能。
在这个背景下,值得想想人类数学家产出的巨大数量——即便在 AI 之前,这个数量近来似乎也在增长。我有时听到对这件事的抱怨,但肯定没听到有人建议人类数学家应该放慢证明有趣定理的速度。这可能部分是因为这些定理的作者愿意花功夫把论文写好、把报告讲好。但那些写得不好、报告也让人听不懂的大量论文(其中不乏重要论文)又怎么算?那会令人恼火,但那是一种熟悉的恼火,我们并不把它当作危机。
第三点:即使 AI 产出的数量大到我们无法恰当消化,那也未必是坏事。打个不完美的比方:现在流媒体上的内容多到任何人都不可能看完,结果是几乎肯定有一些非常好的内容几乎没人看。但这并不显然比「内容少得多、且每一部都得到了应得的关注」更糟。回到数学:如果 AI 生成的内容多到我们无法消化,那我们可以选择消化其中哪些部分。
为此我们需要大致知道有什么在那里(这有点类似于人类数学家通常对自己领域内已知结果的了解相当多,即使并不详细了解其证明)。一种做法是建立一个设计良好的数据库,大概率需要 AI 帮忙。但也许并不需要,只要跟 LLM 对话、请它对你想以那种「知道有什么」的方式去理解的数学领域给出一个鸟瞰即可。
担忧似乎在于:数学中某些非常有意思、非常重要的部分会被 AI 发现,然后被忽视;而如果它们是被人类数学家发现的,就不会被忽视。这有可能成立,但真正重要的是:AI 发现而未被忽视的有趣且重要的数学,其数量是否会超过「如果 AI 只扮演较温和角色、本来会被人类发现并恰当消化」的数量。
简而言之,在我看来,虽然 AI 成果的洪水很可能增加「未被恰当消化的重要数学」的数量,但它很可能同样增加「被恰当消化」的数量——这看起来是笔相当划算的交易。
让我简短谈一下「AI 不恰当署名人贡献」的问题。我同意这在当下是个严重问题,但在我看来它同样是暂时的问题。很快,整套「署名体系」必然会崩塌,因为找到一个惊人的证明,将不再比一位公民科学家用望远镜发现一个天体、而它恰好是一颗新彗星,更像一项智力成就。在那之前,给人应得的署名很重要,因为职业生涯可能依赖于此;但很快这一点也将不再成立。我得说,我对这个问题的存在感到困惑,因为我本以为,如果你让一个 LLM 看一份证明、告诉你其中哪些想法接近文献里已有的想法,它会极其擅长这件事。我希望这个谜题的答案不是「人们太匆忙,根本没费心去做这件事」,但我担心至少在某些情况下就是如此。如果是这样,那些粗心的人理应受到批评,但与数学的存亡相比这是小事,尤其是如果引用缺失能被迅速纠正。
所有这些是否意味着,我乐观地认为数学家在 AI 之后的世界里最终消化的数学,至少会与「AI 无法证明重大定理」时一样多?并不完全如此。但我担心的不是我们做不到,而是目前支撑这一消化过程的社会结构会被摧毁,且没有被充分替代。
一种可能的情形是:AI 对社会造成如此大的破坏,甚至杀死我们中的大量人,以至于「保存类似当前数学传统的东西」不再有人关心——唯一重要的只有人类的存续。但那同样是另一篇博客的主题(事实上我正在写)。
不如假设我们运气不错,AI 大体上仍在控制之内。那么我的担忧是:我们没能把自己所知传给新一代数学家。就我自己而言,我成为数学家的主要动机,是「我会解决未解问题」的梦想——越有名越好。我也一直远比阅读书本和论文、学习他人的数学,更偏好直接思考一个问题。(我不是说这很好,只是在陈述关于我自己的一个事实。)如果「解决一个著名问题」的梦想不存在,我不确定自己是否会成为数学家。我并不完全排除这种可能:也许真正驱动我的是我对这门学科有天赋,而解决问题是从一小群同行那里获得尊重的方式。也许我本可以用别的方式获得那种尊重,比如死磕某个数学领域,直到我能向别人展示我对它的理解有多深。但我不确定那对我会多有驱动力。我非常希望存在一群年轻人,对他们来说那会是强大的驱动力,因为我认为人类数学传统的存续很可能取决于此。
因此,在我看来,首要风险是:许多本来会去读数学博士、进而成为数学传统守护者的人,不再愿意这样做。我们这些带博士生的人(包括我)需要尽力想出有想象力的方式,让他们的时间产生价值(当然要与学生本人商量)。我们在这件事上做得好不好,可能对数学的未来产生巨大影响。另一个相关风险是,决策者会认为数学家不再被需要,经费将变得难以获得:我们迫切需要想出好的说法,解释「拥有一大批人类数学专家」的价值,即使发现新证明已不再是他们的职责。
我没有签署那封信的最后一个原因是:我不太确定它在要求什么、而这件事现在还没在发生。看起来用不了几个月,就会有能够解决重大数学问题的 LLM 发布,而它们对更普通的问题大概毫无困难。无论我们多遗憾,这类模型对数学的冲击都不可能说服 AI 公司停止发布——尽管也许对安全的担忧会带来一些延迟,多给我们一点时间去想怎么适应。假设它们发布了,新结果的洪水就会到来,无论我们是否愿意;而且产出者将不再只是 AI 公司,尽管也许这种格局会延续:AI 公司能用上更强的模型,从而拿到超出其份额的头条成果。所以我并不觉得批评 AI 公司「生成太多解答、太快」能得到什么。事实上,这么做很可能只是把本来就会发生的事提前了两个月,甚至可能让这些结果以比「模型公开后由随机人发现」更可控的方式发布。在这种情况下,我认为我们所能做的最好的事,是认清即将到来的变化,并努力找出最不糟糕的应对方式。