愚者的专长

我听了最近 Ezra Klein 对 Nvidia CEO 黄仁勋的采访， 它差不多成了 AI 末日论的一块罗夏墨迹：如果你倾向于看到末日，黄仁勋听起来就是在敷衍搪塞；但如果你（像我一样）并不担心人类的未来会（打个比方！）断送在一个计算机程序手里，那他的回答就显得非常合理。（有一点例外：这家伙真的连自己家的邮编都不知道吗？！）

但我也觉得这次访谈错过了一个机会。黄仁勋正确地指出，现有法规（比如产品责任法）可以追究前沿实验室对其产品造成的伤害的责任（这一点 前 FTC 主席 Lina Khan 讲得更透彻）， 但他没有足够有力地回击 Klein。

具体来说，Klein 反复诉诸 AI 专业身份所赋予的权威：黄仁勋怎么能不同意 Geoffrey Hinton 这样的先驱？黄仁勋（正确地）指出 Hinton 的预测一向不准（比如他那条错得出了名的 2016 年预测：到 2021 年放射科将不复存在）， 但他错过了一个机会，没有解释 Hinton 为什么 错了：问题不只是（或者说主要不是）Hinton 没看清未来（或未来的某些方面），而是 Hinton 提出的主张远远超出了他专业能力的范围。

就拿放射科医生这个预测来说（它做得足够早，如今已被彻底证伪），我们可以有把握地说 Hinton 错了，因为他的预测没有反映放射科医生实际在做什么：如果 Hinton 当年肯先问一句，而不是发出危言耸听的警告（他在 2016 年明确说过不该再培养新的放射科医生！），他就会知道 从业者做的事远不止解读诊断影像！ 把影像解读做得更快、更好，并不会让放射科医生变得多余——恰恰相反，这让他们能更好地运用自己的专业能力服务患者！

这种“愚人的专业权威”在 AI 末日论者身上一再重演：他们在某一类系统（比如 LLM）上的经验，被他们当成了在另一个领域里的权威——而像 Klein 这样的人基本不会去质疑这种权威，因为他们不区分不同种类的专业能力。

在讨论灾难时，“傻瓜式专业能力”尤其危险，因为灾难几乎必然涉及跨越多个领域的长因果链：完全理解其中一环，并不等于理解整条链。（这正是为什么 NTSB 调查事故时，NTSB Go Team 由来自许多不同领域的专家组成：他们知道，一场灾难性事故可能涉及多个不同领域的故障，这些故障相互作用、层层级联，最终演变为更大范围的系统失效。）

把话说清楚：只要 AI 造成的末日风险在某种程度上依赖通向现实世界的路径，就必须咨询这些路径上的专家。AI 是网络安全威胁吗？那就去问网络安全专家——他们会立刻指出，被大肆渲染的 OpenAI 逃逸事件，靠的不过是一次再普通不过的隔离失效。我们担心 AI 会以某种方式制造出新型病原体？那就请咨询病毒合成方面的专家——并听听他们为什么认为这种恐惧站不住脚。又或者，我们害怕的是 AI 会掌控核武器？好消息：与全球热核战争的可能性共存了七十年，留给我们的不仅是大量保障措施，还有可供汲取的深厚专业知识。

这并不是说物理世界中的风险为零，而是说，沿着所提出的路径推演时，这些风险要分散和衰减得多。若想认真、冷静地审视这些风险，请看 RAND 的 On the Extinction Risk from Artificial Intelligence，作者是 Michael Vermeer、Emily Lathrop 和 Alvin Moon。他们通过咨询相关领域的专家来追踪这些路径——并且刻意不接触 AI 专家，文中写道（强调为我所加）：

在我们的工作过程中，我们还与 11 位 RAND 专家进行了交流：两位风险分析与 不确定性下决策专家，两位核武器专家，六位生物技术专家，以及一位 气候变化专家。我们刻意没有接触 AI 专家，因为在任何可能的情况下，我们都选择避免 预测 AI 能力未来将如何演变。 我们转而关注 在每个情景中，AI 需要具备哪些能力才能实现某些结果。

考虑到 RAND 的历史， 他们自家领域专家的冷静分析，远比前沿实验室传出的末日预言 更值得重视； 愿他们的分析能让我们对 恐惧的传染免疫！