LLMentalist 效应：基于聊天的 LLM 如何复制灵媒骗局的手法

过去一年多，我大部分时间都在研究语言模型和扩散模型在软件业务里的使用。

这项研究中的一个问题一直让我困惑：很多人确信语言模型、尤其是基于聊天的语言模型，是有智能的。

但大型语言模型（LLM）里并没有任何看起来能实现这一点的机制，而如果这件事是真的，它将完全无法解释。

LLM 不是大脑，也与动物或人用来推理、思考的任何机制没有实质上的共同之处。

LLM 是语言 token 的数学模型。你给 LLM 一段文本，它会给你一个在数学上说得通的回应。

没有理由相信它在思考或推理——事实上，迄今为止每一位 AI 研究者和厂商都反复强调过，这些模型并不思考。

对这种效应有两种可能的解释：

科技行业意外发明了一种全新心智的最初阶段，它基于完全未知的原理、使用在生物界没有任何对应的完全未知的过程。
智能的错觉存在于用户脑中，而不在 LLM 里。

许多 AI 批评者，包括我自己，都坚定地属于第二种。这也是我把我那本关于生成式「AI」风险的书命名为《智能错觉》的原因。

过去几个月，我一直在琢磨一个想法，我认为它解释了这个智能错觉的机制。

我现在相信，这些 LLM 里的智能和推理比我以前以为的还要少。

现在在我看来，许多被提出的用例都近乎带有欺诈性质的伪科学。

机械灵媒的崛起

智能错觉似乎与灵媒骗局基于同一套机制，那种手法通常被称为_冷读_。它看起来像是同一套基本套路的意外自动化。

通过使用_确认式陈述_，比如利用巴纳姆效应的句子，聊天机器人和灵媒都给人一种能给出极其具体答案的印象，但那些答案实际上是统计学上通用的。

灵媒用这些陈述来制造一种能读心、能听见死者秘密的印象。

聊天机器人制造出一种「有一个智能正在专门与你、与你的工作互动」的印象，但那印象不过是一个统计学把戏。

这个想法最早是在我翻看人们对这些「AI」推理能力的各种说法时冒出来的。

我一开始以为这只是技术泡沫里那些经典的狂热，但不是。「AI」既吸引了不同的一群人，而且「AI」泡沫的信徒听起来与以往泡沫的信徒很不一样。

—「这是真的。有点让人担心，但它是真的。」

—「那里真的有点东西。不知道该怎么看它，但我自己体验到了。」

—「你需要对可能性保持开放的心态。一旦你做到了，你就会看到这里面确实有东西。」

就在那时我想起来了，触发点是 Terence Eden 一篇关于聊天机器人回复里巴纳姆式陈述有多普遍的博客。这种话我_确实_听过。

这种敬畏、难以置信与恐惧的特定混合，听起来都像是心灵主义骗术受害者的说法——灵媒。

灵媒骗局是一种久经考验的骗人手法，历经岁月打磨。

下面我描述的是其中一个变体。变体很多，但核心机制不变。

灵媒的骗局

观众由一圈圆圈表示。不感兴趣的是灰色，感兴趣的是黑色

1. 观众自我筛选

大多数人对灵媒之类的东西不感兴趣，所以最初的观众群体本来就已经比总体人群更开放、更不挑剔。

圆圈现在有了不同颜色，表示他们不属于单一的人口特征

2. 布置场景

最初的观众被做了准备。灯光调暗。灵媒被造势。工作人员在社交媒体上或通过交谈研究观众。观众的人口特征被记下来。

所有表示未被选中特征的圆圈都被模糊掉

3. 缩小范围

灵媒掂量手头关于观众的信息，朝某一排或某一簇比划，然后说出一句听起来很具体、但对这个人群来说在统计上很可能成立的话。通常至少会有一个人有反应。如果没有，灵媒会暗示这个秘密太尴尬，「真正」的那个人不方便站出来，同时提醒大家他可以做私人解读，然后再试一次。

一个代表灵媒的红框，有箭头指向代表目标者的那个圆圈

4. 测试目标

这个反应表明目标相信自己被「读」了。这引出一连串问题，这些问题同样听起来非常具体，实际上却是统计学上通用的。如果目标没有反应，灵媒就宣布最初那次解读成功，然后再试一次。

目标者的圆圈与灵媒的方框之间有箭头互相指向，表示一个循环

5. 主观验证的循环

骗局正式开始。灵媒问出一连串问题，它们听起来都非常针对这个目标，实际上只是基于其人口特征和先前回答做出的统计学上的合理猜测，只是用一种具体、高度自信的方式说出来。

目标者的圆圈上出现一个感叹号

6. 「哇！这个灵媒是真的！」

灵媒结束对话，目标留下一种灵媒拥有不可思议能力的印象。但灵媒不是真的。这一切都是骗局。

1. 观众筛选

先知、塔罗牌师、灵媒、读心者并不都是骗子。有时候那位「灵媒」坦承这一切只是娱乐，并不假装能联络亡灵或读心。有些灵媒根本没有营利动机，在没有骗术的情况下，把某人叫做骗子似乎不太公平。

但其中很多_确实_是故意骗人的骗子，而他们用的都是同一套基本机制，这套机制在正式解读之前很久就开始了。

观众通常只由那些本来就倾向于相信灵异现象的人，以及他们成功拖来的人组成。硬核怀疑者几乎总是观众里极小的一部分，这既让他们容易应付，也给他们带来社会压力，让他们收敛自己的怀疑。

到场的人已经被预设成相信，而且早已熟悉围绕灵媒的那套神话。这一切都帮助灵媒管理预期、框定自己的表演。

2. 布置场景

通常在表演开始时，观众会被提醒灵媒解读「如何运作」的基本规则。媒体、电影和电视对这些规则的普及帮了忙。

现在人人都「知道」：

解读通常一开始是模糊不清的。
随着与「灵界」的「连接」变强，它们会变得清晰。
出错是正常的。「灵体」常常含糊，或者难以听清。
不信的人可能削弱甚至打断这种连接。

灵媒还会习惯性地研究自己的观众，摸清他们的人口特征、在社交媒体上查他们，甚至由工作人员在表演开始前混在观众里做非正式访谈。

当灯光暗下来时，灵媒心里应该已经清楚，哪些观众会是好目标。

3. 缩小范围

目标通常是自我选择的。灵媒说出一句话，并朝某一排指去，然后根据谁对这句话有明显反应，迅速调整自己的手势。这让它看起来像是从一开始就指向了目标。

目标就这样从一开始就被预设成相信这位灵媒。他们措手不及。通常有点惊讶，而且对灵媒紧接着抛出的那一连串问题毫无准备。如果那些问题奏效、把目标拉进来了，接下来才是真正的解读。否则，他们换一个人再试。

4. 测试目标——用主观验证做冷读

这个骗局——冷读——靠的是人类心理的一个怪癖：如果我们个人能对一句话产生共鸣，我们通常就会认为它是准确的。

我们心智运作方式的这个不幸副作用，叫做主观验证。

主观验证，有时也叫个人验证效应，是一种认知偏差：只要一个陈述或另一条信息对他们有任何个人意义或重要性，人们就会认为它是正确的。受主观验证影响的人会把两件无关的事（也就是巧合）感知为相关，因为他们个人的信念要求它们相关。

结果是，只要能对号入座，很多人会把哪怕最通用的陈述解读为_专门在说自己_。

他们越渴望在那句话里找到意义，这种效应就越强。

他们越相信说话者有做出准确陈述的能力，这种效应就越强。

灵媒骗局的基本机制，建立在目标愿意、并且能够把说过的话与自己联系起来，哪怕这是无意的。

5. 用确认式陈述构成的主观验证循环

灵媒利用这种认知偏差的方式，是说出一连串被设计成让人能对号入座、听起来很针对你、实际上在统计上通用的陈述。

这类陈述有很多种。我这里用_「确认式陈述」_作为所有这些手法的统称。

一些常见的例子：

巴纳姆式陈述大概是最著名的、能激发主观验证效应的那类陈述。其中许多本质上毫无意义，但听者仍然觉得它们准确。比如，大多数人会认为_「你倾向于对自己苛刻」_是对自己的准确描述。
消失的否定，指的是把问题改写为包含「不」这类否定词。如果灵媒问_「你不弹钢琴吧？」_，那么无论答案是什么，他们事后都能把这个问题重新框定成准确的。如果你回答否定：「我就说不是」。回答肯定：「我也是这么想的。」
彩虹诡计：灵媒同时把目标与某个特质以及它的反面联系起来。「你是个非常冷静的人，但被激怒的时候会非常生气。」
统计学猜测。像_「你的左腿或膝盖上有一道疤，或者以前有过」_这样的陈述几乎适用于所有人。只要掌握足够多的常见统计数据，灵媒就能说出一些对目标来说听起来_极其_具体的通用陈述。
人口特征猜测。与_统计学猜测_类似，这些陈述对某个人群来说很常见，但听在目标耳里会显得非常具体。
无法验证的预测。像_「有人对你怀有强烈的恶意，但不太可能付诸行动」_这样的预测无法验证，但很多人会觉得它很准。
霰弹枪式是比较常见的手法之一：灵媒一口气抛出一连串陈述。目标会觉得其中某一条准确，而由于我们大脑的运作方式，他们离开时只记得那条对的。

这个过程很重要的一部分是灵媒的语气和举止。他们必须自信，在犯错时迅速带过并继续，而且要能快速读懂人的表情和肢体语言，并相应调整自己的回应。

6. 骗局完成

到这个过程的最后，目标很可能记得那次解读诡异般准确——那位灵媒几乎有超自然的准头——这让他们_下一次再来时更加容易接受_。

骗局往往就是在这里变得阴险：目标越配合，这种效应就越强，而他们往往会随着时间变得更配合。

更重要的是，易受骗与智力无关。

一个从小被教育自己智商很高的人，比一个从小看低自己智力的人_更_容易上这种当。主观验证是人类心智的一个怪癖。我们_所有人_都会中招。但如果你认为自己不太可能被骗，你反而会倾向于用自己的智力去「弄明白」它是怎么发生的。这意味着你可能动用相当可观的创造力和智力去_帮_灵媒骗你，为他们的「能力」编出合理化解释。而因为你觉得你不可能被骗，你还会动用智力去_捍卫_灵媒关于自身能力的主张。聪明人（或者说，自认为聪明的人）可能成为最大、最肥的目标。

而一个看低自己的怀疑者，更可能只是说：

「这招挺妙的。我不知道你是怎么做到的。一定非常聪明。」

然后就走了。

很多灵媒把自己也骗了

灵媒在无意识中发展出下意识冷读的本事，并不罕见。灵媒本人甚至可能都没意识到自己在用这些手法。

正如 Denis Dutton 所描述的：

作为一名追求科学生涯的研究生，他对占星术产生了兴趣。尽管在这段时期他对占星术的物理基础一直隐隐怀疑，但许多满意的客户鼓励他继续做下去，这些客户无一例外地觉得他的解读在描述他们的个人处境和问题方面「惊人地准确」。直到有一天，他对一份星盘得到了如此令人满意的反应，而他后来意识到，那份星盘他完全排错了——直到那时，他才慢慢理解自己这项活动的真正性质：他作为占星师的成功与占星术作为一门科学的有效性毫无关系。事实上，他已经成了一名熟练的冷读者，一个在客户不断强化的作用下真诚相信占星术力量的人。当然，他在骗他们，但那是在他自己也上了这个当之后。

一旦你开始做研究，这样的例子很容易找到很多。机制足够简单，而且早已嵌入人们对解读如何运作的既有认知，所以很多灵媒意外地练出了这套本事，这意味着他们不只是在骗被解读的人，他们也在骗自己。

这一点后面会变得重要。

LLMentalist 效应

1. 观众自我筛选

对「AI」聊天机器人持怀疑态度的人更不可能去用它们。那些并不积极否认聊天机器人有「智能」之可能的人，不会被机器人拉进去。最活跃的观众会是早期采用者、技术爱好者和真心相信 AGI 的人，他们普遍更不挑剔、更开放。

圆圈现在有了不同颜色，表示他们不属于单一人口特征，上面叠加着「Hype」一词以及表示弥漫炒作气氛的箭头

2. 布置场景

用户被围绕这项技术的炒作预设好了。聊天环境设定了情绪和预期。关于「还处在早期」和「幻觉」的警告，既把机器人拟人化，又为它持续不断的失败被注意到时提供了现成的借口。

所有表示未被选中特征的圆圈都被模糊掉

3. 提示词建立上下文

每个用户给聊天机器人一个提示词，它给出回答。很多人要么直接接受给出的答案，要么反复变换最初的提示词来得到想要的结果。他们继续往前走，没有陷入这种效应。但有些用户会开始对话，被拉进去。

若干代表目标的圆圈通过循环箭头与代表聊天机器人的方框相连，其余被模糊

4. 目标自我测试

聊天机器人的回答听起来极其贴合当前上下文，实际上是统计学上通用的。聊天机器人背后的数学模型对这个问题给出一个统计学上说得通的回应。觉得这有说服力的目标被拉了进去。

目标者的圆圈与聊天机器人的方框之间有箭头互相指向，表示一个循环

5. 主观验证的循环

目标问出一连串问题，所有回复听起来都像是针对当前上下文的、有推理的答案，实际上只是统计学上可能的猜测。目标投入得越多，就越相信聊天机器人有智能。

目标者的圆圈上出现一个感叹号

6. 「哇！这个聊天机器人在思考！它闪现了通用智能的火花！」

目标留下一种印象：这个聊天机器人不可思议地接近自我意识，而且肯定具备推理能力。但它不过是一种统计学和心理学的效应。

1. 观众自我筛选

如果你对「AI」不感兴趣，你就不会去用「AI」聊天机器人；而如果你试了一个，你回来的可能性也更低。

这意味着这些聊天机器人的很多狂热用户是自我筛选出来的：他们对 AI 领域和通用人工智能（AGI）这一概念热情而开放——相信这些技术可能通向具备自我意识和自我改进能力的推理系统。

那些真正对 AGI 抱有热情的人——相信这个领域即将发明一种新的心智——使用这些聊天机器人的热情很可能远高于其他人。

这与灵媒骗局的观众筛选是平行的。相信有来世、并且相信生者能与来世联络的人，去听灵媒解读的可能性远高于其他人。

2. 搭好台子

我们当下这个无休止炒作的环境搭好了台子，并建立起一种期待：至少能看到几丝真正智能的微光。尽管厂商一再警告这些系统不是通用智能，但这些话后面总跟着一个隐含的或明确的「还」。炒作强烈暗示这些是「近乎」智能的东西，你应该能在其中感知到智能的「火花」。

相信的人已经被预设好接受主观验证。

那些警告也在搭台子中起了作用。「还处在早期」意味着，当回复在统计上通用的本质被看出来时，它很容易被当成一个「错误」打发掉。使用「幻觉」这类拟人化概念，有助于把「统计性回复与意义和事实完全脱节」这个事实打发掉。AI 的炒作和_神话_把观众预设成把这些系统当作需要理解、需要互动的人，几乎必然导向主观验证。

3. 提示词建立上下文

最初的提示词交互是第一道筛选。大多数人只会拿走第一个答案然后离开，或者至多反复变换提示词，直到得到他们想要的结果。这些交互纯粹是机械的。终端用户只是把聊天机器人当成一个生成式小工具，所以他们永远不会被拉进 LLMentalist 效应。

一部分终端用户，通常是那些对「AI」前景更热情的人，会开始与一个数学语言模型投入「对话」，并被拉进去。

4. 目标自我测试——主观验证开始起作用

那段对话是主要的筛选器。想相信的人会把自己提示词的回复看成既是专门针对自己的、又是有智能的。他们被预设成把这个聊天机器人当作一个正在读_他们的_文本并深思熟虑地回应他们的人。但语言模型不是这样工作的。LLM 把一门语言里的词和短语建模为 token 的分布。它们的回复不过是提示词在统计上可能的延续。

你给它文本。它给你的回应，与训练数据里像你这样的文本通常会得到的回应相符。

这已经在按与灵媒骗局相同的基本原理运作了：LLM 并没有在「读」你的文本，就像灵媒并没有在读你的心。它们根据你说的话，给你统计学上说得通的回应。是你在想办法把这些回应验证成针对你、针对对话主题的。

因为训练数据集如此之大，聊天机器人的回复会显得_极其_有说服力、极其具体，尽管它们在统计上是通用的。一旦你拿过去二十年里大部分网络内容、大量盗版电子书、整个 Reddit、大部分社交媒体，以及低薪工作者做的相当数量的定制交互训练过，这个模型几乎对你能想到的任何东西都会有回应，或者能用它已经见过的东西的一个变体。

这些最初的交互可能相当有吸引力，尤其是如果你是个「AI」信徒；但真正让这种效应起作用的，是更长、更反复的对话。

5. 主观验证的循环——RLHF 登场

在这个阶段，重要的是记住基于人类反馈的强化学习是如何工作的。

这是厂商用来把一个原始语言模型变成能进行对话的聊天机器人的方法。

RLHF 并不让厂商对 LLM 的输出做具体的修正。这套方法是用人类反馈给模型生成的各种文本排序，通常是在某种其他形式的微调之后。排序后的文本又被用来训练一个单独的奖励模型。真正对 LLM 做强化学习的是这个模型。奖励模型，加上在对话集合上对 LLM 的微调，把一个普通模型那种近乎失控的对话，变成了你在 ChatGPT 这类系统里看到的流畅体验。

因为反馈基于排序，它很难建立在具体问题上。如果一个模型在对话里说了一句假话，那段对话得到的排名会更低。

这种具体性的缺失很可能意味着，RLHF 模型总体上倾向于奖励那些_听起来_准确的回复。由于奖励模型很可能只是另一个语言模型，它无法基于事实或任何具体的东西来奖励，所以它只能奖励那种语气、风格和结构与「被评为准确的陈述」通常相符的输出。

连那些评分本身都可疑。给 AI 厂商提供这类反馈的工作者，大多数（如果不是全部）是低薪工作者，不太可能具备与所评主题相关的专门知识；即使有，也不太可能有时间去核实一切。

这意味着他们的排序几乎完全基于语气和句子结构。

这就是为什么我认为 RLHF 实际上已经变成了一套奖励系统，专门把语言模型优化成生成确认式陈述：巴纳姆式陈述、霰弹枪式、消失的否定，以及统计学猜测。

在试图让 LLM 听起来更像人、更自信、更引人投入，却又无法编辑其输出中的具体细节的过程中，AI 研究者似乎造出了一个_机械心灵主义者_。

它不通过统计学上说得通的确认式陈述来假装读心，而是通过统计学上说得通的确认式陈述来假装读懂并理解你的文本。

这个验证循环可以持续一段时间，目标一直在做那件工作：说服自己这个语言模型有智能。做得足够久，它就会变成一种_对目标本人_的强化学习。

6. 目标变成啦啦队

最热情地相信 AI 革命即将到来的人，开始听起来与长期相信灵媒和读心术的人非常相似。

他们提出越来越绕的想法和模型，来解释为什么不可能的事是可能的。他们越来越轻视那些挑战他们世界观的科学与研究领域。他们自己的说法也开始带上敬畏与恐惧。

而且他们不停传福音。这是真的！

后面常跟着：这很危险！

记住，当目标既聪明又_想要相信_时，这种效应会变得_更_强。主观验证基于我们心智的一般运作方式，与你自报的智商无关。

真要说的话，你的智力只会提升你为自身主观验证编造合理化解释的能力，让效应更强。当它与真心想要相信这个骗局的渴望结合在一起——相信我们正处在发现通用人工智能的前夜——这种效应一旦扎根，就既不可抗拒又强大。

这就是为什么你不能靠用户报告来发现这些问题。相信灵媒的人通常只会说灵媒的好话，即使他们正在被骗。相信我们即将造出 AGI 的人，只会说支持这一信念的聊天机器人的好话。

这很容易上当

上这个统计学错觉的当很容易。它与你的智力、甚至与你的轻信都无关。是你的大脑在跟你作对。大多数时候，对话是协作性的、私人的，所以你大脑被优化成在这种情形下从说过的话里找出意义。如果你还_想要_相信——无论是相信灵媒还是相信 AGI——你的心智就会热心地从你正在进行的对话里找出_去_相信的理由。

一旦你陷得太深，做了一轮媒体巡回、把自己作为一个公众人物押在这个想法上，要撬动「我们现在有了一个原初 AGI」这个信念就变得不可能了。就像一个科学家公开宣称自己相信某位特定的灵媒，他的自我形象会与对那位灵媒的信念缠在一起。任何对这一现象的否定，在他们感觉都像是人身攻击。

灵媒骗局是一套多年来在骗人方面异常成功的机制。它管用。

最好的防御，就是像面对一次有说服力的灵媒解读那样回应：「这招挺妙的，我很好奇他们是怎么做到的？」

好吧，现在你知道了。

一旦你意识到自己心智运作方式的可错性，你就应该更容易发现这种可错性正在被利用，不管是有意的还是无意的。

这就引出一个重要问题。

这是有意的吗？

考虑到科技行业里有数十亿美元的利益，人们很容易假设这个智能的统计学错觉是科技行业里的人有意造出来的。

我个人认为那极不可能。

对各种政府阴谋论的一个流行回应是：政府机构就是没那么擅长保守秘密。

那么，科技行业就是没那么擅长做软件。老实说，这个错觉太聪明了，不可能是造它的人有意造出来的。

AI 研究领域有不重视其他领域价值的声誉，所以我确信这次对灵媒骗局的重新实现完全是意外。很可能是这样：由于不了解心理学界关于认知偏差的大量研究，也不了解灵媒骗局如何运作，他们跌跌撞撞撞上了一套机制，造出了连很多聊天机器人的制造者自己都骗过去的聊天机器人。

还记得我上面写的吗：灵媒常常把自己也骗了，很多人甚至没有意识到自己在行骗？

这里同样适用。我认为这是一个曾经不明白自己在做什么、如今也不明白自己做出了什么的行业。

这就是为什么技术界有那么多的人完全、彻底地确信，他们造出了真正的通用人工智能的第一颗火花。

这个技术新时代似乎建立在迷信与伪科学之上

一旦我开始研究「LLM 交互是灵媒骗局的一个变体」这个可能性，我就开始在「AI」领域到处看到平行对应。

把一个语言模型接到核磁共振仪上，宣称它能读心。
宣称能根据面部表情和步态辨别犯罪倾向。
为健康问题提出魔法般的解决方案。
字面意义上的预言未来。
宣称能辨别潜在员工的诚实程度。

所有这些都是被提出的「AI」系统应用，但它们同时也都是常见的灵媒骗局。读心、协助警方、信仰疗法、预言，甚至灵媒式员工审查，全都是_直接来自心灵主义那本手册_。

尽管我毫不怀疑这些努力是真诚的，但越来越明显的是，科技行业已经把自己整个交给了迷信和伪科学。他们一直忽视来自其他领域的警告，以及自己阵营里批评者的担忧。

大型语言模型并没有功能或特性来弥补这波迷信。

「幻觉」是 LLM 运作方式里根深蒂固的普遍缺陷。
摘要很容易出错，而且容易对被摘要的文本做过度概括。
它们的「推理」是一个统计学错觉。
它们在自然语言处理任务上的表现只比更小的语言模型好一点点。
它们倾向于记忆并复制文本而不注明出处。

合在一起，这些缺陷让 LLM 看起来不太像一种信息技术，而更像对_灵媒热线_的一次现代机械化。

把你的决策、排序、评估、战略、分析，或者任何其他形式的推理委托给一个聊天机器人，在功能上等同于打电话给灵媒求建议。

想象一下谷歌或某家大科技公司试图通过在首页加一条灵媒热线来修好他们的搜索引擎？这就是他们用 Bard 在做的事。

—「我们的大学生完全看不懂我们的网站。我们加条灵媒热线吧！」

—「我们需要改进客服门户。我们加条灵媒热线吧！」

—「我们在你的浏览器里加了一个灵媒热线按钮！不，你不能去掉它。不用谢！」

—「看不懂我们的技术文档？请咨询我们全新的灵媒热线！」

AI 泡沫会是一场难熬的天气。