LLM 腔
Martin Fowler 说,读到 LLM 写的文章时会有一种说不清的抵触,像掉进文字版的恐怖谷,这种反应不是检测工具能安慰的。他给作者的建议很直接,别让模型写初稿,那股腔调在编辑阶段是赶不出去的。
中文
复制
有时读一篇文章,我会越来越强烈地觉得,自己读的是 LLM 的输出。我说不清判断依据是什么,虽然那些常见的迹象都在(不是破折号,是那些承重挂毯)。这种感觉一上来,我继续读下去的欲望就一点点枯萎,有时甚至到了反感的地步。
市面上有些工具号称能分辨 LLM 写的文字和老式生物制品。我对它们持怀疑态度,一部分是怀疑其准确率,另一部分是因为这有点没抓住重点。对 LLM 腔的反应是人的反应,是那种“我们正身处散文的恐怖谷”的感觉。等我需要动用工具来判断自己在读什么的时候,已经太晚了,哪怕它信誓旦旦地告诉我文中没有 LLM 的痕迹。
我也怀疑自己准确识别 LLM 腔的能力。语言随时间变化,所以抱怨年轻人的语言是上了年纪的常见症状。看到“采用新的销售动作”“一则犀利的新闻综述”这类文字,我本能地反感。但这些说法我亲耳听人讲过,所以这更像是代际差异,而不是碳与硅的差异。(另外,作为一个移居过来的英国人,美国腔就别提了,我肯定马上就能习惯。)
眼下我劝作者们格外提防 LLM 腔。尤其强烈建议作者不要掉进让 LLM 写初稿的陷阱。哪怕初稿经过人工编辑,LLM 腔也很难清除,于是就有了恐怖谷反应。1 连接受它给出的改写建议都很危险。我听说有人用 LLM 搭大纲、理结构,这或许可以,但也仅限于大纲。2 正文得作者自己写。
在 LLM 时代,把文章念出来更加重要。我的习惯是在脑子里把字句念出来,然后写下来(再修改刚写的内容)。这条建议对任何想经常用写作沟通的人都格外重要。和许多事情一样,成为好写手靠大量练习。这项技能值得花时间去掌握,而向 LLM 投降会毁掉一切进步。
将来,LLM 也许会好到让人分辨不出差别。从很多方面来说,这反而更令人不安。和大多数写作者一样,我觉得写作几乎是思考不可或缺的工具。往往只有把东西写下来,我才能真正把对某个话题的想法理清。我常常在开始写一篇文章时就知道自己其实没弄懂某个问题,但跟文字较劲的过程逼着我克服困惑。随着越来越多的人把写作交给 LLM,他们也会把思考和理解一并交出去。我不想这样,那样写作还有什么乐趣?
尽管避免 LLM 腔是一条通用规则,但它并非绝对。一个重要的例子是 Jim Highsmith(他也为本站撰稿)。他发现借助 LLM 写作对他是必不可少的,以此克服帕金森病带来的困扰。为了能继续汲取这位老友的智慧,我很乐意忍受 LLM 腔。
更棘手的是翻译。我的许多同事英语并不自如,那是他们的第二甚至第四语言。有些人发现 LLM 翻译对于他们和那些马拉地语懂得更少的人交流很重要。但我同样更愿意读一个真人写出的笨拙文字,而不是流畅却没有灵魂的 LLM 输出。
有些情况下,即便是英语母语者让 LLM 代笔也说得过去。比如给官方写一封格式信函,或者准备一份我怀疑根本没人会读的报告3。也许将来大部分文档只会被 LLM 阅读,而它们不会有我这种恐怖谷式的顾虑。但如果我想与人交流,我的人性就必须从文字里透出来(至少渗出来)。
Alessio Ferri、Caer Sanders、Ian Cartwright、Jie Jessie Xia、Joshua Kerievsky、Michael Feathers、Michael Nygard、Scott Davies 和 Wei Zhang 对本文草稿提出了意见。
我在撰写本文时没有以任何方式使用 AI 或 LLM。
Footnotes
-
非常难,但并非不可能。我遇到过一个例子,我确知初稿完全由 LLM 写成,但读最终稿时我没有察觉到 LLM 腔。不过,它需要一家大型期刊出版社的专业编辑来清理润色。 ↩
-
我在本站的原则是,任何借助 AI 协助写作的人,都应说明自己是如何使用的,通常写在致谢里。这样做一半是为了透明,一半是让读者能学到一些有用的 AI 用法。就我自己而言,我不用 AI 生成正文,也不用它帮忙搭结构。写作中我唯一用到 AI 的地方,是把它当作搜索工具(但任何信息我都会回到原始来源去核实)。 ↩
-
Michael Nygard 评论道:“那种情况下,你根本不是在把一个人的想法传达给其他人。你是在跟一个进程沟通,而不是跟人沟通。也许会有一个人打开信封,但那个人只是作为一个控制论有机体的组件在行事。” ↩