写作不再是工作量证明
LLM 现在可以按需生成任何文档,这悄然破坏了科技公司赖以运转的合规、努力与学习的证据。
中文
复制
科技公司在结构上依赖写作充当证据,就像比特币依赖工作量证明哈希一样。然而过去几年,LLM 开始动摇这一做法。
写作怎么能像工作量证明?我在工作中写东西,并不总是为了传达某个想法。有时是因为一份书面材料本身就有用,可以作为证据:证明我遵守了某个流程,证明我确实投入了精力,或者证明我了解某个话题。下面举几个例子。
写作作为合规的证据
写作作为证据,最明显的例子是填写强制模板:“风险评估”“影响评估”之类。这些模板的目的很少真的是评估风险或影响,而是以下几点的某种组合:
- 员工想通过引入新流程,表明自己对某起事件是认真对待的
- 法律有要求,公司找到了在技术上满足它的最省钱办法
- 公司内部规定,意在吓退懒惰或不上心的工程师,让他们别去做危险的改动
- 小公司照搬大公司的流程,而大公司做这些流程正是出于上面某一条
在这种地方埋头写出一份出色的材料是个错误。你只需要草草写点看起来足够可信、能把那个框勾掉的东西。
写作作为努力的证据
在咨询顾问产出的那种上百页报告里,写作是努力的证据。真正用来传达信息的是正文第一页(往往连这一页都算不上)。剩下九十九页是在证明第一页经过了充分调研,证明花在聘请咨询公司上的钱没有白费。
再举一个例子:如果你独自做一个项目,为什么要花时间建工单、填工单?理论上也许有人会读这些工单,借此了解你在做什么,但真要是这样,就说明你没通过正常渠道把项目讲清楚:在 Slack 里或会上告诉别人、写一份提案文档,等等。工单的主要价值在于作为证据:证明1你并不是一直在摸鱼打游戏。
写作作为学习的证据
作为证据的写作还有第三个子类,是用文字证明作者已经理解了某个主题。
最典型的例子是汇报。大型组织靠一棵层层嵌套的报告树运转,通常称为“rollup”。一线员工向经理汇报进展,经理汇总合并成团队级汇报再往上交,如此逐级直到最高层。
这么做的一个原因是,它迫使每位经理至少对自己辖区内的状况建立一个最小的心智模型。花时间写状态报告,会逼你把每个细节都想清楚——道理和“理解一个想法最好的方式是试着把它讲给别人听”一样。哪怕 VP 或 CEO 根本不看这份汇总,它存在本身就已经是证据,证明这位经理对自己的领域有一定掌控。
工作量证明
你可以把上述种种把写作当作证据的做法,统统看作工作量证明。没人在意内容本身,大家在意的是一件事:你确实坐下来把它写了。当然,这需要一定程度的信任。和加密货币的工作量证明一样,如果你造假(比如在报告第 2 到第 100 页粘贴 lorem ipsum),就能不费力气地骗走奖励。
为了防作弊,科技公司通常会抽查一定比例的写作证据:要么是被动触发,比如出了事故,人们才真的去翻那个搞垮生产的 PR 上的风险评估;要么是主动安排,把详细审阅顾问报告这种苦差事派给某个倒霉蛋。区块链当然可以自动验证工作(比如确认 nonce 和区块数据算出的哈希确实等于声称的值)。
要攻破比特币,得先攻破 SHA-256:找到一种办法,能事先确定什么样的内容会哈希到某个特定值,这样不用干活也能产出那个哈希。要攻破作为证据的写作,得找到一种按需生成文本的办法,这样不用真的投入,也能产出证据(合规、努力、学习的证据)。不幸的是,这件事在2023 年发生了。
LLM 从根本上瓦解了“写作即证据”
写作不再能证明任何东西。LLM 生成的文字,让“合规证明”比原本就空洞的状态更加空洞。它彻底摧毁了努力的证据:如果你需要一份一百页的报告,花一个小时、几美元的推理 token 就能生成。学习的证据同样失效了,因为我可以写出一份详尽的进度报告,里面塞满从未在我脑中停留过的信息(更谈不上记住)。
当然,这个问题不限于科技公司。中小学和大学都依赖写作作为努力与学习的证据,而学生们正拼命用 LLM 作弊。许多政治或监管机构要求申请者具备一定水准的专业写作能力,以此筛选请求,而 LLM 让这类写作变得人人可得,这些机构现在或即将被淹没。
接下来会怎样?
眼下我们正处在一个悬置期:流程还在,但所有人都知道怎么轻易钻空子。各组织会如何应对,值得观察。它们可能会:
- 引入新的、更难伪造的证据形式,比如录制视频或在会议上现场陈述(不过消费这些证据比读书面报告更费时间)
- 试图强制规定某些类型的写作不得由 AI 生成(大学已经在这么做2),但这将难以执行
- 寻找其他追踪投入的方式,比如让 LLM 审阅工程师的代码,判断他们投入了多少工作量
我想不出什么好办法,这一点本身就很有意思。如果这个问题真的没有简单的解法,悬置期可能会持续相当长一段时间:没人对现状特别满意,但也没有好的替代方案。
在这种局面下,个体软件工程师有动力趁还能钻空子的时候钻空子,同时避免被其他钻空子的人伤害。换句话说:不要亲自去啃 LLM 写的文档,那是浪费时间,也别信;但同样不要浪费时间手写那些只为充当证据的文档3。把这份精力留给真正用于沟通的文档。