每个人都失去了理智

作者说自己每天七成以上时间在处理 AI,工作乐趣已被剥夺。他批评 AI 公司一边呼吁监管一边扩张,安全行业把资源投给漏洞发现而非打补丁,而「人在环路里」正退化成橡皮图章。

中文
复制

男人们。有些人宁愿吐出一篇没人会读的、东拉西扯的博客长文,也不肯去做心理治疗。于是就有了这篇。

这些年我见过不少蠢事,但现在是没有工程背景的人开始推销他们在自己那间爬满 agent 的家庭实验室里鼓捣出来的「颠覆行业」方案;人们的邮件读起来像那种烂俗的 LinkedIn 网红帖,一句一段、句句带劲的「这不是 X,这是 Y」;网上的文章也殊途同归地变成平庸;而跟你打交道的人里,有一半已经变成了肉体外挂

每天有超过 75% 的时间直接或间接在处理 AI,这彻底剥夺了我对工作的绝大部分乐趣。大多数日子就像那集《迷离时空》:你醒来,自己还是原来的自己,但其他所有人都变了。(他们全变成那样了。

「先把伦理放一边……」

网络炒作这台列车已经「况且况且」开了一阵,主要 AI 公司互相攀比着犯罪,而我们不知怎么就放任了;这些公司刻意使用拟人化语言,媒体不假思索地照单全收,也就替它们开脱了「连自家程序都保不住」的无能。

这些模型建立在毫不遮掩地剥削知识产权之上,把权力集中到极少数美国公司和寡头手里。它们不仅容易被用来生成儿童性虐待材料——对已登录用户来说那是一项产品功能1——而且我们继续使用它们,也直接支撑了它们在诸如军事目标选择(比如小学)中的角色。

与此同时,每一家公司都乐于对这一切说一句「先把伦理放一边……」,然后花掉难以想象的「token」——一种按赌场模式设计出来的虚构货币2——而当您问起「那个您 vibe code 出来、还把所有充其量只是平庸的『文档』都喂进去的支持聊天机器人,究竟有没有任何 ROI」时,他们会一脸茫然3

西西弗斯计划

「前沿模型」与 AI 辅助的漏洞研究是另一个结果可疑的领域。Anthropic 和 OpenAI 互相攀比自家模型有多危险,而所有自认是行业领导者的人现在都加入了某个名字神秘的「计划」(比如 GlasswingDaybreak,或者 AthenaAkrites),或者联署各种公开信(比如这封这封),以表明自己完全没有被落下。

这些计划的每一个参与者,都把工程资源不计其数地投向 Anthropic 和 OpenAI 那个由 FOMO 驱动、限期、且「第一次免费」的推销。数十位高薪安全工程师的优先级被整体改变,把全部时间投在这件事上。开发与调试 AI 漏洞发现工具链、搭建新流程与管道好把成千上万个发现硬塞进自家漏洞管理流程、当然还要与产品负责人一起评估和修复这些发现——这些工程小时的成本,对每家组织而言必是数以千万计美元的量级。

然而,尽管他们确实找到了成千上万个新漏洞(顺便说一句,其中只有一小部分被上报给了开源项目),我并不认为我们比以前更安全了。原因在于:发现漏洞从来都不是信息安全的瓶颈。瓶颈甚至不是核实漏洞报告、验证其严重程度——尽管那确实很费时。瓶颈不是确定修复方案、编写补丁、发布新版本。瓶颈一如既往,是让那些该死的软件包真的被更新。打补丁依然很难

现在设想一下:如果我们把所有这些资源花在基本功上会怎样——确保你所在组织有一份最新的、全面的资产清单,细到软件包级别;建设支持定期、频繁、自动化更新操作系统与应用的基础设施;在系统运行到比如 30 天时就自动重启,以确保这些更新被真正装上;在你所有的 IP 空间以及所有云服务商上做全面的攻击面枚举(多么新颖的想法!);这份「基本防御清单」上没人真正做好的项目还能一直列下去。把几十位资深工程师专门投入 6 个月去彻底重整这一切、专注于让打补丁变容易,在我看来会是好得多的投资——但那就太不像「网络安全」了。

无论 AI 承诺什么,人力资源终究是零和的;每一个在自己的 agent 孤岛里忙得像在做一千件事的人,最终都无助于解决那些需要跨职能协作与团队合作的项目。

一场奇怪的博弈

与此同时,AI 公司又在那里争先恐后、假惺惺地呼吁对它们自己加强监管,理由是:你知道的,它们有可能不小心终结全人类。

如果你真的认为你的产品会杀光所有人类,那你其实可以——就是说——别再造那个折磨枢纽了。靠你自己就行,不需要任何政府监管。没人逼你去玩「剧场级生物化学战」或者「全球热核战争」。我是说,除了你未来的股东和你的贪婪。唉,可那样就没法挡住竞争对手了……

但你并不需要想象 AI 在未来几年里通过某种「天网」或「回形针最大化器」剧情毁灭全人类——因为现实中 AI 早就在这里勤奋工作了。这些公司的环境影响触目惊心。AI 竞赛需要越来越多的耗水、污染空气、烧化石燃料的数据中心,而根本没有谁愿意住在旁边;政府则为这些公司撤除一切环境法规——而这些公司不久前至少还装作对碳中和或可再生能源有过最微弱的「漂绿」承诺。

但「世界看起来已经不一样了」,对此我只能说:「废话,福尔摩斯。它他妈在烧啊。因为你们。」

超人类智能

你知道 AI 达到超人类智能有两条路吧?一条是(理论上的)神秘路径:AI 的「递归自我改进」。另一条是我们显然正走在的路:agent 脑虫一直在扩散,看起来所有人早就已经彻底失去理智了。AI 是一种会让人变钝的工具;它用一个新依赖和新的成瘾,逐步替换掉理解——因为在主动把自己的技能废弃掉。

AI 帮人们在既有代码里找出更多漏洞。为处理这些漏洞,人们用 AI 生成补丁。随后那些 pull request 再由 AI「评审」。也就是说,AI 越深入环路,我们就越不理解这份代码库。那个神秘的「人在环路里」,往往不过是橡皮图章

那么当事情出岔子时会发生什么?复杂系统以复杂的方式失效,而调试代码比写代码难上一个数量级。调试别人的代码还要更难。至于去调试那种由整个组织都实质上无法理解的组件构成的大型、复杂、分布式系统,那将是不可完成的。

所以,不:我不会先把伦理放一边,再主动把自己献上去做自我切除大脑的祭品。如果其他人都摆脱不了那些脑虫,我很抱歉,但到现在这个地步,我只想从这趟过山车上下来。

P.S.:还有,Claude 没有意识。J-Space 个屁。


脚注:


链接:

Footnotes

  1. 我当然要用 em dash(长破折号)。你把它贬值了,去你的。

  2. 「结果显示,被试使用筹码时的下注显著多于使用真实现金时。」[出处]

  3. 它没有:LLM 是垃圾进垃圾出——如果你的文档很烂,AI 最多只能把那一坨擦亮一点,依然吐不出任何有用的东西。

来源: netmeister.org← 返回首页