OpenAI 无法独自确保 AI 安全

三名上周被 OpenAI 解雇的安全研究员致信其安全监督机构,否认向媒体泄密,逐一说明每次解雇情况,并要求公司履行关于第三方审计机构和模型可监控性的承诺。

中文
复制

尊敬的安全与安保委员会、安全咨询小组及使命咨询委员会:

我们是上周被 OpenAI 解雇的三名安全与对齐员工:Tomek Korbak、Jasmine Wang 和 Mikita Balesni。我们致信各位,是因为你们对 OpenAI 的安全工作负有监督责任,而我们的解雇及其处理方式与此直接相关。

我们担心,围绕此次解雇的内部和外部沟通,已让昔日的同事不敢再以某些方式发言和行事——而这些方式直到上周还是 OpenAI 工作的一部分。我们可以提出安全方面的担忧、公开表达不同意见,并被鼓励借助独立安全组织的专业能力。这正是 OpenAI 与众不同之处,也是我们为曾是这个团队的一员深感自豪的原因。

AI 不是一项普通的技术,OpenAI 也不是一家普通的公司。我们这些做安全工作的人比任何人都更早看到风险,而我们要弄清如何应对这些风险,依赖的是与外部专家的紧密合作。能够免于恐惧地这样做,并且有明确的内部流程支撑这项工作,本身就是一项至关重要的安全机制。

我们不相信,如果最接近风险的人无法再以高信任、高带宽的方式彼此协作、与第三方协作,通往超级智能的道路还能被安全地走通。我们要捍卫的正是这种文化。

对不认识我们的人,简单介绍一下:我们每个人都已从事 AI 安全工作多年。

  • Tomek 的博士研究是在 GPT-2 时代用强化学习对齐语言模型,之后在 Anthropic 从事这些技术的应用。他加入 OpenAI 后研究思维链可监控性,参与撰写 OpenAI 的安全战略,参与定位 Astra 级模型中 CoT 可监控性下降的根本原因,并在 Hugging Face 事件调查中担任 METR 的技术联系人。

  • Jasmine 于 2019 年在 OpenAI 政策研究团队实习,期间参与撰写《可信 AI 发展》报告。在领导英国 AISI 的一个团队之后,她于 2025 年回到 OpenAI,共同领导安全案例项目,并创造了“pacing”一词——该词因 394 名 OpenAI 员工签署的《Pacing the Frontier》请愿书而广为人知。

  • Mikita 是 Apollo Research 2023 年的创始成员之一,在那里研究 AI 失准,也是最早注意到 AI 开始意识到自己正在被评估的人之一。在 OpenAI,Mikita 从事对齐评估、失准科学和思维链可监控性方面的工作。他参与了 Hugging Face 事件的调查。

加入 OpenAI 之前,我们发起了一份跨行业立场文件,其中两人是主要作者:Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety。

关于我们被解雇

OpenAI 对我们来说远不只是一份工作。它的使命一直是我们生活的核心。

在 OpenAI 期间,我们的行为符合 OpenAI 的使命,也符合当时的工作规范。被解雇让我们担心,OpenAI 内部的规范正在改变,员工现在不清楚自己的处境。

鉴于 AI 发展带来的重大安全担忧,员工不应在一个恐惧和规则不明阻碍 AI 安全工作、削弱第三方问责的环境中工作。像我们这样突然执行和通知的解雇,正在让 OpenAI 过去珍视的开放文化产生寒蝉效应。

如果上个月还被视为正常的行为,现在却构成突然解雇的理由,那 OpenAI 的每个人都只能猜测界限在哪里。

我们了解到,关于事件有各种版本在流传。我们希望你们直接听我们说几件事:

  • 我们不是 The Information 那篇关于所谓新的、更难监控架构的文章的泄密源。我们不知道是谁。我们没有理由泄露它;恰恰相反,那篇文章削弱了我们自己在跨公司限制不可监控架构开发方面的工作。

  • 我们从不认为自己在工作职责之外与外部方有过接触。这封邮件线程上的每个人都清楚,Hugging Face 事件的调查没有先例,内部政策是在实时制定的。Tomek 尽一切努力在当时 OpenAI 的政策范围内行事,维护 OpenAI 自早期以来与第三方合作所遵循的规范。调查特别敏感,与外部对应方保持密切沟通对建立信任至关重要。Tomek 尽力谨慎处理了这件事。

  • Mikita 在负责推动跨公司的“防止可监控性丧失”承诺时,也在处理类似的敏感地带——这项工作只有通过与外部各方大量沟通才可能成功。Mikita 是在与董事会成员和高管层的协调和讨论中推进这件事的,并且知道 OpenAI 的高层支持这项工作。整个过程里,Mikita 都向自己的汇报线同步进展,并在分享材料前仔细移除敏感细节。他自始至终出于善意行事,也符合公司当时的规范。

  • Jasmine 对某位高管邮箱的访问权限是出于招聘目的、经许可后授予的。不再需要时,她请求移除权限。IT 没有照做。Jasmine 自己既无法移除权限,也无法登出。这些邮件在她的收件箱中被合并在一起,无法区分某封邮件原本属于哪个收件箱。当她不小心点开一封敏感邮件时,Jasmine 在几分钟内就向该高管报告了此事,并再次向 IT 提出移除权限的问题。

我们认为上述说明很重要,因为我们珍视与 OpenAI 同事之间的关系。我们也对流传的种种谣言感到担忧,包括关于一份董事会层面共享备忘录的指控。这件事从未向我们提出过,所以我们没有机会回应这个我们认为属于误判的假设。同样,我们也没有向媒体透露自己被解雇的消息。我们更希望自己没有被突然推到聚光灯下。

我们现在担心的是,围绕我们被解雇一事缺乏清晰说明、处理方式如此公开,再加上四处流传的谣言,正在让仍留在 OpenAI 的人感到寒心——而此时此刻,世界上太多安全都依赖于他们。

我们对 OpenAI 的临别建议

  1. OpenAI 必须遵守上个月公开作出的承诺,在组织内部引入第三方安全审计机构。不应以我们被解雇一事为借口,背离这些合作关系。

持续与 AI 安全生态协作,对 OpenAI 的使命至关重要。Hugging Face 的调查,以及 OpenAI 今年夏天与外部审计方的合作,是我们最引以为傲的成果之一。这些工作让世界看清了 AI 前沿的真实状况。我们担心,对我们的解雇可能被用来为终止 OpenAI 与 METR 的合作提供理由,或者被用来大幅压缩外部审计方的访问权限和范围。我们希望 OpenAI 兑现 Sam Altman 在 9 月 12 日公开作出的承诺,给予独立评估者持续的、类似员工的访问权限。

  1. OpenAI 必须维持前沿模型的可监控性。

整个行业至今仍不知道如何安全地开发和部署我们无法监控的模型。前沿模型的可监控性正在退化。只要我们还依赖可监控性来保障安全,OpenAI 和其他前沿公司就不应推进那些会进一步削弱可监控性的研发。

我们认同 Jakub 的公开表态:思维链的可监控性“十分脆弱,而且不幸的是正朝着负面方向发展”,我们“希望阻止一场奔向不可监控架构的竞赛”。我们仍然认为,全行业在这一问题上的协调很重要,也希望 OpenAI 支持其员工促成这件事。

  1. OpenAI 必须继续支持其安全研究人员与整个安全生态之间开放、透明的对话文化。

如果 OpenAI 的员工不再觉得自己可以在内部提出安全问题,或者不再觉得自己能与外部安全组织在高带宽渠道中合作,那么真正灾难性的事情发生的风险就会上升。

我们敦促 OpenAI 公开重申其透明与开放的文化,让问题能够在内部和外部被提出。OpenAI 内部的研究人员是防止事情出错的第一道防线,公司自创立以来一直具备的开放文化必须保留下来。我们也敦促 OpenAI 明确规定员工可以如何与外部安全组织合作,这样就不必有人去猜这条不断移动的界线如今划在哪里。为支持这一讨论,我们要求将这封信在内部广泛传阅。

虽然我们已不再是 OpenAI 的一员,但我们对昔日的同事怀有最高的敬意。我们呼吁他们继续督促 OpenAI 坚守其使命。正如我们所知,没有这些人,OpenAI 什么都不是。

此致

Tomek、Jasmine 和 Mikita

来源: Mikita Balesni← 返回首页