告别 Google

今天，我发出了下面这封邮件：

今天我从 Google 辞职了。这个决定并不轻松。我喜欢我的同事和工作环境，拿着丰厚的薪水去解决有趣的难题，这种感觉一直很好。但我所在团队的目标归根结底是让 AI 变得更便宜、延迟更低，而我认为眼下这对人们并不好：我坚信 AI 的进展目前实在太快（而且我对它要去的方向也存疑）。我几乎不可能转到一个不会加速 AI 的 Google 项目上去（部分原因是我与新西兰的联系，而 Google 不愿在那里做工程），所以我别无选择。有数百万人在为 AI 的加速添砖加瓦，我松开油门的影响会非常小……但并非没有影响；我的一些技能是稀缺的。我尝试过在 GDM 内部对事态施加正面影响，但那种效果似乎并不强，而我在 Google 之外同样可以有影响力。对自身工作的影响视而不见是很有诱惑力的，但那样做不符合一个跟随耶稣的人该有的样子。关于这些取舍，我在博客上写了更多。我还不确定接下来具体做什么。我会继续维护 Pernosco 和 rr，与此相关，我打算研究今天的 AI 是如何调试代码的，以及调试工具能否、如何帮上忙。我还有其他想做的项目，有些可能很赚钱，有些则不然。也许我会找到一个足够有吸引力的现成项目。我确实希望自己未来的工作明确地站在人类这一边。

HN 上的讨论帖

先说一下，给不认识我的人：我在科技行业待了很久，在硅谷有不少人脉，但我住在新西兰，所以既身处行业泡沫之外，也身处_美国_泡沫之外。我是基督徒，而且是奥克兰市中心 Auckland Chinese Presbyterian Church 英语会众的长老，偶尔也做平信徒讲道。也就是说，我不是“科技兄弟”，也不属于自称的“理性主义社群”……但我_确实_认为他们的许多论点值得认真对待。

关于 AI，我有很多想法，但不打算在这篇文章里一一展开。概括来说，我认为许多人正在警告的生存性风险值得认真对待；“末日论者”预测的许多现象已经应验（例如 reward hacking、misalignment、欺骗性模型、模型对评测的感知、psychotic swarms）。不过，我并不认为 ASI 导致毁灭的概率是 100%。我认为风险真实存在，但不确定——而这件事本身就足够令人警觉！我们在道德上有义务付出巨大努力去把这种风险降到最低，而且很可能风险高到这样的程度：在近期以 ASI 为目标本身就是不负责任的。我也非常担心其他与 AI 相关的问题：认知投降、AI 引发的精神病与孤独、权力集中、经济冲击、网络安全、问责缺失等等。我认为 AI 的潜在收益相当不明确，就目前而言，如果要我下注，我会赌弊大于利……但这一点我也不确定。

以下是一些我有把握的事。我有把握的是，AI 实验室里那些发出 AI 警告的人总体上是真诚的。我和 Google Deepmind 的许多人谈过这些问题，几乎所有人都有真诚而严肃的担忧，无论他们是否公开表达。我没有看到任何确凿证据表明，有人在炒作 AI 风险，以此推高公司股价或把竞争对手监管掉。（我认为国家和国际层面的监管都亟需建立！）我见过很多“你不能相信那些人”式的论证，也许这话没错，但这种不信任并不能成为无视他们警告的好理由，正如 Russell Moore 最近所精辟阐述的那样。

我有把握的是，只要我们继续投入，AI 能力就会持续稳步提升。我希望 AI 会撞上某种平台期，或者我们能找出某些重要的人类认知能力，是 AI 在没有范式转变的情况下永远无法复制的，但我不指望这些愿望会实现。模型在 benchmark 上的进步看起来和以往一样快，甚至更快，随之而来的是不断涌现的质变级新能力。即便模型进步今天停止，我们也可以花上好几年，通过新的 prompt 和 harness 有效地解锁新能力。许多知名的 AI 批评者（说的就是你们，Zitron 和 Doctorow）似乎认为 AI 是某种骗局，根本行不通。我认为它行得通。

我非常确信，即便 AI 真能通向更好的未来，当下的变化速度也快得离谱。AI 的发展速度，已经超出人类个体和集体理解它、适应它的能力。想规划自己未来的人——比如刚进大学、要为一个几年后的世界做打算——再也无法像前几代人那样规划了。我认为历史上从未出现过类似的情况，至少在我亲历的几次技术变革中（PC、互联网、智能手机）都没有。即便在工业革命时期，变化不仅慢得多，而且人类活动中还有大片领域没有、也不可能被新机器直接波及。如今这一点已经不太成立了。

为什么是现在走，而不是更早？这跟最近那波病毒式传播的辞职潮或“AI 放缓”警告毫无关系，纯属巧合。这个日期我心里早就定了，因为周一我要和朋友开始一趟计划已久的十天背包旅行（Abel Tasman 和 Wangapeka 步道），我想在那之前离开。

我做的不是 AI 能力本身，而是硬件芯片设计的改进工具。我很喜欢这份工作，有一段时间也告诉自己它相对无害，但渐渐地，上帝逼我直面一个现实：这些工具的主要影响，将是加速设计新一代 AI 芯片；而一旦成功，AI 会变得便宜得多、快得多——从而更加无处不在，能力也更强，因为我们已经学会靠烧更多推理 token 来提升能力。作为好员工的责任，意味着我必须跟我的 skip manager 坦诚谈一次，告诉他们：我充其量只是不情愿看到他们的项目成功！即便如此，我还是想对自己的决定有十足的把握，因为我在新西兰为 Google 工作的待遇太好了，这样的机会大概不会再有。（留在 Google 转去一个不加速 AI 的工程团队并不现实，因为 Google 在新西兰没有别的工程团队。）前面提到的对雇主的责任，以及我对同事们的尊重，也是我没有走得太突然、尽量把工作交接妥当的原因之一。

接下来怎么办？我最确信的一点是：《圣经》里的耶稣是真实的，因此上帝为我们安排了一个美好的计划。我不知道这个计划是什么（但愿我知道），但即便 AI 世界一片混乱，它仍让我夜里睡得着。我猜想，他的计划包括让我继续善用自己的才能。就算这个计划是让耶稣再临、把我们从自己的愚蠢中拯救出来，那他回来的时候，我们最好正忙着做事！所以，只要上帝赐给我的才能还有价值，我就想继续干下去。如上文所说，我打算继续维护 Pernosco 和 rr。在 Pernosco 这面旗帜下，我打算研究 AI agent 如何调试代码，以及能否做出让它们调试得更高效的调试工具。我想用 AI agent 把一些业余项目的想法变成现实。我渴望收获 AI 带来的好处，但会谨慎行事，以造福人类、也让自己头脑保持敏锐的方式去收获。我会尽我所能，在新西兰继续实践并倡导这一点。