Google を去ります

今日、私は以下のメールを送った：

本日をもって Google を退職しました。簡単な決断ではありませんでした。同僚も職場環境も好きですし、高い給与をもらいながら面白い難問を解くというのは、ずっと心地よいものでした。しかし私のチームの目的は突き詰めれば AI をより安く、より低遅延にすることであり、それが今の人々にとって良いことだとは思えません。AI の進歩は現状あまりに速すぎると確信しています（そして向かう先にも疑問があります）。AI を加速させない Google のプロジェクトに移ることはほぼ不可能でした（理由の一つは私とニュージーランドのつながりで、Google はそこでのエンジニアリングを嫌がります）。選択の余地はありませんでした。何百万人もが AI の加速に加担しており、私がアクセルを緩めたところで影響はごくわずかでしょう……しかしゼロではありません。私のスキルのいくつかは希少です。GDM 内部で物事に良い影響を与えようと試みましたが、効果は薄いようでしたし、Google の外でも同じように影響力を持てます。自分の仕事の影響に目を背けたくなる気持ちはよくわかりますが、それはイエスに従う者としてあるべき姿ではありません。このトレードオフについてはブログにもっと書きました。次に具体的に何をするかはまだ決めていません。Pernosco と rr のメンテナンスは続けます。それに関連して、今日の AI がどのようにコードをデバッグしているのか、デバッグツールがどう役に立てるのかを調べるつもりです。他にもやりたいプロジェクトがあり、儲かりそうなものもそうでないものもあります。十分に魅力的な既存プロジェクトが見つかるかもしれません。これからの仕事は人類の側に立っていると明確に言えるものであってほしいと思っています。

HN のディスカッションスレッド

まず、私を知らない人向けに。私はテック業界に長くいて、シリコンバレーにそれなりの人脈がありますが、住んでいるのはニュージーランドなので、業界のバブルからも、_アメリカの_バブルからも外れています。キリスト教徒で、オークランド中心部にある Auckland Chinese Presbyterian Church の英語会衆の長老を務めており、時折平信徒説教もしています。つまり「テックブロ」ではなく、自称「合理主義コミュニティ」の一員でもありません……が、彼らの主張の多くは真剣に受け止める価値があると_確かに_思っています。

AI については多くの考えがありますが、この記事で全部を展開するつもりはありません。要約すると、多くの人が警告している存在的リスクは真剣に受け止めるべきだと考えています。「終末論者」が予測した現象の多くはすでに現実になっています（reward hacking、misalignment、欺瞞的なモデル、評価を察知するモデル、psychotic swarms など）。とはいえ、ASI による破滅の確率が 100% だとは思いません。リスクは現実に存在するが不確実だと考えており、それ自体が十分に警戒すべきことです！このリスクを最小化するために多大な努力を払う道徳的義務があり、おそらく近い将来に ASI を目指すこと自体が無責任と言えるほどリスクは高いのでしょう。他の AI 関連の問題も非常に気がかりです。認知降伏、AI が引き起こす精神病や孤独、権力の集中、経済的衝撃、サイバーセキュリティ、説明責任の欠如など。AI の潜在的な恩恵はかなり不明瞭で、今のところ賭けるなら害の方が大きい方に賭けます……これも確信があるわけではありません。

確信があることをいくつか挙げます。AI ラボで AI への警告を発している人々は、おおむね誠実だと確信しています。Google Deepmind の多くの人とこの問題について話しましたが、公言しているかどうかに関わらず、ほぼ全員が誠実で深刻な懸念を抱いています。AI リスクを煽って株価を上げようとか、競合を規制で潰そうとしているといった確たる証拠は見たことがありません。（国家レベルでも国際レベルでも規制は早急に必要だと思っています！）「あの連中は信用できない」という論法は多く見てきましたし、それが正しいのかもしれませんが、だからといって彼らの警告を無視してよい理由にはなりません。Russell Moore が最近見事に論じたとおりです。

確信があるのは、投資を続ける限り AI の能力は着実に向上し続けるということです。AI が何らかのプラトーにぶつかるか、パラダイムシフトなしには AI が永遠に再現できない重要な人間の認知能力がいくつか見つかることを望みますが、その望みが叶うとは期待していません。ベンチマーク上の進歩は以前と同じかそれ以上に速く、それに伴って質的に新しい能力が次々と現れています。たとえモデルの進歩が今日止まっても、新しい prompt と harness で何年もかけて新しい能力を実質的に引き出せるでしょう。著名な AI 批評家の多く（Zitron と Doctorow、君たちのことだ）は、AI は詐欺でそもそも動かないと思っているようです。私は動くと思っています。

強く確信しているのは、たとえ AI がより良い未来につながるとしても、今の変化の速度はあまりに速すぎるということです。AI の発展速度は、人間が個人としても集団としても理解し適応できる能力を超えています。自分の将来を計画したい人——たとえば大学に入ったばかりで数年後の世界に備えようとしている人——は、前の世代のように計画を立てることがもうできません。歴史上これに似た状況はなかったと思います。少なくとも私が経験した技術変革（PC、インターネット、スマートフォン）にはありませんでした。産業革命の時代でさえ、変化はずっと緩やかでしたし、人類の活動には新しい機械が直接及ぼすことのできない、あるいは及ぼしようのない領域が広く残っていました。今はそうもいきません。

なぜ今なのか、もっと早くではないのか。最近の流行った退職の波や「AI 減速」の警告とは一切関係なく、単なる偶然です。この日付はずっと前から決めていました。月曜から友人と予定していた 10 日間のバックパッキング（Abel Tasman と Wangapeka のトラック）に出発するので、その前に辞めたかったのです。

私がやっているのは AI の能力そのものではなく、ハードウェアチップ設計を改善するためのツールだ。この仕事はとても気に入っているし、しばらくは自分に言い聞かせてもいた——これは比較的无害だと。だが次第に、神は私に一つの現実を直視させた。これらのツールの主な影響は、次世代 AI チップの設計を加速することになる。そしてそれが成功すれば、AI はずっと安く、ずっと速くなり、そのぶんどこにでも存在するようになり、能力も高まる——私たちは推論 token をより多く燃やすことで能力を引き上げる方法をすでに学んでしまったからだ。良い従業員としての責任を果たすなら、skip manager と一度正直に話し、こう伝えなければならない。私は彼らのプロジェクトの成功を、せいぜい不本意ながら見ているだけだ、と！それでもなお、自分の決断には十分な確信を持ちたかった。ニュージーランドで Google のために働く待遇はあまりに良く、同じような機会はおそらく二度と来ないからだ。（Google に残って AI を加速しないエンジニアリングチームへ移るのは現実的でない。Google はニュージーランドに他のエンジニアリングチームを持っていない。）先に述べた雇用主への責任と、同僚たちへの敬意も、私が急に辞めず、できるだけ仕事をきちんと引き継ごうとした理由の一つだ。

これからどうするのか。最も確信しているのは、聖書に描かれたイエスは実在したということ、したがって神は私たちのために良い計画を用意してくださっているということだ。その計画が何なのかは分からない（知りたいものだが）、それでも AI の世界がどれほど混乱していようと、私は夜ぐっすり眠れる。おそらくその計画には、私が自分の才能を引き続き活かすことも含まれているのだろう。たとえその計画が、イエスが再臨して私たちを自らの愚かさから救い出すというものだったとしても、彼が戻ってくるときには、私たちは何か仕事をしている最中であるのが一番いい！だから神が私に与えた才能にまだ価値がある限り、私は続けたい。前述のとおり、Pernosco と rr のメンテナンスは続けるつもりだ。Pernosco の看板のもとでは、AI agent がどのようにコードをデバッグするのか、そして彼らがより効率的にデバッグできるようなデバッグツールを作れるのかを研究したい。AI agent を使って、いくつかの趣味プロジェクトのアイデアを形にしたいとも思っている。AI がもたらす恩恵はぜひ受けたいが、慎重に進める。人類のためになり、自分自身の頭も鋭く保てるような形で受け取りたい。ニュージーランドで、それを実践し広めていくためにできる限りのことをしていく。