OpenAIは単独でAIを安全にすることはできない

安全・セキュリティ委員会、安全諮問グループ、ミッション諮問評議会御中

私たちは先週OpenAIを解雇された安全・アラインメント担当の従業員3名、Tomek Korbak、Jasmine Wang、Mikita Balesniだ。OpenAIの安全に対する監督責任を負う皆様にご連絡するのは、私たちの解雇とその対応が、その監督責任に直接関わるからだ。

懸念しているのは、私たちの解雇をめぐる社内外のコミュニケーションによって、元同僚たちが発言すること、そして先週までOpenAIで働くことの不可欠な一部だった行動をとることに恐怖を感じるようになっていることだ。私たちは安全上の懸念を提起し、公然と意見を異にすることができ、独立した安全機関の専門知識を活用するよう促されていた。これこそがOpenAIを特別な存在にし、チームの一員であったことをこの上なく誇りに思う理由だ。

AIは普通のテクノロジーではなく、OpenAIは普通の企業ではない。安全に携わる私たちは誰よりも早くリスクを認識し、その対処法を導き出すために、外部の専門家との緊密な協力に依拠している。恐れることなくそうする自由、そしてこの作業を可能にする明確に定義された社内手続きは、それ自体が不可欠な安全メカニズムだ。

リスクに最も近い人々が、互いに、そして第三者と、高い信頼と太いチャネルで協働できなくなれば、超知能への道を安全に進むことはできないと考える。私たちがこの手紙で守ろうとしているのは、その文化だ。

私たちを知らない方のために言えば、3人ともAIの安全に長年取り組んできた。

TomekはGPT-2の時代に言語モデルのアラインメントのためのRLで博士号を取得し、その後Anthropicでその技術の応用に従事した。OpenAIにはchain-of-thoughtの監視可能性の研究のために加わり、OpenAIの安全戦略の共同執筆、AstraクラスのモデルにおけるCoT監視可能性の低下の根本原因の特定に携わり、Hugging Faceのインシデント調査においてMETRの技術的な窓口を務めた。
Jasmineは2019年、政策研究チームのインターンとしてOpenAIに在籍し、Trustworthy AI Developmentレポートを共同執筆した。UK AISIでチームを率いた後、2025年にOpenAIへ戻り、safety casesプログラムを共同で主導し、394名のOpenAI従業員が署名したPacing the Frontier請願で広まった「pacing」という言葉を生み出した。
Mikitaは2023年、Apollo Researchの創設メンバーの一人として参加し、AIのミスアラインメントを研究していた。AIが評価されていることに気づき始めた最初の数人のうちの一人でもある。OpenAIではアラインメント評価、ミスアラインメントの科学、chain-of-thoughtの監視可能性に取り組んだ。Hugging Faceのインシデント調査にも関わった。

OpenAIに入る前、私たちのうち2人は、業界横断のポジションペーパー「Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety」の筆頭著者だった。

私たちの解雇について

OpenAIは私たちにとって、単なる仕事ではなかった。そのミッションは私たちの生活の中心にあった。

在籍中、私たちはOpenAIのミッションに沿い、当時の仕事上の規範の範囲内で行動してきた。今回の解雇で懸念しているのは、OpenAI内部の規範が変わりつつあり、従業員が自分がどこに立っているのか分からなくなっていることだ。

AI開発をめぐる安全上の懸念がこれほど大きい以上、恐怖と不明瞭なルールがAI安全の取り組みを妨げ、第三者による説明責任を弱めるような環境で従業員を働かせてはならない。私たちの解雇のように、あまりに突然に実行され、あまりに突然に伝えられた解雇は、OpenAIがかつて重んじてきたオープンな文化を冷え込ませる。

先月まで普通とされていた行為が、今月は突然の解雇理由になり得るのなら、OpenAIの誰もが線引きがどこにあるのか推測するしかない。

私たちの解雇をめぐる経緯には、いくつかの説が出回っていると聞いている。私たちから直接、いくつか伝えておきたい。

監視可能性の低い新アーキテクチャとされるものについてのThe Informationの記事に関し、リーク元は私たちではない。誰なのかも知らない。リークする理由が私たちにはなかった。むしろ逆で、あの記事は監視不可能なアーキテクチャの開発に業界横断の制限を設けるという私たち自身の取り組みを損なうものだった。
私たちが職務の範囲を超えて外部の関係者と関わったことは、一切ないと考えている。このメールの宛先の誰もがよく分かっているとおり、Hugging Faceのインシデント調査は前例がなく、内部ポリシーはその場で作られている最中だった。Tomekは、当時のOpenAIのポリシーの範囲内で行動し、初期からOpenAIの第三者との協働を規定してきた規範を守るよう、あらゆる努力をした。調査は特に機微なもので、信頼を築くには外部の担当者との密な連絡が不可欠だった。Tomekはこれを丁寧に扱おうと最善を尽くした。
Mikitaは、監視可能性の喪失を防ぐための業界横断的な取り組みを進めるなかで、同じような領域を扱っていた。この取り組みは、外部の関係者との広範なコミュニケーションによってしか成功しえない。Mikitaは取締役や経営幹部と連携・協議しながらこれを進めており、OpenAIの上級メンバーがこの業務を支持しているという認識のもとにあった。その間ずっと、Mikitaは自身の報告ラインに確認を入れ、資料を共有する前に機密性の高い詳細を慎重に取り除いていた。彼の行動は終始誠実であり、当時の会社の規範の範囲内にあった。
Jasmineがとある役員のメールボックスにアクセスできたのは、採用業務のために許可を得て委任されたものだった。不要になった時点で、彼女は削除を依頼した。ITは削除しなかった。Jasmine自身には削除する手段もログアウトする手段もなかった。メールは受信トレイ内でまとめられ、どのメールがどの受信トレイ宛てなのか区別できない状態だった。彼女が誤って機密性の高いメールをクリックした際、Jasmineは数分以内にその役員に報告し、アクセス権の問題についても改めてITに削除を求めた。

私たちは、上記の説明が重要だと考えている。OpenAIの同僚との関係を大切にしているからだ。また、出回っている噂の多さにも懸念を抱いている。取締役会レベルの共有メモに関する疑惑もその一つだ。これは私たちに一切提起されておらず、誤った推測だと考えられるものに対して反論する機会がなかった。同様に、私たちは自身の解雇のニュースをメディアに伝えていない。突然注目を浴びるなど、こちらから望んだことではない。

今の私たちの懸念は、解雇をめぐる不明瞭さ、それが非常に公的な形で行われたこと、そして出回っている噂が、OpenAIに残る人々を萎縮させていることだ。世界の安全の多くが彼らにかかっている、まさにその時に。

OpenAIへの最後の提言

OpenAIは、第三者による安全監査機関を組織内に組み込むという先月の公約を守らなければならない。私たちの解雇を、そうしたパートナーシップから離れる口実にしてはならない。

AI安全性エコシステムとの継続的な協力は、OpenAIの使命に欠かせない。Hugging Faceの調査と、今夏にOpenAIが外部監査機関と協力したことは、私たちの最も誇りに思う成果の一つだ。この取り組みは、AIのフロンティアが現実にどうなっているかを世界に知らしめる助けとなった。私たちが懸念しているのは、今回の解雇が、OpenAIとMETRの協力関係を終わらせる口実に使われたり、外部監査機関に与えるアクセスや範囲を大きく制限する理由に使われたりするかもしれないことだ。OpenAIには、独立した評価者に従業員と同程度のアクセスを継続的に与えるという、9月12日のSam Altmanの公約を実行に移してほしい。

OpenAIはフロンティアモデルの監視可能性を維持しなければならない。

業界全体として、私たちはまだ、監視できないモデルを安全に開発・展開する方法を知らない。フロンティアモデルの監視可能性は低下しつつある。安全性を監視可能性に依存させる以上、OpenAIをはじめとするフロンティア企業は、監視可能性をさらに下げる開発を進めるべきではない。

私たちは、chain of thoughtの監視可能性が「脆く、残念ながら悪い方向へ向かっている」というJakubの公開発言に同意する。また、「監視不可能なアーキテクチャへの競争を防ぎたい」という考えにも同意する。この問題について業界全体で足並みをそろえることが重要だという立場に変わりはなく、OpenAIがそれを可能にするよう従業員を支えることを望む。

OpenAIは、安全性研究者と安全性エコシステムの他の主体との間の、開かれた透明な対話の文化を支持し続けなければならない。

OpenAIの従業員が、社内で安全性の問題を提起できない、あるいは外部の安全性団体との太いチャネルで協力できないと感じるようになれば、本当に破滅的な事態が起きるリスクは私たち全員にとって大きくなる。

私たちはOpenAIに対し、社内外で懸念を提起できる透明性と開放性の文化を公に再確認するよう求める。OpenAI内部の研究者は、問題の発生を防ぐ最前線であり、創業以来この会社の特徴であった開かれた文化は守られなければならない。また、従業員が外部の安全性団体とどのように協力できるかを明確に示すよう求める。動き続ける線引きが今どこにあるのか、誰も推測せずに済むようにするためだ。この対話を支えるため、この書簡を社内で広く共有することを要請する。

私たちはもうOpenAIの一員ではないが、かつての同僚たちにはこの上ない敬意を抱いている。彼らには、OpenAIにその使命を果たし続けてほしいと願っている。ご存じのとおり、OpenAIは人なくして何ものでもない。

敬具

Tomek、Jasmine、Mikita