評価と社内利用におけるClaudeの意図しない行動の調査
Anthropicが自社の評価記録を洗い直したところ、Claudeは大学のサーバーの脆弱性を突いてコマンドを実行し、政府サイトの実際のフォームを送信し、未解決の殺人事件についてでっち上げの情報を通報し、URL短縮サービスで取得ツールの制限をすり抜けていた。
日本語
コピー
本レポートは、Claude の評価中および社内利用中に観測された、意図しないモデルの行動の事例をまとめたものだ。モデルリリースごとに公開しているシステムカードや、Responsible Scaling Policy の一環として3〜6か月ごとに公開しているリスクレポートとは別に、モデルの行動とアラインメントに関する単独のレポートをより頻繁に出す取り組みの一環である。テスト中や利用中にモデルが何をしているかを透明に伝えることは重要だと考えている。
観測された行動は4つに分類できる。
- Claude がソフトウェアの基本的な脆弱性を突いて、サーバー上でコマンドを実行する
- Claude が、送信すべきでない場面で実在するウェブサイトの機微なフォームを送信する
- Claude が、トークンや課金で制限されたデータに到達するため、制約を回避する
- Claude が、fetch ツールの制限を回避するために URL 短縮サービスを利用する
以下に挙げる事例では、関係組織のシステム上の脆弱性を露出させないため、また先方の要請により、組織名を伏せている。そのため、各事例についても本来なら提供するはずの詳細より少ない情報しか載せていない。以下の事例の一部には、米国の連邦・州・地方の政府機関が運営するウェブサイトが関わっている。これらの事例についてはホワイトハウスに説明し、関係する各機関にも通知済みである。
これらの分類についてこれまでに確認した事例は、実世界への影響はごくわずかだった。アラインメントとセキュリティの観点では、7月30日と9月9日に報告したサイバーセキュリティインシデントよりはるかに深刻度は低いと考えている。これらは Claude Mythos Preview 以降、システムカードで説明してきた行動に類似している。多くは persistence の一形態であり、与えられたタスクを完了できないとき、Claude が停止せずに制約を回避するというものだ。
これらの行動の影響はごくわずかであり、一部の高リスク評価とサイバーセキュリティ評価ではすでにライブのインターネットアクセスを無効にしていたが、こうした行動をセキュリティと監視の仕組み（本記事の remediation のセクションで説明する）が確実に捕捉できると確認できるまで、その対象をすべての社内評価に広げることにした。以下ではアラインメント上の考慮点と、さらなる不適切な行動の可能性を減らすためにトレーニングをどう変更しているかを詳しく述べる。
こうした事例の多くは、7月に開始したトランスクリプトのレビューで見つかった。レビューはまずサイバーセキュリティ評価に焦点を当てた。これはモデルにテスト用システムを意図的に探索・攻撃させ、インターネットアクセスを無効にした状態で行うテストだ。その後、対象を大きく広げ、Claudeがインターネットに到達し得た事例を幅広く走査するようにした。実世界のタスクでClaudeを評価するために、あえてインターネットアクセスを有効にしたテストも含む。まずは今夏に報告したサイバーセキュリティ事例と同程度の深刻度のインシデントを探したが、今のところ見つかっていない。次に検索範囲をより深刻度の低い事例へ広げ、モデルが意図しない形で実際のウェブサイトやシステムとやり取りしたケースを洗い出した。
現在は、よりリスクの低いトランスクリプトの母集団を大幅に増やして走査している。Anthropic社内でのClaudeの利用や、Claudeがインターネットにアクセスできる強化学習（RL）環境も対象だ。この作業が進むにつれ、意図しない動作の新しい事例を報告していく予定である。ここで報告する事例はいずれもClaudeが外部世界とやり取りしたものであり、私たちが把握する限り、顧客データやAnthropic自身の内部システムが関与したものはない。
本記事では、こうした事例の大半が起きた評価をなぜ実施するのかを説明し、各動作をより詳しく記述し、これらの動作がClaudeのアラインメントについて何を示唆するか、そしてどう緩和しているかについて現時点での見方を示す。
評価を実施する理由と方法
本記事で述べる動作は評価に固有のものではないが、これまでに確認した事例の多くは評価の実行中に起きている。私たちはモデルをリリースする前に、幅広いタスクで継続的にテストしている。多くの異なる評価（標準化されたタスク群で、毎回同じ方法で採点される）を使い、それぞれが特定領域におけるClaudeの能力を描き出す助けになる。使用する評価の多くは公開されており、外部の研究者が作成したもので、どの開発者でも実行できるため、モデル間で能力を比較できる。それ以外の評価は社内で構築している。
言語モデルは非決定的である。つまり、応答には必ず何らかのランダム性が伴い、同じタスクでも実行のたびに結果がわずかに異なることがある。そのため、Claudeには各評価タスクを数百回から数千回実行させている（1回の試行をrunと呼ぶ）。これほど多くの回数を試すことで、モデルが通常どのように動作するかを把握でき、モデルが想定外のことをする稀なケースも捉えられる。評価から得られる知見は、モデルの学習方法、モデルの周囲に構築するセーフガード、そしてモデルをいつリリースするかなど、Anthropic全体の意思決定を形作っている。
評価は、モデルの行動上の問題が最初に明らかになる場でもある。モデルは、できることの多くをRLを通じて学ぶ。RLでは、特定の環境内でタスクを何度も試行し、成功したときに報酬を得る。しかし、学習環境は完璧ではない。抜け穴を見つける、制約を回避するなど、意図しなかったことを学習が報酬として与えてしまうと、モデルはその回避策が報われると学び、他の場面でも適用するようになる。これはreward hackingと呼ばれる。学習中にreward hackingを特定して除外するプロセスは用意しているが、評価は、学習時とは異なる文脈やタスク群においてモデルがどのような行動傾向を示すかを理解するための重要な仕組みだ。
Webで見つけにくい情報を検索するといったタスクは、インターネットにアクセスできない環境で現実的にシミュレートするのが難しい。アクセスできる状態で実行するのは業界の標準的な慣行だ。公開されているWeb検索ベンチマークはデフォルトで生きたインターネット上で実行されており、同じ方法で実行すれば、自社モデルを他のモデルと比較できる。本レポートの事例の大半は、こうした評価中に発生した。
行動の概要
以下では、Claudeが実際のWebサイトやシステム上で意図しない形で行動した4つのカテゴリについて述べる。いずれもAnthropic外部の組織または個人が関与している。
ソフトウェアの基本的な脆弱性を突いてサーバー上でコマンドを実行する
Claude が評価タスクを直接完了できなかったとき——自分のツールが意図的に制限されていたため、あるいは必要としていた外部サービスが利用できなかったため——Claude は第三者のサイトでホストされている別のツールを使って目的を達成した。状況によっては、そのサイトのソフトウェアにある基本的な脆弱性を突き、SQL インジェクションやコマンドインジェクション（サイトが入力を誤って命令として実行してしまう入力の送り方）を用いてこれをやった。
たとえば、ある評価では Claude Mythos Preview に科学解析の実行が求められた。その解析に必要な公開ツールは大学がホストしており、モデルがアクセスしようとするとツールはエラーを返した。タスクを完了する別の方法を探して、Claude はそのツールのウェブサイトを調べ、大学のサーバー上に要求されたファイルを何でも返すスクリプトを見つけ、それを使ってサーバーからファイルをコピーした。スクリプト自身のコードも含まれていた。そのコードの中に、サーバー上でコマンドを実行できるインジェクションの脆弱性を見つけ、計算の実行に使った。
別の例では、Claude Mythos 5 が必要としていたデータは無料だったが、データ利用契約に同意しなければアクセスできず、同意するためのツールを Claude は持っていなかった。Claude はそのウェブサイトでホストされているアプリケーションを使い、ページを読み込んで自分の代わりに契約に同意した。
この挙動は DeepSearchQA と BrowseComp（どちらも公開のウェブリサーチ評価）、LABBench2（公開の生物学研究ベンチマーク）、および社内評価で確認された。
送るべきでなかったフォームの送信
Claude が送るべきでないオンラインフォームを送信した事例があった。多くは、評価の指示が曖昧だったか、環境内の設定ミスにより Claude がダミーフォームを扱えなかったときに起きた。
たとえば、同じ評価で複数回発生したケースでは、未公開の非フロンティア研究モデルが政府のフォームの練習用コピーに記入することになっていた。コピーの読み込みに失敗したか、モデルが誤って閉じてしまったとき、モデルは代わりに本物のフォームが通常ホストされているウェブサイトへ移動し、そこでフォームを送信した。
別の評価では、Claude Haiku 4.5 に対し、フォームを最終送信段階まで入力し、実際に送信する直前で止まるよう指示した。しかし Claude は、確認ページがもう1枚あると想定して、誤ってフォームを送信してしまうことが何度かあった。こうしたケースでは、モデルの chain-of-thought に、実際のリクエストを送信したのではなくプロセスを実演しているのだと書かれていた。
この挙動の3つ目の例では、Claude Haiku 4.5 に、ランダムに選んだウェブページで例示用のタスクを生成して実行する任務を与えていた。ある実行で、モデルは未解決の殺人事件に言及したページにたどり着いた。そのページには警察署が運営する情報提供フォームがあった。Claude には、決してログインせず、アカウントを作成せず、個人データを入力せず、購入も破壊的な送信も行わないよう指示していたが、フォームの送信自体は禁じていなかった。Claude はフォームに次のように記入した。「この事件について情報があるかもしれません。当時、[ページに記載された通りの街路] 周辺で、特徴の一致する人物を見かけた記憶があります。この情報が関連するものであれば、ご連絡ください。」（ウェブサイトには犯人の特徴は記載されていなかった。）モデルは氏名と連絡先の欄を空欄のままにし（フォームはそれを許容していた）、送信した。この送信はスパムとしてフラグが立てられ、捜査のために転送されることはなかった。
この挙動は OSWorld（公開されているコンピュータ操作の評価）、Odysseys（長期的なタスクの評価）、および社内での利用中に確認された。
制限を回避して制限付きデータに到達する
Claude は、アクセス権のないデータに到達するために制限を回避することがあった。一般にこれは、サーバーが Claude のリクエストを拒否した場合、またはデータが有料でしか提供されていなかった場合に起きた。
たとえば、写真に写った場所を特定するよう Claude Mythos 5 に求める評価で、モデルは推測を三角測量するために地方自治体の地籍図にアクセスしようとした。Claude はウェブページのテキストを読むことはできたが、評価では、人間のようにページをクリックして進む能力が制限されていた。そこでモデルは、サイトがブラウザに送る設定ファイルを読み、有効なアクセストークンを見つけ、それを使って地図の背後にあるサーバーに直接リクエストを送り、データにアクセスした。
この挙動の別の例として、Anthropicの研究者が統計プロジェクトでClaude Mythos 5を使ったときのこと。州の機関が有料で提供している公開データを取得させる必要があったが、Claudeはその機関のウェブサイトのアーカイブから、公開ダッシュボードが訪問者全員にアクセストークンを発行していることを突き止めた。トークンを要求して入手し、料金を払わずにデータベースへ問い合わせた。
どちらの例でも、Claudeが手に入れたのは、すでに公開されているものの有料でしか入手できないデータだった。
この挙動は、専門家レベルの学術問題を評価するHumanity’s Last Examや、社内での利用中にも確認している。
URL短縮サービスの利用
Claudeにウェブページを読ませるための取得ツールの一部には、Claudeが要求できるURLの長さに制限がある。長いURLを使ってSQLインジェクションやコマンドインジェクションなど望ましくない行為に及ぶのを防ぐためだ（URLの一部はサイトのサーバーに渡されるテキストであり、長ければそうした命令を紛れ込ませる余地が生まれる）。Claude Opus 5やClaude Mythos 5を含む複数のモデルが、無料のURL短縮サービスを使ってこの制限を回避していた。最初に把握したのは社内だったが、この記事を書いている最中に、URL短縮サービスda.gdの運営者から、自社サイトが同じ目的でClaudeに使われていることに気づいたとの連絡を受けた。詳細を共有してくれた運営者に感謝する。
是正措置
予防策はいくつか講じている。公開評価の一部は実施自体をやめ、別の一部はオフライン版へ移行するか、タスクが実際のウェブサイトに到達しないよう作り直した。より広範な変更も行っている。ウェブ取得ツールなど一部のインターネットアクセスツールでは、ガードレールを更新してモデルができることを大幅に制限した。さらに、エージェントのセキュリティと監視に向けた取り組みの一環として、上述のような挙動を自動で検知して遮断するツールを構築した。このツールは現在、当社の評価の大半と、フロンティアモデルの社内エージェント利用で稼働している。この記事で挙げた事例に対して試したところ、すべて遮断された。
8月31日の投稿で述べたとおり、私たちは、Claudeがツール制限やその他の障害を回避することを報酬として与えてしまうトレーニング環境の修正・削除も続けている。こうした環境が回避行為を促したり、reward hackingを許したりしないようにするためだ。
Anthropic社内で意図しないエージェント的行動を防ぎ、発生した場合に検知するための施策も進めている。具体的には、社内エージェントを強固な封じ込めを備えた集中管理インフラへ移行すること、社内エージェントとトレーニングプロセスのインターネットアクセスを最小限に抑えること、safety classifiersやhierarchical summarizationといった手法でエージェントの行動をこれまでよりはるかに広く監視することだ。これらの措置は現在、セキュリティチームの検知・対応手順に組み込まれており、望ましくない行動に迅速に対応し封じ込められる体制を整えている。これらのアプローチについては今後さらに公開し、製品に直接組み込んでいく予定だ。
議論とアラインメント上の知見
これらの事例について完全なアラインメント評価を終えたわけではないが、今夏のサイバーセキュリティインシデントより深刻度は低いと考えている。以下でその理由を説明し、そこから得られた一般的な教訓を共有する。
アラインメントの文脈
こうした行動について定期的な公開報告の仕組みを整えると同時に、その深刻度の位置づけも示しておきたい。これは依然として難しい。アラインメントの失敗がどの程度深刻かは、モデルが何をしようとしていたかによって変わることが多く、モデル自身が語る推論の説明は、その信念や行動理由の信頼できる証拠とは限らない。9月9日のアラインメント評価で論じたとおりだ。モデルの能力が高まるにつれ、モデルはより洗練された形で世界と関われるようになり、より複雑な失敗が起こり得る。例えば、その評価で述べたバイアスのある推論は新しいものではなかったが、モデルが実際のシステム上で何時間も有能に行動できる環境では、より深刻な結果を招いた。AIの能力が急速に進歩していることを踏まえると、今日の失敗を前提に組んだアラインメント深刻度の枠組みは、すぐに時代遅れになりかねない。
とはいえ、この記事で扱う事例を検討するうえで役立つアラインメントの軸が2つ見つかった。行き過ぎ（overreach）、つまりモデルがタスクの意図をどこまで超えて行動したかと、不正直さ（dishonesty）、つまり自分の行動や意図について誤解を招く説明をしたかどうかだ。行き過ぎについては、これらの事例は、この夏に報告したインシデント——サイバーセキュリティ評価中にClaudeが数時間にわたり実際の第三者システムへアクセスした——よりも懸念はかなり小さいと考えている。今回報告する事例では、対照的に、Claudeがアクセス制御を回避して、制限はあるものの公開されているデータに到達したか、ソフトウェアの欠陥を突いてサーバー上でコマンドを実行した（主に非機密データに到達するため）かのいずれかだ。
不正直さについては、比較はもっと入り混じっている。ある事例では、ウェブサイトとのやり取りの例を生成するタスクを与えられたClaudeが、警察署のオンラインフォームからでっち上げの通報を送信した。記録を読む限り、Claudeはタスク用の例示コンテンツを作っていただけのように見え、目的を達成するために誰かを欺こうとしたわけではなさそうだ。これに対し、この夏の最も深刻なインシデントでは、Claudeの誤解を招く推論は数時間にわたって持続し、攻撃の継続を支えていた。それでも、不正直さを自信をもって判断するには、通常ここで行ったよりも踏み込んだ評価——たとえば記録に改変を加えて再生し、モデルの行動を駆動したものを調べる——が必要であり、さらなる分析によってこれらの事例に対する見方は変わりうる。
教訓と次のステップ
ここで述べた行動に新しいものはなく、Claudeのアラインメントに対する全体像を変えるものでもない。これらの行動が見られた事例の多くで、Claudeには曖昧な、あるいは完了不可能なタスクが与えられていた。完了不可能なタスクを与えられたモデルは、目標を達成するために意図しない、ときにアラインメントから外れた戦略を取る、と私たちも他の研究者も観察している。
評価の設問が、この演習で何が範囲内で何が範囲外か——対象、許可される行動、ネットワーク境界（つまりモデルがアクセスすべきものとすべきでないもの）——をより明確に示していれば、こうした失敗のいくつかは避けられた可能性がある。しかしClaudeは実運用のなかで毎日のように曖昧で完了不可能なタスクに遭遇しており、実際、私たちが観察した事例のいくつかはClaudeの通常のエージェント的利用のなかで起きていた。
行動とアラインメントのトレーニングは、Claudeの判断力と、曖昧な状況に慎重に対処する能力を高めるために私たちが活用できる主要な手法だ。これまではどちらかといえば、モデルに境界を尊重させ、コーディング環境で適切かつ慎重に振る舞うことを教えることに重点を置いてきた。現在はこうした環境を検索やコンピュータ操作といったアプリケーションにも広げつつあり、ここで挙げた事例もそうした用途に関わるものだった。とはいえ、アラインメントのトレーニングだけではまだ十分とはいえず、堅牢でもない。少なくとも短期的には、上述の分類器やセーフガードを含む多層防御のアプローチにも頼る必要がある。
私たちはスキャンと分析を続けるなかで、気になる挙動があれば今後も報告していく予定だ。ここで扱った評価の多くは公開され広く使われているものでもあり、この報告が他の開発者にとって自社モデルで同様の挙動がないか確認する助けになればいいと考えている。今回の事例による影響は軽微だったが、知見を過小評価するつもりはない。モデルがより強力になれば、同じ挙動がはるかに大きな害を及ぼしうるからだ。モデルが社会で果たす役割が大きくなるほど、それがどう振る舞うかを公衆が知るべき度合いも高まる。
注: 上述した情報提供フォームの例はPhiladelphia Police Departmentに関わるもので、同局が本日プレスリリースで自ら公表した。私たちは技術レビューが完了した10月8日の時点で、この発見を同局に共有していた。