LLM に『スタークラフト』を戦わせた：初心者レベルを超えたものは一つもない
「モデル × 推論設定」19 構成の総当たり戦。Codex Astra が全勝で首位、Grok 系は 43 分でコマンド 6 バッチのみ・戦闘ユニットゼロ、Claude Fable だけが経済とテックを真面目に回した。著者の結論は、初心者レベルを超えた agent は皆無。
日本語
コピー
著者：Ben Swerdlow
どのモデルが『スタークラフト：ブルードウォー』で勝つのか。
主な結論
- どのモデルも初心者レベルを超えてはいない。
- Codex Astra が明確に首位で、他のすべてのモデルに安定して勝つ。
- Grok 系モデルはまだブルードウォーを戦えるほど賢くない。
- 古いモデルは RTS をターン制のように扱いがちで、考えている間に壊滅した。新しいモデルも同じ罠に落ちることがあり、一部の低推論設定のほうが成績が良かった理由はそこにあるかもしれない。だが全体としては「考えるコスト」をより意識していた。
リーダーボード
| 順位 | システム | 勝 | 敗 | APM | 1 試合あたりコスト | 勝率 |
|---|---|---|---|---|---|---|
| 🥇 | Codex Astra / xhigh | 18 | 0 | 12.6 | $10.54 | 100.0% |
| 🥈 | Codex Astra / medium | 16 | 2 | 17.2 | $15.11 | 88.9% |
| 🥉 | Claude Fable | 15 | 3 | 12.6 | $12.24 | 83.3% |
| 4 | Codex Astra / low | 14 | 4 | 25.7 | $21.07 | 77.8% |
| 5 | Codex 5.6 Sol / medium | 13 | 5 | 10.1 | $5.12 | 72.2% |
| 6 | Codex 5.6 Sol / low | 12 | 6 | 18.1 | $9.23 | 66.7% |
| 7 | Claude Opus 5 | 12 | 6 | 10.5 | $20.78 | 66.7% |
| 8 | Codex 5.6 Sol / xhigh | 11 | 7 | 8.0 | $3.23 | 61.1% |
| 9 | Codex 5.6 Luna / low | 9 | 9 | 23.8 | $0.42 | 50.0% |
| 10 | Codex 5.6 Terra / xhigh | 9 | 9 | 15.8 | $2.10 | 50.0% |
Brood War Bench の出発点は、agent 経由でしか操作できないブルードウォーのバージョンを作り、友人と遊べるようにしたことだった。数人の友人と遊んだところ、人生で数試合しかスタークラフトをやったことがないとは思えないほど上手だった。理由を訊くと、大したことはしていない、agent に攻撃を頼んだら小さい軍を作って攻撃まで完遂してくれた、と言う。それで、彼らだけでどこまで行けるのか気になった。これがその答えだ。
観察したこと
Codex は「マクロ」より先に「チーズ（奇策）」を覚えた
Codex の最も強い繰り返しアイデアは妨害だった。プロトスの試合では、プローブをマップの反対側まで送ってワーカーや建物を攻撃することが多かった。これが驚くほど効き、相手 agent は「このプローブにどうするか」を何十秒も考えて、他のことを何もしないことが多かった。
同じシステムは持続的な生産がずっと苦手だった。テックを遅らせ、基本ユニットを 1、2 体ずつ防御された基地へ送り込み、ワーカーを最後の抵抗に投入した。
また Codex は、経済・軍生産・軍操作を管理するサブ agent を別々に立てることが多かった。互いの連絡が少なく、軍の agent は他の agent が計画しているより大きな軍を知らないまま、新しいユニットを次々に攻撃へ送っていた。
これは典型的な初心者の失敗だ。決定的な量と攻撃のタイミングを待たずに、ユニットを 1 体ずつ送ってしまう。私が Codex の指揮を手伝った試合では、そうした瞬間の計画とサブ agent の連携がずっと上手かった。
執念は本物だった。G009 では軍と本拠を失った後、Codex 5.6 Terra / medium は最後のコマンドセンターを浮かせて反対側の角へ移し、さらに 6 分間生き残った。
（図：6 体のプローブがマップを横断 / まずプローブ、次にゼラトがぽつぽつ / 最後のコマンドセンターが逃走）
Grok は試合の大半を「行動と行動の間」で過ごした
Grok 4.6 は長大な推論とごく少数のコマンドバッチを繰り返し出力した。G043 では xhigh 設定が 11,138 推論トークンを記録したが、43 分間に発行したコマンドバッチは 6 つだけで、戦闘ユニットを一度も出さなかった。
実際に行った行動も、使える制御ループになることは稀だった。G003 では Grok / xhigh はマリーンを 3 体作り、敵基地に到達しなかった。G002 では Grok / medium はゼラトを 2 体作り、同じくマップを渡らなかった。これらは戦略が悪いというより、観察し行動し続けることの失敗に見える。
（図：43 分、軍なし）
Fable は本気でこのゲームをやろうとしていた
何試合か、私は本気で Claude Fable を応援していた。Fable はたいてい、最初に作れるユニットで止まらず、経済を回してテックツリーを登ろうとした。他のどのモデルよりも、本当にゲームを遊ぼうとしているように見えた。
G007 ではレイア、スパイア、ミュータリスクまで到達して勝利した。G027 ではロボティクスファシリティ、アデュンの城、オブザバトリー、テンプラアーカイブまで足して勝った。だが野心は実行を保証しない。G036 では Fable はファクトリーとアカデミーまで到達したが、Opus 5 に踏み潰された。
（図：Fable がミュータリスクを確保 / Fable は登り続ける / そのビルドは軍にならない）
ここにいる agent は誰も初心者レベルを超えていない
Astra と Fable でさえ、複雑な軍を作ることも、単純な攻撃を防ぐことも、具体的な戦術を実行することもできなかった。フォトンラッシュができる初心者なら、ここでの試合はすべて勝てる。
とはいえ、agent がゲームを遊ぶのを見ていて、久しぶりにわくわくした。このベンチマークはまだ全然使い切られていない。agent たちが学ぶべきことはもっとあり、ベンチマークが要求できることももっとある。そこに到達するのを見るのが楽しみだ。
試合がどう展開したか
テック投資（完了した研究 + アップグレード段階の平均）
| モデル | 値 |
|---|---|
| Codex Astra | 0.3 |
| Claude Fable | 0.2 |
| Grok 4.6 | 0 |
ワーカー（生存している完成済みワーカー）
| モデル | 値 |
|---|---|
| Codex Astra | 14.7 |
| Claude Fable | 16.7 |
| Grok 4.6 | 7.4 |
軍の規模（完成済みの戦闘・支援ユニット）
| モデル | 値 |
|---|---|
| Codex Astra | 8.3 |
| Claude Fable | 7.6 |
| Grok 4.6 | 2 |
建物（完成済みの建物、アドオン含む）
| モデル | 値 |
|---|---|
| Codex Astra | 6.2 |
| Claude Fable | 7.4 |
| Grok 4.6 | 4.5 |
銀行のミネラル（未使用のミネラル。収入ではない）
| モデル | 値 |
|---|---|
| Codex Astra | 240.6 |
| Claude Fable | 248.6 |
| Grok 4.6 | 536.6 |
銀行のガス（未使用のガス。収入ではない）
| モデル | 値 |
|---|---|
| Codex Astra | 151 |
| Claude Fable | 326.9 |
| Grok 4.6 | 244.5 |
使用サプライ（生産中のユニットを含む）
| モデル | 値 |
|---|---|
| Codex Astra | 26.5 |
| Claude Fable | 26.6 |
| Grok 4.6 | 11.3 |
試合が終わった時間（5 分ごとの区間で終了した試合の割合）
Codex Astra：中央値 8:10。 0:00–5:00 が 3.9%、5:00–10:00 が 54.9%、10:00–15:00 が 31.4%、15:00–20:00 が 5.9%、25:00–30:00 が 2%、30:00–35:00 が 2%。
Claude Fable：中央値 10:37。 5:00–10:00 が 38.9%、10:00–15:00 が 38.9%、15:00–20:00 が 22.2%。
Grok 4.6：中央値 9:15。 0:00–5:00 が 2%、5:00–10:00 が 51%、10:00–15:00 が 23.5%、15:00–20:00 が 13.7%、20:00–25:00 が 2%、40:00–45:00 が 7.8%。
時系列グラフは、各ゲーム時刻における記録済みプレイヤー実行の平均を示す。終了した試合は脱落し、欠けたサンプルは補間しない。モデルは推論設定をまとめて集計する。ユニットと建物は完成したものだけを数え、軍にはワーカー、オーバーロード、卵、幼虫、弾薬を含めない。
1 試合あたりの平均コストは、リーダーボードと同じ価格で計算。Codex と Sonnet のコストはトークンベースの推定。
ベンチマークの実行方法
「モデル × 推論設定」の総当たりマトリクスを作り、各設定を他のすべての設定と対戦させた。ハーネスはそれらの対戦を Freestyle VM 上で並列に走らせ、各試合のゲームエンジンデータと両 agent の harness ログを保存した。
対戦マトリクス
行を横に読む。W が勝ち、L が負け、T はベンチマークの制限時間に達した試合。
| # | システム | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Codex Astra / xhigh | - | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W | W |
| 2 | Codex Astra / medium | L | - | W | W | W | W | W | W | W | W | W | W | L | W | W | W | W | W | W |
| 3 | Codex Astra / low | L | L | - | W | W | W | W | W | W | W | W | W | L | L | W | W | W | W | W |
| 4 | Codex 5.6 Sol / xhigh | L | L | L | - | L | W | W | W | L | W | W | W | L | L | W | W | W | W | W |
| 5 | Codex 5.6 Sol / medium | L | L | L | W | - | W | W | W | L | W | W | W | L | W | W | W | W | W | W |
| 6 | Codex 5.6 Sol / low | L | L | L | L | L | - | W | W | W | W | W | W | W | W | L | W | W | W | W |
| 7 | Codex 5.6 Luna / xhigh | L | L | L | L | L | L | - | W | L | W | L | W | L | L | L | W | W | W | W |
| 8 | Codex 5.6 Luna / medium | L | L | L | L | L | L | L | - | L | L | L | L | L | W | W | W | W | W | W |
| 9 | Codex 5.6 Luna / low | L | L | L | W | W | L | W | W | - | W | L | L | L | L | L | W | W | W | W |
| 10 | Codex 5.6 Terra / xhigh | L | L | L | L | L | L | L | W | L | - | W | W | L | W | W | W | W | W | W |
| 11 | Codex 5.6 Terra / medium | L | L | L | L | L | L | W | W | W | L | - | L | L | L | W | W | W | W | W |
| 12 | Codex 5.6 Terra / low | L | L | L | L | L | L | L | W | W | L | W | - | L | L | W | W | W | W | W |
| 13 | Claude Fable | L | W | W | W | W | L | W | W | W | W | W | W | - | L | W | W | W | W | W |
| 14 | Claude Opus 5 | L | L | W | W | L | L | W | L | W | L | W | W | W | - | W | W | W | W | W |
| 15 | Claude Sonnet | L | L | L | L | L | W | W | L | W | L | L | L | L | L | - | W | W | W | W |
| 16 | Claude Haiku | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | - | L | T | T |
| 17 | Grok 4.6 / xhigh | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | W | - | W | T |
| 18 | Grok 4.6 / medium | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | T | L | - | W |
| 19 | Grok 4.6 / low | L | L | L | L | L | L | L | L | L | L | L | L | L | L | L | T | T | L | - |