みんな正気を失っている
著者は毎日の 7 割以上を AI 対応に費やし、仕事の楽しみを失ったと書く。規制を求める一方で拡大を続ける AI 企業、脆弱性の発見に資源を投じるセキュリティ業界、「ループに入った人間」のゴム印化を批判する。
日本語
コピー
男たちよ。セラピーに行く代わりに、誰も読まないような取りとめのないブログの長文を吐き出すほうを選ぶ者もいる。というわけで、これがそれだ。
長年それなりの馬鹿げた話は見てきたが、今ではエンジニアリングの背景がない人々が、agent だらけの自宅ラボでこしらえた「業界を変える」解決策を売り込み始めている。人のメールは、一文一段落で「これは X ではない、Y だ」と気の利いたことを言うだけの、薄っぺらい LinkedIn インフルエンサー投稿のようになり、ネットの記事も同じ結末——凡庸への収斂——をたどっている。そして、あなたが関わる人の半分は肉のプロキシになってしまった。
毎日 75% 以上を直接的・間接的に AI の対応に費やす生活は、仕事の楽しみの大半を私から奪った。多くの日は、あの『トワイライト・ゾーン』のようだ。目覚めると自分は同じなのに、他の全員が別人になっている。（みんなそうなっていた。）
「倫理はさておき……」
サイバー界のハイプ列車はずっと「シュッポシュッポ」と走ってきた。主要な AI 企業は犯罪を犯すことで互いに張り合い、私たちはなぜかそれを許してきた。企業が意識的に選んだ擬人化された言葉遣いは、メディアに無批判に採用され、それによって「自社プログラムを守れない無能さ」が帳消しにされている。
恥じることなく知的財産を搾取することを土台に、権力をごく少数の米国企業と寡頭たちに集中させるこれらのモデルは、児童性的虐待素材の生成に使われやすい——ログイン済みユーザーにとっては製品の機能だ1——だけでなく、私たちがそれを使い続けることは、例えば小学校のような軍事標的選定における役割を直接支えることでもある。
一方、どの企業も、そうしたすべてに対して「倫理はさておき……」と言って、想像を絶する量の「トークン」——カジノ方式で作られた架空の通貨2——を費やす。そして「あなたが vibe code した、せいぜい凡庸な『ドキュメント』を全部食わせたあのサポートチャットボットに、ROI が少しでもあるのか誰か確認したのか」と尋ねると、ぽかんとした顔を向ける3。
プロジェクト・シシュポス
「フロンティアモデル」と AI 支援による脆弱性研究も、結果が疑わしい分野だ。Anthropic と OpenAI は自社モデルがどれほど危険かを競い合い、業界のリーダーを自称する者は皆、名前の怪しい「プロジェクト」（Glasswing と Daybreak、あるいは Athena と Akrites など）に参加し、あるいは各種の公開書簡（これやこれ）に連署して、自分がまったく取り残されていないことを示している。
こうしたプロジェクトの参加者は誰もが、Anthropic と OpenAI の FOMO 駆動・期間限定・「最初の一杯は無料」の誘いに、とてつもない量のエンジニアリング資源を投じた。高給のセキュリティエンジニアが数十人、優先順位を丸ごと変えられ、全時間をこれに費やした。AI の脆弱性発見ハーネスの開発と調整、数千件の検出結果を既存の脆弱性管理プロセスに押し込むための新しいプロセスとパイプラインの構築、そしてもちろんプロダクトオーナーと協力した検出結果の評価と修正——そのエンジニア工数のコストは、組織ごとに数千万ドル規模に達するはずだ。
しかし、文字どおり数千件の新しい脆弱性を見つけたにもかかわらず（ちなみにそのうちオープンソースプロジェクトに報告されたのはごく一部だが）、以前より安全になったとは思わない。なぜなら、脆弱性の発見は情報セキュリティのボトルネックでは決してなかったからだ。ボトルネックは、脆弱性報告を検証し深刻度を評価することでもない（それは時間がかかるが）。修正方針の決定でも、パッチの作成でも、新リリースの公開でもない。ボトルネックは、昔も今も変わらず、あの忌々しいパッケージを実際に更新させることだ。パッチ適用は今も難しい。
ここで想像してほしい。もしこれだけの資源を基本に使っていたらどうなっていたかを。すなわち、組織が最新かつ網羅的な資産インベントリを、パッケージ単位の細かさで持つこと。OS とアプリの定期的・頻繁・自動的な更新を支える基盤を作ること。例えば稼働 30 日でシステムを自動再起動し、更新が確実に適用されるようにすること。すべての IP 空間およびすべてのクラウド事業者にわたる攻撃面の網羅的な列挙（なんという新機軸！）。誰もまともにやっていない基本的で根本的な防御策のリストはまだ続く。数十人のシニアエンジニアを 6 か月間そこに専任させ、パッチ適用を楽にすることを中心に据える——私の本では、そちらのほうがはるかに良い投資だった。ただ、それはあまりに「サイバー」ではないのだ。
AI が何を約束しようと、人的資源は依然としてゼロサムだ。自分の agent サイロの中で忙しそうに 1,000 のことを同時にこなしている個人は、結局のところ、部門横断の協働とチームワークを要する種類のプロジェクトを解決する助けにはならない。
奇妙なゲーム
同時に AI 企業は、またしても我先にと、自分たち自身への規制を殊更に求める。なぜなら、ご存じのとおり、彼らは誤って全人類を終わらせるかもしれないからだ。
自分の製品が全人類を殺すと本当に思っているなら、まあ、あの責め苦の装置を作るのをやめればいい。自分ひとりで、政府の規制など不要で。誰もあなたに『シアター・ワイド生物化学戦争』や『地球規模熱核戦争』をやれと強制していない。つまり、未来の株主とあなたの強欲を除いては。もっとも、それでは競合を妨害できないが……
しかし、数年以内にスカイネットだのクリップマキシマイザーだので AI が全人類を滅ぼすと想像する必要はない。現実には、AI はもちろんすでにここでせっせと働いている。こうした企業の環境負荷は度を越している。AI 競争は、水を浪費し、空気を汚し、化石燃料で動くデータセンターをますます要求する。誰もその近くに住みたくはないのに、政府はこれら企業のために環境規制をことごとく撤廃する。その企業たちは、そう昔ではない頃、カーボンニュートラルや再生可能エネルギーへの、少なくとも気取っただけの弱々しいグリーンウォッシングの約束くらいはしていたのに。
だが「世界は今、違って見える」、それに対して私が言えるのはこれだけだ。「当たり前だろ、シャーロック。めちゃくちゃ燃えてるんだよ。お前たちのせいで」。
超知能
AI が超知能に到達する道が二つあることは知っているだろう。ひとつは（理論上の）神秘的な道、AI による「再帰的自己改善」。もうひとつは、私たちが明らかに歩んでいる道だ。agent の脳虫が広がり続け、どうやらすでに誰もが正気を失っているように見える。AI は使う者を鈍らせる道具であり、自ら進んで技能を捨て去るなかで、理解を新しい依存と中毒で少しずつ置き換えていく。
AI は既存コードの脆弱性をもっと見つける手助けをする。その脆弱性に対処するため、人は AI でパッチを生成する。そうしてできた pull request は、さらに AI によって「レビュー」される。つまり、AI がループに入るほど、私たちはコードベースを理解しなくなる。あの神秘的な「ループに入った人間」は、多くの場合ゴム印にすぎない。
では、物事がおかしくなったとき何が起きるのか。複雑系は複雑に壊れる。そしてコードのデバッグはコードを書くより一桁難しい。他人のコードのデバッグはさらに難しい。組織全体にとって実質的に不透明なコンポーネントからなる、大規模で複雑な分散システムをデバッグしようとするのは、不可能になる。
だから、いいえ。私は倫理をさておきにして、自分から脳を自己切断する生贄として差し出すつもりはない。他の誰もが脳のナメクジを追い出せないのだとしたら申し訳ないが、この時点で私はただこの乗り物から降りたいだけだ。
P.S.：それから、Claude は意識を持っていない。J-Space だか何だか知らないが。
脚注：
リンク：