愚者の専門

最近、Ezra Klein による Nvidia CEO 黄仁勋へのインタビューを聴いた。これは AI 終末論を映すロールシャッハ・テストのようなものだ。終末を見たい人には、黄仁勋がはぐらかしているように聞こえる。だが人類の未来が（たとえ話だ！）コンピュータプログラムの手によって断たれることを心配していない人（私のように）には、彼の答えはきわめて妥当に映る。（一つだけ例外がある。この男、本当に自分の家の郵便番号すら知らないのか？！）

ただ、このインタビューは一つの機会を逃したとも思う。黄仁勋は、既存の法規（たとえば製造物責任法）によってフロンティアラボに自社製品が引き起こした害の責任を問えると正しく指摘し（この点は元 FTC 議長 Lina Khan のほうがはるかに明晰に論じている）、しかし Klein への反撃としては力不足だった。

具体的には、Klein は AI の専門的立場が与える権威に繰り返し訴えた。黄仁勋は Geoffrey Hinton のような先駆者にどうして反論できるのか、と。黄仁勋は（正しくも）Hinton の予測は常に外れてきたと指摘した（たとえば悪名高い2016 年の予測「2021 年までに放射線科は消滅する」）。だがここで、Hinton がなぜ間違えたのかを説明する機会を逃した。問題は Hinton が未来を（あるいは未来のある側面を）見通せなかったことだけではない、いや主たる問題ですらない。Hinton が提示した主張が、彼の専門能力の範囲をはるかに超えていたことだ。

放射線科医の予測を例に取ろう（十分に早い時期の予測で、今では完全に反証されている）。Hinton が間違っていたと断言できるのは、彼の予測が放射線科医が実際に何をしているかを反映していなかったからだ。もし Hinton が当時、センセーショナルな警告を発する前に（2016 年、彼は新しい放射線科医を養成すべきではないと明確に述べている！）一言尋ねていれば、この職業に就く人が診断画像の読影だけをしているわけではないと分かったはずだ。読影をより速く、より正確にするからといって、放射線科医が不要になるわけではない。むしろ逆で、彼らが専門能力をよりよく活かして患者に奉仕できるようになる。

この「愚か者の専門的権威」は AI 終末論者に繰り返し現れる。ある種のシステム（たとえば LLM）についての経験を、別の領域における権威と取り違えるのだ。そして Klein のような人々は、そもそも専門能力の種類を区別しないため、その権威をほとんど疑わない。

破局を論じる場面では、「愚か者の専門的権威」はとりわけ危険だ。破局はほぼ必然的に、複数の領域をまたぐ長い因果の連鎖を伴うからだ。その一環を完全に理解することは、連鎖全体を理解することではない。（NTSB が事故を調査する際、NTSB Go Team が多くの異なる領域の専門家で構成されるのはまさにこの理由による。破局的な事故は複数の異なる領域の故障が絡み合い、連鎖的に積み重なって、より大きなシステム障害へと発展しうると彼らは知っている。）

はっきり言っておく。AI による終末リスクが何らかの形で現実世界への経路に依存するなら、その経路上の専門家に必ず聞かなければならない。AI はサイバーセキュリティの脅威か？ならサイバーセキュリティの専門家に聞け。彼らは、大げさに騒がれた OpenAI の脱走事件が、要するにごくありふれたサンドボックス逸脱にすぎなかったと即座に指摘するだろう。AI が何らかの形で新型病原体を生み出すのが心配か？ならウイルス合成の専門家に聞け。そしてなぜ彼らがその恐怖は成り立たないと考えるのかを聞け。あるいは AI が核兵器を掌握するのが怖いのか？良い知らせがある。世界の熱核戦争の可能性と七十年共存してきたことで、私たちは多くの安全策だけでなく、汲み取るべき深い専門知を手にしている。

これは物理世界のリスクがゼロだと言っているのではない。提示された経路に沿って追っていくと、リスクはずっと分散し、減衰するということだ。これらのリスクを真剣に、冷静に検討したいなら、RAND の On the Extinction Risk from Artificial Intelligence を読むといい。著者は Michael Vermeer、Emily Lathrop、Alvin Moon だ。彼らは関連領域の専門家に聞きながらこれらの経路を追跡し、AI 専門家には意図的に接触していない。本文より（強調は私による）：

作業の過程で、私たちは RAND の 11 人の専門家とも話をした。リスク分析と不確実性下の意思決定の専門家が 2 人、核兵器の専門家が 2 人、バイオテクノロジーの専門家が 6 人、気候変動の専門家が 1 人である。私たちは AI 専門家には意図的に接触しなかった。可能なあらゆる場面で、AI の能力が将来どう進化するかの予測を避けることを選んだからだ。 代わりに、各シナリオで特定の結果を実現するために AI にどのような能力が必要かということに注目した。

RAND の歴史を考えれば、自社領域の専門家による冷静な分析は、フロンティアラボから流れてくる終末予言よりもはるかに重く受け止める価値がある。この分析が、私たちを恐怖の伝染から免疫にしてくれますように！