書き物はもはやプルーフ・オブ・ワークではない

テック企業は構造上、書き物を証拠として当てにしている。ビットコインが proof-of-work ハッシュに依存しているのと同じだ。ところがここ数年で、LLM がその仕組みを揺るがし始めた。

書き物がどうして proof-of-work になり得るのか。仕事で何かを書くとき、それが常にアイデアを伝えるためとは限らない。書面そのものが証拠として役に立つから書くこともある。あるプロセスに従ったこと、実際に手間をかけたこと、あるいはその話題を理解していることの証拠として。いくつか例を挙げよう。

コンプライアンスの証拠としての書き物

証拠としての書き物が最も露骨に現れるのは、必須テンプレートの記入だ。「リスク評価」「影響評価」といった類のもの。これらのテンプレートの目的が本当にリスクや影響を評価することであることはまれで、実際には次のいくつかの組み合わせだ。

従業員が新しいプロセスを持ち込むことで、あるインシデントに真剣に取り組んでいることを示したい
法律が要求していて、企業はそれを技術的に満たす最も安上がりな方法を見つけた
怠惰な、あるいは不注意なエンジニアを威嚇して危険な変更をさせないための社内規則
小さい企業が大きい企業のプロセスをそのまま真似していて、大きい企業がそれをやっている理由は上のどれか

こういう場所で優れた文書をじっくり書き上げるのは間違いだ。必要なのは、もっともらしく見えてチェックボックスを埋められる程度のものを、ざっと書くことだけだ。

努力の証拠としての書き物

コンサルタントが出すような百ページ超のレポートでは、書き物は努力の証拠になる。情報を伝えるのに実際に使われるのは本文の最初のページ（それすら怪しい）だけ。残りの九十九ページは、最初のページが十分な調査に基づいていること、コンサル会社に払った金が無駄でなかったことの証明だ。

別の例を挙げよう。一人でプロジェクトを進めているなら、なぜわざわざチケットを立てて埋めるのか。理屈の上では、そのチケットを読んで何をしているか知る人がいるかもしれない。だが本当にそうなら、プロジェクトについて正規のルートで説明できていないということだ。Slack や会議で伝える、提案書を書く、などなど。チケットの主な価値は証拠として、つまりずっとサボってゲームをしていたわけではないという証拠¹にある。

学習の証拠としての書き物

証拠としての書き物には、書き手がその主題を理解したことを文章で示す、という三つ目の下位分類がある。

典型例は報告だ。大きな組織は、通常「rollup」と呼ばれる入れ子状の報告ツリーで回っている。現場の従業員がマネージャーに進捗を報告し、マネージャーがそれをまとめてチーム単位の報告にし、さらに上へ渡す。これを最上位まで繰り返す。

こうする理由の一つは、各マネージャーに、少なくとも自分の管轄内の状況について最低限のメンタルモデルを強制的に作らせることにある。ステータスレポートを書く時間を取ると、細部まで考えざるを得なくなる。アイデアを理解する最良の方法はそれを人に説明してみることだ、というのと同じ理屈だ。VP や CEO がそのまとめをまったく読まなくても、それが存在するだけで、このマネージャーが自分の領域をある程度把握しているという証拠になる。

プルーフ・オブ・ワーク

ここまで挙げた、書き物を証拠として扱うあれこれは、すべてproof-of-workと見なせる。内容そのものは誰も気にしていない。関心があるのはただ一点、あなたが実際に腰を下ろして書いたということだけだ。もちろん、それにはある程度の信頼が要る。暗号通貨の proof-of-work と同じで、ごまかせば（たとえばレポートの2ページ目から100ページ目に lorem ipsum を貼り付ける）、ほとんど労力をかけずに報酬をだまし取れる。

不正を防ぐため、テック企業は通常、書き物の証拠の一定割合を抜き打ちで検査する。受け身の形で発動することもあれば（インシデントが起きて、本番を落としたあの PR のリスク評価をようやく誰かが実際に開く、など）、能動的に割り当てることもある（コンサルレポートの精読という面倒な仕事を、運の悪い誰かに押し付ける）。ブロックチェーンなら当然、仕事を自動で検証できる（nonce とブロックデータから計算したハッシュが、主張された値と確かに一致することを確認する、など）。

ビットコインを破るには、まず SHA-256 を破る必要がある。どんな内容が特定の値にハッシュされるかを事前に決められる方法を見つけ、実際には仕事をせずにそのハッシュを出せるようにする。証拠としての書き物を破るには、オンデマンドでテキストを生成する方法を見つけ、実際には何も投入せずに、コンプライアンス・努力・学習の証拠を出せるようにする。残念ながら、それは2023年に起きてしまった。

LLM は「書き物は証拠」を根本から崩す

書き物はもう何の証明にもならない。LLM が生成した文章によって、「コンプライアンスの証明」はもともと空虚だった状態よりさらに空虚になった。努力の証拠は完全に破壊された。百ページのレポートが必要なら、一時間と数ドル分の推論トークンで生成できる。学習の証拠も同じ理由で無効になった。私の頭に一瞬たりとも留まらなかった（ましてや覚えてもいない）情報を詰め込んだ詳細な進捗レポートを、いくらでも書けるからだ。

もちろん、これはテック企業に限った問題ではない。小中学校も大学も、努力と学習の証拠として書き物に依存していて、学生たちは必死に LLM でカンニングしている。多くの政治機関や規制機関は、申請者に一定水準の専門的な文章力を求めることで申請をふるい分けている。LLM がそうした文章を誰にでも手に入るものにしたせいで、これらの機関は今、あるいは近いうちに、申請の洪水に飲み込まれる。

これからどうなるか

今は宙ぶらりんの時期だ。プロセスは残っているが、誰もがどう簡単に抜け道を使えるか知っている。各組織がどう対応するかは見ておく価値がある。選択肢としては：

偽造が難しい新しい証拠の形を導入する。たとえば動画の録画や会議での口頭発表（ただし、そうした証拠を消費するのは書面のレポートを読むより時間がかかる）
特定の種類の書き物は AI で生成してはならないと強制しようとする（大学はすでにそうしている²）が、それを守らせるのは難しい
投入量を測る別の方法を探す。たとえば LLM にエンジニアのコードをレビューさせ、どれだけの作業量がかかったかを判断させる

いい方法が思い浮かばない。そのこと自体が興味深い。もし本当に簡単な解決策がないのなら、宙ぶらりんの時期はかなり長く続くかもしれない。誰も現状に満足していないが、代わりになる良い案もないのだ。

こうした局面では、個々のソフトウェアエンジニアは、まだ抜け道が使えるうちに使っておき、同時に他の抜け道使いから身を守ろうとする動機を持つ。言い換えれば、LLM が書いたドキュメントを自分で読み込むのは時間の無駄であり、信用にも値しない。だが、証拠として置いておくためだけのドキュメントを手書きするのも同じくらい無駄だ³。その分の労力は、本当に伝えるためのドキュメントに回そう。

なぜコードを直接見ないのか。技術者でない人にとって、コードは読み解けない指標だ。技術者であっても、あるコードを書くのがどれほど難しかったかを判断するのは難しい。組み上がったメカニカルパズルだけを見てその難易度を測るのが難しいのと同じ理由だ。しかし、文章を書くのにどれくらい時間がかかるかは、誰でもおおよそ見当がつく。 ↩
ソフトウェア企業がこのやり方を採用したがらないのは、社内での LLM 利用を製品開発を加速させるための必須ツールと見ているからだ。彼らはすでに社員に LLM を使うよう懇願している。そこで「書くときに LLM を使うな」と言い始めれば、メッセージが混乱する。 ↩
これはある程度、見分ける力を養うことを意味する（言い換えれば、そのドキュメントを本当に読む人がいるかどうかを見抜く力を養うということだ）。ここには第三の種類のテキストも現れているかもしれない。読まれはしないが、無視もされないテキストだ。他の LLM に消費させるために書かれているからだ。 ↩