AI ソフトウェア開発者のためのトラスト・キャリブレーション
トラスト・キャリブレーションとは、AI への信頼をその実際の能力に見合わせること。1000 本以上の論文を整理した結果、過信も不信も同じくらい有害だと分かる。AI 製品を作る側が設計すべきものだ。
Daniel Botha
ホーム
MorphLLM でより良い agent を作る
MorphLLM は agent にコードを書き換えさせるとき、ファイル全体を書き直さず必要な数行だけを変更する。丸ごと書き直す方式は遅く高く壊れやすい。仕組みと違いを解説する。
agent が自分自身を壊さないように作る
agent に shell を走らせるのは危険だが、読み取り専用のサンドボックスでは足りない。Fly は Sprite で危険な操作を隔離し、チェックポイントを打って失敗時に巻き戻す。気をつける必要のない場所で働かせるという考え方。