Run-Ze Fan

ホーム

AI コーディング開発ツール評価LLM

论文的图文摘要:一套轻量编码 harness 的四个可替换组件与评测结果概览

コーディングエージェント向けハーネス設計の実証研究

コーディングフレームワークは、自律コーディングエージェントがモデル能力を長周期ソフトウェアエンジニアリング性能へと変換する方法を決定するが、通常はモノリシックシステムとして評価される。本研究では実行ループを固定し、SWE-Bench VerifiedとTerminal-Bench上で4つのモデルに対して3つのコンポーネント(計画、行動空間、コンテキスト管理)を一つずつ変更する。