去AI味 · AI 极客新闻

AI 系统通过强化学习，在各类可验证任务上已达到超人水平，但在不可验证任务上仍相对薄弱。例如，它们生成的内容缺乏高质量写作——即所谓的 AI slop。在这项工作中，我们提出了 RL-XAR（Reinforcement Learning from eXpert-Aligned Rubrics），一种解决该问题的新训练方法。其工作方式如下：

（1）首先收集最高质量的人类写作样本，然后
（2）通过评分标准学习 LLM 判断，使这些专家文本的得分高于模型生成内容；以及
（3）在学习到的评分标准上执行 RL。这一过程反复迭代，直到对评分标准的元优化再也找不到可辨别的差距。我们在科学论文段落写作、普利策奖小说续写和高质量 Wikipedia 页面上测试了该方法，多项指标显示其相较标准训练有大幅提升。

背景

大语言模型在预训练时，要在涵盖从新手论坛帖到专家文笔等各层次人类专业水平的语料上预测最可能的下一个 token。因此，最大似然预训练倾向于生成复现上下文质量的续写，而非超越它：给定平庸的文字，模型最自然地以同类风格续写，目标函数中没有任何东西推动生成走向专家质量。基于人类反馈的强化学习（RLHF）可以把模型推向更高水平，但它的效果取决于所优化的奖励——而一个能可靠识别优秀写作的奖励很难构建。用非专家标注者的排序训练出的奖励模型，会继承这些标注者的上限，因此我们最关心的那种质量——专家的、甚至超人类的写作——恰恰是这类奖励最无力认证的质量。因此，专家级生成要取得进展，关键在于一种无需大规模专家监督就能识别专家质量的奖励信号。

标准 LLM 判断的失败

成功的训练取决于良好的评分。因此我们首先在一个具体场景中研究奖励设计问题：撰写一篇真实学术论文中的某一节。模型会拿到一篇选定的高质量论文，但去掉其中一节——例如摘要、引言、相关工作或结论——然后必须写出缺失的那一节，使其与论文其余部分契合，且字数与原节相近。被留出的人类原文提供了一个天然的、由专家撰写的参照，而该任务可以轻松地从已发表文献中大规模获取。我们考虑两种让语言模型评判写作质量的标准方式——给它两个候选，问哪个更好；或者用预先设计的评分标准给每个候选打分。我们预期，一个好的评判者应当把专家人类写作排在模型写作之上。我们评估 Opus-4.8 和 GPT-5.6-sol 作为写作者和评判者的表现（交叉比较二者）。我们的发现如下。 直接成对评判者偏好模型。 一种常见协议是给评判者两个候选并问哪个更好，例如使用无评分标准的提示：“哪个版本是更好的章节？逐步推理，然后决定”——每次调用都以 A/B 两种顺序评分，以抵消位置偏差。该评判者在多数情况下偏好模型而非专家人类，比例在 63.5%-84.6% 之间，具体取决于写作者和评判者设置。 标准评分标准也无法体现差距。 虽然构建评分标准有很多方式，但我们提示 GPT-5.6 构建一个元提示，使其在给定一篇缺少某节的论文时，生成专门用于评判该节的评分标准。改用这些基于评分标准的判断后，结果更加极端：模型在 100% 的情况下被评为得分更高。

图：标准评判（左、中）把模型排在人类专家之上——对评分标准做元优化、使其与人类专家对齐后，结果反转（右）。 如果 LLM 评分器认为 AI 垃圾写得比人类好，那么训练只会鼓励更多垃圾。在学术论文章节写作任务上，我们发现标准的成对 LLM 评判或 LLM 生成的评分标准会给 GPT-5.6 或 Opus-4.8 打出比高质量人类写作更高的分数。我们的 RL-XAR（eXpert Aligned Rubrics）方法则是在一批高质量人类撰写章节的训练集上对评分标准做元优化，得到的评分标准使结果反转，在测试论文上给人类写作打出更高的分数。

基于专家对齐评分标准的强化学习（RL-XAR）

上一节展示了当前系统在评判人类专家写作上的失败。如果我们所用的 LLM 评分器认为 AI 垃圾写得比人类好，那么针对这个评分器做训练只会鼓励更多垃圾。既然我们能拿到大量人类专家写作的样本，自然会问：这能否通过学到更好的评判来解决？ 我们学习评分标准的方法叫 eXpert Aligned Rubrics（XAR），做法很简单：

找出明显高于平均水平／专家级的人类写作样本，把它拆成上下文和续写。
在相同上下文下生成多个模型续写作为竞争者，我们预期这些续写写得更差（也就是垃圾）。
上述数据构成学习对，其中人类应当得分更高。然后用这批训练数据学习生成评分标准，使人类与模型之间的得分差距最大化。随后，要用这些评分标准通过强化学习训练模型写得更好（RL-XAR），我们迭代以下步骤：

学习 XAR 评分标准，使其尽可能拉大人类与当前模型之间的差距，方法如上所述。
使用学到的评分标准，在训练集上做强化学习。
重复第 1 步，直到评分标准学习再也找不出差距（也就是说，我们再也无法从模型输出中识别出 slop）。

我们注意到，这一思路与 GAN 有相似之处。

学习评分标准：LLM 能识别专家写作吗？

学习评分标准的方式可以有很多种，在我们的实验中采用的是下面这套简单的元提示优化流程。我们从一个初始元提示开始：给定一段示例上下文，它要求 LLM 生成用于评判续写的评分标准。我们可以用（小规模）训练集上的人类-模型差距来衡量这个元提示的质量。

随后，优化过程会迭代一个简单的改进循环，固定迭代若干轮。每一轮中，我们把当前元提示、它在训练集上取得的人类-模型差距，以及它判断失败的具体样例展示给一个优化器 LLM，要求它提出一版修改，使差距“出于真实的写作质量原因、而非表面痕迹”被拉大。元提示的长度有上限，因此优化器必须合并既有标准，而不能不断追加新要求。优化结束后，我们保留各轮迭代中表现最好的那个候选。

初步实证研究

为验证该方法的可行性，我们在前文所述的论文段落写作任务上做了 7 轮元提示优化，使用一小组 52 个（论文，段落）样例，其中 8 篇论文用于训练，5 篇留作验证。评分标准生成器、写作模型以及最终的基于评分标准的评判者均由 Muse Spark 1.1 担任，元优化器则由 Kimi-K2.6 担任。我们发现，初始评分标准的差距为负，即模型比专家人类写作更受偏好；但随着元优化迭代，差距在第 4 轮转为正值，之后在后续迭代中略有上升。优化同时提高了人类写作的评判分数（3.4 到 5.0），并降低了模型写作的评判分数（7.6 到 2.7）。学到的评分标准修复了成对评判器和标准评分标准的失效问题。

图：元评分标准优化。 左图：在 train 和 valid 两个划分上，专家人类与模型（Muse Spark 1.1）的平均差距随迭代次数的变化；验证集差距（实线）从 -4.2 攀升至 +2.76，在第 4 次迭代越过零点（即人类平均被判优于模型），并在第 5 次迭代达到峰值，全程大致跟随训练集差距（虚线）——说明模型能泛化到留出的论文上，没有过拟合。右图：验证集绝对均值——差距从两端同时扩大，人类得分在上升（3.4 到 5.0），模型得分则在下降（7.6 到 2.7）。

学到的评分标准分析

学习之前的初始评分标准往往聚焦于论文的具体内容——点名某一节必须传达的具体论断、方法和结果——因此产出的是一长串针对单篇论文的覆盖清单。我们发现这带来一个不幸的后果：它奖励在每一节里写出一篇“迷你论文”。这类标准奖励的是流畅的模仿，把全篇论文的材料重新复述一遍，却惩罚人类原作的选择性，因为原作刻意省略了那些细节。随着迭代推进，优化器会改写那些给专家文字打错分的指导：把人类有原则的省略判为扣分项，把压缩后的摘要当作流畅来加分，把表面的润色误认为功力。因此，学到的评分标准也更倾向于奖励各节各司其职（即不是整篇论文的缩微版）、有纪律的取舍、简洁，以及与本节范围精确相关的细节，而不是覆盖面的广度。由于元提示词有长度上限，这些标准最终收敛为一小组稳定、相对不依赖具体论文的准则，倾向于把奖励的东西打磨得更锐利，而不是不断堆积要求。

主要实验

论文分节写作

我们首先把 RL-XAR 应用于科学论文的分节写作。

任务。 模型拿到一篇论文，其中某一节被移除，模型必须写出这一节（摘要、引言、相关工作或结论），使其最贴合这篇论文，每一条论断都严格基于论文的实际内容，不得编造数字、结果或引用。任务提示词给出一个目标字数，等于人类原写那一节的长度，并要求模型控制在约 $\pm 15 %$ 以内。

任务数据。 我们从 S2ORC 语料库中收集了 561 篇 CS 论文，依次留出每篇论文的四个部分（摘要、引言、相关工作、结论），构成 2,243 个（论文，章节）训练样本；每个样本以论文其余部分为上下文，以留出的人类章节作为专家参考。另有 90 篇不重叠的论文（360 个样本）留作验证。

训练。 我们对 Qwen3.5-27B 做强化学习，用跨家族的 Qwen3.8-2.4T-A95B 评判模型按学到的评分标准为每次生成打分作为奖励。评分标准的元优化使用 Kimi-K2.6。

RL-XAR 循环。 按照上文描述的方法，我们运行三轮外层迭代：(i) 元优化评分标准，使其针对当前模型最大化专家—人类—模型差距，同时 (ii) 让模型针对迄今收集到的评分标准集合做强化学习。我们训练两轮，针对上一轮模型在前两轮评分标准上仍然表现出的人类写作差距重新定位失败模式，第三轮评分标准则用于评估模型，避免重训练带来的偏差。

评分标准评估。 只在一个评分标准上训练的模型可能只学会满足那一个标准，因此我们用全部三组元优化评分标准评估每个写作方，并按三个归一化人类分数的最小值排名——即最差的那个评分标准，不允许挑选。评估使用 GPT-5.6 作为评分标准评判模型，因此不与训练所用的评判模型相同。

RL-XAR 把我们 27B 的模型带到该排行榜所有写作方之首：其最强 checkpoint 的最差评分标准分数达到 9.60（人类=10），领先于所有外部前沿模型。这些评分标准仍可能偏向我们的模型（在前两轮迭代上训练过），也仍未完全准确地衡量专家人类写作，但我们认为它们仍反映了性能的提升。

图：学术论文章节写作的测试表现。 总分是三轮专家对齐评分标准在 GPT-5.6 评判下的最小值，分数已按人类归一化。按这些评分标准，对 Qwen3.5-27B 进行 RL-XAR 训练的表现优于其直接基线 Qwen3.5-27B 以及多个前沿模型。最后一列是基于 Opus 4.8 的评估，根据各模型的评分标准分数给出其核心失败点。

人工专家评估 我们基于作者本人的论文进行评估，确认这些自动指标的提升确实成立——作者显然是这些论文的专家。在盲测的专家并排比较中，让 RL-XAR 模型与基线 Qwen3.5-27B 在留出章节上对决，RL-XAR 写出的内容以 16 比 2 被偏好（89% 胜率），说明评分标准所衡量的改进，对应的是专家读者确实认为更好的写作。我们发现 RL-XAR 胜出的原因在于，基线通常章节聚焦能力弱，常常写出一篇“迷你论文”，同时又塞进太多不必要的细节，比如并不需要的数值结果。不过，我们也不认为 RL-XAR 的生成就是完美的，预期更好的评分标准优化和评分模型还能找出更多缺陷——这些缺陷可以在训练中被强化，也就是用我们的方法配合前沿模型，而不是用 Qwen3.5-27B 作为写作者、Qwen3.8-2.4T-A95B 作为评分者。

查看示例

图：论文引言写作示例（节选）。 基线 Qwen3.5-27B（左）倾向于为引言写出范围过大的“迷你论文”，甚至包含未来工作，而 RL-XAR（右）的范围把握得当。

图：论文摘要写作示例。 基线 Qwen3.5-27B（左）倾向于在摘要中写太多不重要的细节，而 RL-XAR（右）范围把握得当，遵循论文其余部分的风格。

故事写作

任务。 模型会看到一段故事，直到某个场景中途停止的位置，必须从它停下的地方精确续写——匹配已确立的叙述声音、散文风格、视角、人物、场景和语气——不得总结、重新开始、添加标题或改变体裁。会提供一个长度目标（人类续写的长度，误差在 $\sim \pm 15 %$ 以内）。

任务数据。 我们选择 Project Gutenberg 中属于公有领域的书籍，由外部人类资质（例如普利策奖和诺贝尔奖获奖作者）进行质量筛选，并偏向每位作者较少被阅读的作品，以限制记忆。此外，对于任何续写，如果温度 0 探针复现了参考文本超过 5% 的 13-gram，或者存在单段连续逐字 20 词或以上的片段，该样本就会从数据中剔除。我们使用 2,290 个样本用于训练，310 个用于验证。每个配对由作为上下文的故事前文和作者逐字续写作为专家参考组成。我们还使用一组不相交的 52 个样本进行评分标准元优化，其中 20 个留作验证，60 个用于最终测试。

训练。 我们沿用与之前相同的配方——在 Qwen3.5-27B 上做 GRPO，评判模型用 Qwen3.8-2.4T-A95B。这次 RL-XAR 只跑了一轮迭代。我们使用的评分标准由 meta-prompt 生成，该 meta-prompt 通过 Kimi-K2.6 优化，并配有 Muse Spark 1.1 的 meta-prompt 评分标准生成器、写作模型和评判模型。

评分标准评估。 我们在相同的 story 评分标准下评估，但把评判模型换成 GPT-5.6，并报告经人类归一化的分数。 RL-XAR 把 Qwen3.5-27B 从 2.8 提升到 8.2——位居所有写作模型之首，领先于每一个前沿模型（次优的是 Claude 5 Opus，6.8）。

人工评估 我们通过人工评估确认了这些自动指标的提升。在盲测的并排对比中，让 RL-XAR 模型与基线 Qwen3.5-27B 在留出的故事续写上同台竞争，RL-XAR 写作者以 19 比 1 胜出（胜率 $95 %$ ），说明评分标准所衡量的提升，对应的是读者确实认为更好的文字。我们发现基线表现很差，未能很好地贴合故事的风格。一个明显的特征是，它经常退回到陈词滥调或质量低劣的比喻，例如 “the air hung over the table like a warm cloth” 和 “the wind rustled the leaves, sounding like a whisper of warning, or perhaps a laugh”，与作者本人的作品并不匹配。

撰写维基百科条目

任务。 模型只拿到条目标题和目标章节标题——不给条目正文——必须从零写出该正文章节，并达到指定的目标长度，与另外两个任务类似。

任务数据。 我们挑选质量等级为 Featured 或 Good 的维基百科条目，同样偏向冷门标题，并施加前面提到的相同记忆化处理。我们提供 1,187 个训练样本和 162 个验证样本。此外，我们使用一组不相交的 42 个样本做评分标准元优化，其中 12 个留作验证，60 个用于最终测试。

训练。 我们使用与故事任务完全相同的配方，并针对这一场景优化评分标准。

评分标准评估。 我们使用学习到的 Wikipedia 评分标准报告结果，但换用独立的 GPT-5.6 作为评判模型。在这里，RL-XAR 只把 Qwen3.5-27B 从 2.7 提升到 4.0：增益很小，模型仍远低于人类写作者和前沿写作者（GPT-5.6 为 7.9，Claude 5 Opus 和 Muse 为 7.2）。Wikipedia 章节写作是这套方法在三个领域中最难的一个，部分原因是 Qwen3.8-2.4T-A95B 评判模型不够格，下一节会对此进行分析。

图：故事续写（左）和 Wikipedia 章节写作（右）上的测试表现。 报告的是由 GPT-5.6 评判、按人类归一化的评分标准分数。两种情况都只做了一轮 RL-XAR 迭代，在故事写作上（左）就使所报告的评分标准分数大幅提升，在 Wikipedia 写作上（右）提升中等。对 Wikipedia 而言，训练时所用的模型或 Qwen3.8-2.4T-A95B 评判模型作为评分者似乎太弱，无法取得更好的表现。

分析、消融与补充实验

评判模型很重要。 目前的结果表明评分标准很重要。这里我们要说明，评估这些评分标准的 LLM 评判模型，其质量同样重要。弱评判模型根本无法区分专家人类写作和模型写作。

图：评判模型对比，在 XAR 优化过的评分标准上取平均。 每个评判模型的人类–模型平均差距（写作者 = Muse Spark 1.1；正值表示偏向人类），评判模型按能力从高到低排列。在 Story 和 Wikipedia 上，Qwen3.5-27B（红色）是唯一给出负值的评判模型，把模型排在人类写作之上（story 为 -0.55，wiki 为 -0.39）；在 Paper 上四个评判模型结果接近，且都偏向人类。弱评分者看不到这一差距。

元优化器很重要。 我们把 Muse Spark 1.1、Opus 5 和 Kimi K2.6 作为评分标准元优化器进行比较，每个都在 3 个随机种子上取平均，报告 Muse Spark 1.1 作为论文章节写作者时的人类–模型验证差距。我们发现 Kimi 和 Opus 能找到正差距，而 Muse Spark 1.1 很吃力。更弱的模型很可能更吃力。最后要说明，我们用的是一种简单的迭代精炼元优化方法，而其他方法还有很多。我们在一种 GEPA 优化变体上做了初步实验，但结果没有优于我们报告的主要结果，这类探索留待后续工作。

图：不同的评分标准元优化器。 每个优化器的平均（人类-模型）差距，在三个随机种子上取平均。

专家人类很重要。 使用专家人类写作的样本对评分标准优化很重要。我们通过使用被评为低、中、高质量人类写作的论文，并用我们学到的评分标准来评估它们，验证了这一点。将人类与 GPT-5.6 比较，我们观察到高质量人类写作者的差距为 +1.39，中等质量为 +0.95，低质量仅为 +0.37。因此，用低质量写作对抗强大的模型写作者，很可能无法找到有用的评分标准或人类-模型差距。此外，如果学到的评分标准衡量的是真实质量，那么对于写得更好的人类论文，人类-模型差距应该更大，对于较弱的论文则更小，这正是我们观察到的结果。

图：专家人类很重要。 按论文人类写作质量分箱（低/中/高，从浅到深）的人类-模型差距，与两个模型（Muse Spark 1.1 和 GPT-5.6）比较。如果学到的评分标准衡量的是真实质量，那么对于写得更好的人类论文，人类-模型差距应该更大，对于较弱的论文则缩小，这正是我们观察到的结果。

评分标准在强评判者之间具有泛化性。 如果两个不同的评判者都足够强，我们观察到可以为其中一个评判者优化评分标准，而这些评分标准对另一个评判者也有效。例如，我们在下面展示了 GPT-5.6 和 Muse Spark 1.1 评判者的情况。

图：评分标准的跨评判者鲁棒性： 在论文章节写作任务上的平均差距（人类-Muse Spark 1.1），由跨家族的 GPT-5.6 评判者与 Muse Spark 1.1 评判者评分。在每个分割和变体下，两个评判者都偏好人类。Ground Truth (GT) 评分标准是通过在通过元提示生成评分标准时将隐藏章节作为输入来构建的，从而使分数偏向人类写的完成。因此 GT 评分标准分数整体更高。

长度约束与评分标准

在早期实验中我们发现，如果不给出明确的长度约束，标准模型在写论文章节时往往写得过长——有时能达到隐藏的人类原稿的两三倍。这样一来，它们更容易在既定评分标准上拿到高分，与其他指令遵循场景类似。因此我们改为设计带长度约束的任务，即要求写出与人类原稿长度相近的章节。强模型能够做到这一点，但我们也观察到一个不希望出现的副作用：它们会把大量思维链消耗在这一约束上（比如数词数）。

评分标准需要迭代。

在论文章节写作任务中，我们注意到 RL-XAR 训练的第一轮迭代在三组评分标准上得到 (11.0, 7.0, 8.4) 的评估结果。第 1 轮评分标准被优化，得分很高，代价是第 2 轮评分标准未被优化——7.0 远低于 Qwen3.5-27B 的起点 10.4。第二轮训练把第 2 轮评分标准的性能恢复到基线模型水平，同时在另外两组评分标准上也拿到高分。

在线训练评分标准。

我们还简要尝试了一种完全在线（协同训练）的目标：写作生成器针对评分标准做优化，同时评分标准本身由 GRPO 训练（而非元优化），以最大化当前策略下的人类—模型差距——后者的奖励来自归一化后的差距。后续实验留待将来，但我们在故事任务上这一方向的初步结果是正面的：用此前实验中同一套固定的（已学到的）评分标准测试时，成绩从 2.8（Qwen3.5-27B）提升到 6.0（在线 RL-XAR）。

结论

我们提出了 RL-XAR，即 Reinforcement Learning from eXpert-Aligned Rubrics：一套把现成的专家人类写作转化为可学习的、与专家对齐的奖励，再据此优化的方法。它的关键一步是优化评分标准生成器，使其最大化专家人类文本与当前模型生成之间的差距，并反复迭代，直到不再有可辨识的差距；随后用标准 RL 针对生成的评分标准训练，即可提升写作质量。在三个领域——学术论文章节写作、普利策奖与诺贝尔奖级别的小说续写、Wikipedia 章节写作——RL-XAR 相比基座模型都带来了大幅提升。我们的期望是：如果 AI 能更好地与人类沟通，所有人都会受益。

贡献者

Jason Weston、Ilia Kulikov、Swarnadeep Saha

引用

在完整论文发布之前，你可以这样引用这篇博客：

@article{weston2026unslop,
 title = "Towards RL for Superhuman Text: Unslopping AI",
 author = {Weston, Jason and Kulikov, Ilia and Saha, Swarnadeep},
 year = "2026",
 month = "September",
 url = "https://facebookresearch.github.io/RAM/blogs/unslop/"
}

本站开源。改进此页面。

背景