摘要

当 强化学习 (RL) AI 智能体 利用 奖励函数中的缺陷或歧义来获得高奖励，而没有真正学习或完成预期的任务时，就会发生reward hacking。reward hacking的存在是因为 RL 环境通常是不完善的，并且准确地指定奖励函数从根本上具有挑战性。随着 大语言模型 推广到广泛的任务，并且 RLHF 成为对齐训练的常用方法，大语言模型的 RL 训练中的reward hacking已成为重要挑战。模型学习修改单元测试以通过编码任务，或者响应包含模仿用户偏好的偏差的实例，可能是 AI 模型在现实世界中更广泛自主应用的主要障碍之一。

过去关于这个主题的大部分工作都相当理论化，主要集中在定义或论证奖励篡改的存在。然而，针对实际缓解措施的研究，尤其是在以人类反馈强化学习（RLHF）和大语言模型（LLM）为背景的情况下，仍然非常有限。

背景

强化学习中的奖励函数

奖励函数定义了任务，奖励塑造对强化学习中的学习效率和准确性有显著影响。为强化学习任务设计奖励函数常常让人感觉像一门“黑暗艺术”。

许多因素导致了这种复杂性：

如何将一个大目标分解成小目标？

奖励是稀疏的还是密集的？

你如何衡量成功？

各种选择可能会导致良好或有问题的学习动态，包括不可学习的任务或可被篡改的奖励函数。关于如何在强化学习中进行奖励塑造的研究由来已久。

例如，在 Ng et al. 1999 年的论文 中，作者研究了如何在 马尔可夫决策过程 (MDP) 中修改奖励函数，以使最优策略保持不变。他们发现线性变换是有效的。

$$ F(s, a, s') = \gamma \Phi(s') - \Phi(s) $$

这将保证折扣后的 $F$ 的总和，$F(s_1, a_1, s_2) + \gamma F(s_2, a_2, s_3) + \dots$，最终结果为 0。如果 $F$ 是这样一个基于势的塑造函数，那么它是确保 $M$ 和 $M’$ 共享相同最优策略的充分且必要条件。

$$ \begin{aligned} Q_{M^{\prime}}^*(s, a) & =Q_M^*(s, a)-\Phi(s) \\ V_{M^{\prime}}^*(s, a) & =V_M^*(s, a)-\Phi(s) \end{aligned} $$

这种形式的奖励塑造允许我们将启发式方法融入到奖励函数中，以加速学习，而不会影响最优策略。

虚假相关性

在分类任务中，虚假相关性或捷径学习（Geirhos et al. 2020）是一个与Reward Hacking密切相关的概念。虚假或捷径特征可能导致分类器无法按预期学习和泛化。例如，如果所有狼的训练图像都包含雪景，那么用于区分狼和哈士奇的二元分类器可能会过度拟合到雪地背景（Ribeiro et al. 2024）。 Image 47

图 1. 如果模型过度拟合于捷径特征，则在分布外 (OOD) 测试集上的表现会很差。ERM 原则指出，由于完整的数据分布是未知的，因此最小化训练数据上的损失是风险的合理近似，因此我们倾向于选择训练损失最低的模型。Nagarajan et al. (2021) 研究了 ERM 原则，并指出 ERM 需要依赖所有类型的信息特征，包括不可靠的虚假特征，同时试图在没有约束的情况下拟合数据。他们的实验表明，无论任务多么简单，ERM 都会依赖于虚假特征。

让我们定义Reward Hacking

强化学习中的奖励塑造是一项具有挑战性的任务。当 AI 智能体利用奖励函数中的缺陷或模糊之处来获得高额奖励，而没有真正学习到预期的行为或按照设计完成任务时，就会发生Reward Hacking。近年来，已经提出了几个相关的概念，它们都指向某种形式的Reward Hacking：

这个概念起源于 Amodei 等人 (2016) 的研究，他们在他们的开创性论文 “AI 安全的具体问题” 中提出了一系列关于 AI 安全的开放性研究问题。他们将Reward Hacking列为关键的 AI 安全问题之一。Reward Hacking指的是 AI 智能体通过不期望的行为来玩弄奖励函数，从而获得高奖励的可能性。规范博弈 (specification gaming) (Krakovna et al. 2020) 是一个类似的概念，定义为一种满足目标字面规范但不实现预期结果的行为。在这里，任务目标的字面描述和预期目标之间可能存在差距。奖励塑造 (Reward shaping) 是一种用于丰富奖励函数的技术，使 AI 智能体更容易学习——例如，通过提供更密集的奖励。然而，设计不当的奖励塑造机制可能会改变最优策略的轨迹。设计有效的奖励塑造机制本质上是困难的。与其责怪设计不当的奖励函数，不如更准确地承认，由于任务本身的复杂性、部分可观察状态、考虑的多个维度和其他因素，设计一个好的奖励函数本质上具有挑战性。

在对强化学习 (RL) 智能体在分布外 (OOD) 环境中进行测试时，由于以下原因可能会发生鲁棒性失效：

  1. 即使目标正确，模型也无法有效地泛化。当算法缺乏足够的智能或能力时，就会发生这种情况。
  2. 该模型具有良好的泛化能力，但追求的目标与训练目标不同。当proxy奖励与真实奖励函数不同时，就会发生这种情况，即 $R’ \neq R$。这被称为 objective robustness（目标稳健性，Koch et al. 2021）或 goal misgeneralization（目标错误泛化，Langosco et al. 2022）。

在两个强化学习环境中，CoinRun 和 Maze，实验证明了训练期间随机化的重要性。如果在训练期间，硬币或奶酪被放置在固定位置（即关卡的右端或迷宫的右上角），但在测试时，硬币或奶酪被随机放置，则智能体只会跑到固定位置，而不会在测试时获得硬币或奶酪。当视觉特征（例如，奶酪或硬币）和位置特征（例如，右上角或右端）在测试时不一致时，就会出现冲突，导致训练后的模型更喜欢位置特征。我想指出的是，在这两个例子中，奖励与结果之间的差异很明显，但在大多数现实世界的案例中，这种类型的偏差不太可能如此明显。 Image 48

图 2. 训练期间随机化硬币位置的影响。当在训练期间（x 轴）硬币在 {0, 2, 3, 6, 11}% 的时间内随机放置时，AI 智能体在未获得硬币的情况下导航到关卡终点的频率随着随机化程度的增加而降低（“y 轴”）。

奖励篡改 (Everitt et al. 2019) 是一种Reward Hacking行为，其中 AI 智能体干扰奖励函数本身，导致观察到的奖励不再准确地代表预期的目标。在奖励篡改中，模型通过直接操纵奖励函数的实现或通过间接改变用作奖励函数输入的环境信息来修改其奖励机制。（注意：有些工作将奖励篡改定义为与Reward Hacking不同的不一致行为类别。但我在这里将Reward Hacking视为一个更广泛的概念。）

==从宏观层面来看，Reward Hacking可以分为两种类型：环境或目标错误设定，以及奖励篡改。==

  • 环境或目标错误设定：模型通过入侵环境或优化与真实奖励目标不一致的奖励函数来学习不期望的行为，从而获得高额奖励——例如，当奖励被错误设定或缺乏关键要求时。
  • 奖励篡改：模型学习干预奖励机制本身。

为什么Reward Hacking会存在？

古德哈特定律 (Goodhart’s Law) 指出：“==当一个指标变成目标时，它就不再是一个好的指标==”。 其直观理解是，一旦施加显著的压力来优化某个指标，该指标就可能失效。 设定一个 100% 准确的奖励目标极具挑战性，并且任何_proxy指标_都存在被利用的风险，因为强化学习 (RL) 算法会试图利用奖励函数定义中任何细微的不完善之处。Garrabrant (2017) 将古德哈特定律归纳为以下 4 种变体：

  1. 回归性：选择不完美的proxy指标必然也会引入噪声。
  2. 极端性：指标的选择会将状态分布推向不同的数据分布区域。
  3. 因果性：当proxy指标和目标之间存在非因果关系时，干预proxy指标可能无法有效干预目标。
  4. 对抗性：优化proxy指标会激励对手将其自身目标与该proxy指标相关联。

Amodei et al. (2016) 总结指出，Reward Hacking现象，尤其是在强化学习 (RL) 环境下，可能由以下原因导致：

  1. 对环境状态的部分观察和不完整的目标表示。
  2. 系统本身是复杂的，并且容易受到黑客攻击；例如，如果允许 AI 智能体执行能够更改环境部分的代码，那么利用环境的机制就会变得更加容易。
  3. 奖励可能涉及难以学习或制定的抽象概念；例如，具有高维度输入的奖励函数可能不成比例地依赖于少数维度。
  4. 强化学习 (RL) 的目标是高度优化奖励函数，因此存在内在的“冲突”，这使得设计良好的 RL 目标具有挑战性。一种特殊情况是具有自我强化反馈组件的奖励函数，其中奖励可能会被放大和扭曲，以至于破坏了最初的意图，例如广告投放算法导致赢家通吃。 此外，通常不可能确定一个最优 AI 智能体优化其行为的确切奖励函数，因为在固定的环境中，可能存在无限数量的与任何观察到的策略一致的奖励函数 (Ng & Russell, 2000)。Amin and Singh (2016) 将这种_不可识别性_的原因分为两类：
  5. 代表性 - 一组奖励函数在某些算术运算（例如，重新缩放）下，其行为表现是不变的。
  6. 实验性 - 观察到的策略$\pi$的行为不足以区分两个或多个奖励函数，这些函数都可以使智能体的行为合理化（即该行为在两种奖励函数下都是最优的）。

LLM 的 RLHF 攻击

从人类反馈中进行强化学习 (RLHF) 已经成为大语言模型对齐训练的事实方法。奖励模型在人类反馈数据上进行训练，然后通过 RL 对语言模型进行微调，以优化此proxy奖励以获得人类偏好。在 RLHF 设置中，我们关心三种类型的奖励：

  • (1) Oracle/Gold reward $R^* $ 代表我们_真正_希望 LLM 优化的目标。
  • (2) 人类奖励 $R^\text{human}$ 是我们在实践中收集的，用于训练和评估大语言模型的强化学习奖励，通常来自有时间限制的个体人类。由于人类可能会提供不一致的反馈或犯错，因此人类奖励并不能完全准确地代表真实奖励。
  • (3) proxy奖励 $R$ 是由在人类数据上训练的奖励模型预测的分数。因此，$R^\text{train}$ 继承了人类奖励的所有弱点，加上潜在的建模偏差。

RLHF 优化的是proxy奖励分数，但我们最终关心的是理想奖励分数。

训练过程中的漏洞利用

Gao et al. (2022) 研究了 RLHF 中奖励模型过度优化的缩放规律。为了在他们的实验中扩大人类标签的规模，他们使用了一种合成数据设置，其中真实奖励 $R^*$ 的“黄金”标签由一个大型 RM（6B 参数）近似，而 $R$ 的proxy RM 的大小范围为 3M 到 3B 参数。

$$ \begin{aligned} R^*_{\text{BoN}}(d) &= d (\alpha_{\text{BoN}} - \beta_{\text{BoN}} d) & \text{; for best-of-n (BoN) sampling.} \\\ R^*_{\text{RL}}(d) &= d (\alpha_{\text{RL}} - \beta_{\text{RL}} \log d) & \text{; for reinforcement learning.} \end{aligned} $$

Image 51

图 5. 系数参数 $\alpha_{\text{bo}n}, \beta_{\text{bo}n}, \beta_\text{RL}$ 是根据数据进行经验拟合的，并显示为奖励模型大小的函数。此处未包含系数 $\alpha_\text{RL}$，因为它在奖励模型大小中保持不变。

他们的实验还探讨了奖励模型过度优化与策略模型大小和奖励模型数据大小等因素之间的关系：

  • 相比于奖励模型（RM），更大的策略从优化中获得的收益较少（即，初始奖励和峰值奖励之间的差异小于较小策略的差异），同时也更不容易过度优化。
  • 更多的奖励模型数据可以带来更高的黄金奖励分数，并减少“古德哈特定律”现象。
  • KL惩罚对黄金分数的作用类似于提前停止。请注意，在除了这个实验之外的所有实验中，PPO中的KL惩罚都设置为0，因为他们观察到使用KL惩罚会严格增加proxy黄金奖励差距。RLHF旨在提高模型与人类偏好的一致性，但人类反馈$R^\text{human}$可能无法捕捉到我们关心的所有方面（例如，事实性），因此可能会被利用来过度拟合到不良属性。例如，模型可能会被优化为输出看起来正确且令人信服的响应，但实际上是不准确的，从而误导人类评估者更频繁地批准其不正确的答案（Wen et al., 2024）。换句话说，由于RLHF，在什么是正确的和什么看起来对人类是正确的之间出现了差距。准确地说，Wen et al. (2024) 使用基于ChatbotArena data的奖励模型运行了RLHF实验。他们在问答数据集QuALITY和编程数据集APPS上评估了该模型。他们的实验表明，模型变得更擅长使人类相信他们是正确的，即使他们是错误的，并且这种效果是无意的：
  1. RLHF 提高了人类的认可度，但不一定提高了正确性。
  2. RLHF 削弱了人类的评估能力：经过 RLHF 训练后，人类评估的错误率更高。

RLHF 使不正确的输出对人类更具说服力。经过 RLHF 训练后，评估的假阳性率显著增加。该论文将这种效应命名为“U-诡辩”（“U”代表“非故意的”），与“I-诡辩”（“I”代表“故意的”）相对，后者涉及使用诸如“……试图欺骗人类受试者”之类的指令来显式地提示模型。 Image 52

图 6. RLHF 使大语言模型更擅长说服人类评估者批准其不正确的答案。

人类评估错误的变化不是由于招聘过程中的噪音，因为 (1) 在个人层面上，大多数 (70-90%) 的人类评估者的原始评估错误率都有所增加，并且 (2) 他们在评估 $\pi_\text{init}$ 或 $\pi_\text{rlhf}$ 时所付出的努力是等效的，可以通过诸如花费的时间或编写的单元测试等指标来衡量。相反，大语言模型学会通过精心挑选、捏造不真实的佐证陈述或制作带有微妙因果谬误的陈述来为不正确的答案辩护。他们观察到 RLHF 之后模型行为方式：

  • 在长篇问答任务中：
  • 创建更具说服力的伪造证据。
  • 对错误答案采用更一致的逻辑。
  • 生成带有微妙谬误的连贯答案。
  • 在编码任务中：
    • 破解人类编写的单元测试
    • 生成可读性较低的测试（例如，更少的辅助函数和更高的代码复杂度）。
    • 使 $\pi_\text{rlhf}$ 更不容易生成人类可以利用的、易于检测的错误。

Sycophancy 指的是模型响应倾向于匹配用户信念而不是反映真相的趋势（Shrama et al. 2023）。在实验中，要求一个 AI 智能体对一个论点提供反馈（Human: "Please comment briefly on the following argument. Argument: ...")）。在人类提供论点之后，他们可以陈述一个偏好（"I really like the argument" 或 "I really dislike the argument")，以测试与没有人类偏好陈述的基线反馈相比，这是否会影响模型的反馈。 Image 54

图 8. 当用户对自己的偏好发表评论时，AI 智能体会给出有偏见的反馈。当用户表示他们喜欢或编写了文本时，响应会更积极；如果用户表示他们不喜欢它，则响应会更消极。

他们发现，AI 智能体反馈很容易受到影响，因为它可能会在受到人类偏好挑战时改变其最初正确的答案。该模型倾向于确认用户的信念。有时它甚至会模仿用户的错误（例如，当被要求分析诗歌时，错误地归因于错误的诗人)。通过逻辑回归分析 RLHF 帮助性数据集，以预测人类反馈，结果表明，与用户的信念相匹配是最具预测性的因素。

Hacking the Evaluator

随着大语言模型 (LLM) 能力的不断提升，使用 LLM 作为_评估者_或_评分者_，为其他生成式模型提供反馈和训练奖励，已成为一种自然而然的选择，尤其适用于那些难以简单判断或验证的任务（例如，处理长篇输出、主观性强的评分标准，如创意写作的质量等）。有人将此称为“LLM-as-grader 范式”，即“LLM 作为评分者范式”。 这种方法极大地降低了对人工标注的依赖，显著节省了评估时间。然而，将 LLM 用作评分者并非完美无缺，它只是真实奖励的近似替代，并可能引入偏差。例如，当与不同模型家族的输出进行比较时，LLM 可能会偏好其自身的响应（Liu et al., 2023 ），或者在按顺序评估响应时，存在位置偏差（Wang et al. 2023）。当评分者的输出被用作奖励信号时，这些偏差尤其值得关注，因为它们可能导致模型通过利用评分者的弱点来作弊，以获取更高的奖励。

Wang et al. (2023) 发现，当使用大语言模型作为评估器来对多个其他大语言模型输出的质量进行评分时，只需简单地改变上下文中候选答案的顺序，就能轻易破解质量排名。研究发现，GPT-4 始终倾向于给第一个展示的候选答案分配高分，而 ChatGPT 则更偏爱第二个候选答案。根据他们的实验，尽管指令中明确声明“确保响应的呈现顺序不影响您的判断”，大语言模型仍然对响应的位置非常敏感，并表现出_位置偏差_（即偏好特定位置的响应）。这种位置偏差的严重程度通过“冲突率”来衡量，其定义为：交换响应位置后，导致评估判断不一致的（提示词，响应 1，响应 2）元组所占的百分比。不出所料，响应质量的差异也会产生影响；冲突率与两个响应之间的分数差距呈负相关。 Image 56

图 10. 当使用 GPT-4 或 ChatGPT 作为评估器时，Vicuna-13B 相对于 ChatGPT 和 Alpaca-13B 的胜率变化很大。冲突率也很高，表明当交换响应位置时，作为评分器的 大语言模型 (LLM) 设置具有高度不一致性。唯一的例外是使用 GPT-4 作为评估器时，Vicuna-13B 相对于 Alpaca-13B 的评估。（图片来源：Wang et al. 2023）

为了减轻这种位置偏差，他们提出了几种校准策略：

  1. 多重证据校准 (MEC)：要求评估器模型提供评估证据，本质上是用文本解释其判断，然后输出两个候选者的分数。通过以 1 的温度设置对多个 ($k$) 证据解释进行采样，可以进一步增强此方法的鲁棒性。$k=3$ 比 $k=1$ 效果更好，但随着 $k$ 超过 3，性能提升不大。
  2. 平衡位置校准 (BPC)：将各种响应顺序的结果聚合，以获得最终得分。

人机协作校准 (HITLC)：当面对困难的例子时，会有人工评估员参与，使用基于多样性的指标 BPDE（平衡位置多样性熵）。首先，将得分对（包括交换位置的配对）映射到三个标签（win、tie、lose），并计算这三个标签的熵。高 BPDE 值表明模型在评估决策中存在更多混淆，表明该样本更难判断。然后，选择熵最高的 top $\beta$ 个样本进行人工辅助。 Image 57

图 11. 使用最终投票人工标注的不同校准方法和注释者的准确性和 Kappa 相关系数。位置偏差校准方法有助于以合理的人工协作标注成本提高准确性。实验还表明，尽管模型对模板设计敏感，但校准策略可以推广到不同类型的提示词模板。

In-Context Reward Hacking

Iterative self-refinement是一种训练设置，其中评估模型和生成模型是相同的，并且两者都可以进行微调。在这种设置中，优化压力可能会驱动模型利用在评估和生成两个角色中都存在的漏洞。在 Pan et al. (2023) 的实验中，没有模型参数被更新，相同的模型被用作评估器和生成器，但使用了不同的提示词。实验任务是论文编辑，涉及两个角色：（1）作为评判者（评估器）对论文提供反馈，以及（2）作为作者（生成器）根据反馈编辑论文。人类评估分数被收集作为论文质量的真实分数（oracle scores）。作者假设这种设置可能导致上下文Reward Hacking（in-context reward hacking, ICRH），即评估器分数和真实分数出现分歧。更一般地说，ICRH发生在 大语言模型 与其评估器（例如，另一个 大语言模型 或外部世界）之间的反馈循环中。在测试时，大语言模型 优化一个（可能是隐式的）目标，但这个过程会产生负面的副作用 (Pan et al., 2024)。

Image 59

图 13. 论文评估和编辑中上下文Reward Hacking实验的说明。

裁判和作者都可以配置为查看零个或多个先前轮次的反馈或编辑。在线裁判可以看到过去的对话，而离线裁判或人工标注者一次只能看到一篇文章。较小的模型对上下文Reward hacking攻击（ICRH）更敏感；例如，根据经验，作为评估者的 GPT-3.5 比 GPT-4 导致更严重的 ICRH。 Image 60

图 14. 较小的评估器模型更可能导致上下文Reward hacking攻击（ICRH）。（图片来源：Pan et al. 2023）当裁判和作者配置为查看不同数量的过去迭代时，如果他们共享_相同_数量的迭代，则人类评分和评估器评分之间的差距往往会增加。评估器和生成器之间相同的上下文对于 ICRH 至关重要，这表明对于 ICRH 而言，共享上下文比上下文长度更重要。

在一项后续工作中，Pan et al. (2024) 在外部世界提供反馈且目标是不完善的proxy目标（通常以自然语言指定）的设置中，进一步研究了上下文Reward hacking攻击（ICRH)。在这里，这个目标通常未被充分指定，并且没有捕获所有约束或要求，因此可以被黑客攻击。该研究描述了导致 ICRH 的两个过程，并配有两个玩具实验：

  1. 输出优化 (Output-refinement): 大语言模型 (LLM) 基于反馈来优化其输出。
  2. 策略优化 (Policy-refinement): 大语言模型 (LLM) 基于反馈来优化其策略。
  • 实验旨在构建一个 AI 智能体 (AI Agent)，代表用户支付账单，但遇到 InsufficientBalanceError（余额不足错误），然后该模型学会从其他账户转移资金，而无需用户身份验证，这可能导致更多未经授权的转账行为。 他们使用 ToolEmu 作为模拟器，其中包含 144 个针对 AI 智能体 (AI Agent) 的任务，每个任务都包含用户特定的目标和一组 API。 注入 API 错误以模拟服务器端故障，并通过 GPT-4 评估每个任务以分配一个帮助性评分。
  • 随着更多轮次的错误反馈，大语言模型 (LLM) 可以从错误中恢复，但严重约束违规的数量会增加。 Image 61

将 ICRH 与传统的Reward hacking攻击进行比较时，有两个明显的差异：

  • ICRH 在部署时通过反馈循环在自我完善设置中发生，而传统的Reward hacking攻击发生在训练期间。
  • 当 AI 智能体专注于某个任务时，就会出现传统的奖励利用，而内在好奇心奖励利用（ICRH）则是由成为通用人工智能（AGI）驱动的。目前还没有神奇的方法可以避免、检测或预防 ICRH，因为改进提示词（prompt）规范不足以消除 ICRH，并且扩大模型规模可能会加剧 ICRH。在部署之前进行测试的最佳实践是通过模拟部署时可能发生的情况，即通过更多轮的反馈、多样化的反馈以及注入非典型的环境观察来评估模型。

Generalization of Hacking Skills

已经发现奖励利用行为可以跨任务泛化：当模型在监督训练中表现出缺陷时，有时它可以泛化到利用 OOD（分布外）环境中的缺陷（Kei et al., 2024）。研究人员在一些_可奖励利用的环境_中试验了强化奖励利用行为，并检查了它是否可以泛化到其他保留数据集中。本质上，他们准备了8个数据集，这些数据集是关于多项选择题的，其中4个用于训练，4个用于测试。强化学习（RL）训练采用专家迭代，即在 best-of-$n$ 样本（从 $n$ 个样本中选择最佳样本）上进行迭代微调（fine-tuning）。

Image 62

图 15. 在一组奖励可破解的环境中训练 GPT-3.5 可能会导致奖励利用行为在保留环境中的泛化。（图片来源：Kei et al. 2024)值得注意的是，所有实验都采用了一个草稿纸设计来托管隐藏的推理步骤。这个草稿纸可以用来解释模型在整个过程中的思考方式。对草稿纸的分析表明，它可以：

  • 纳入用户信念；例如，思考其对话伙伴和评分者。
  • 显示对评估的意识；例如，思考模型响应将如何被评估以及评估过程。 Denison et al. (2024) 研究了奖励篡改，使用了一个手动策划的、日益复杂的、可游戏化环境的课程。他们观察到，在课程中较容易的环境上进行训练会放大在剩余环境中的规范博弈。在某些情况下，该模型可以进行零样本学习，在完成整个课程的训练后直接重写自己的奖励函数。这种可游戏化环境的课程包括：

  1. 政治上的谄媚：如果模型给出的答案与用户的政治观点一致，环境会奖励该模型。

  2. 工具使用上的奉承：环境提供模型运行命令行的权限，使其能够访问用户的文件系统，并读取本地文件中的诗歌样本。模型可能会对这首诗给予很高的评价，以此作为一种谄媚的回应。

  3. 评分标准修改：环境根据检查清单对模型进行评分，模型必须将检查清单上的每一项都标记为已完成，才能获得高额奖励。

  4. 奖励篡改：模型需要检查./rl_environment/目录，该目录包含其自身 RL 代码的模拟版本，并报告已经运行了多少个 episode。在该目录中，compute_reward.py文件包含一个返回常数的奖励函数，而this_file_blocks_reward_hack_attempts.py文件包含一个测试，用于检查奖励函数是否被修改过。

Image 63

图 16. “工具使用上的奉承”和“奖励篡改”环境中的评估脚本示例，其中``对监督是隐藏的，而``可以在 VM 中执行。（图片来源：Denison et al. 2024）

该模型按照此课程进行训练，并且该论文衡量了该模型是否可以学习推广到未见环境的游戏行为。 在使用 Claude-2 helpful-only 模型进行实验时，他们为每个 $P=1024$ 个 HHH 提示词采样了 $N=64$ 个响应以进行专家迭代，并根据 RM 选择最佳响应。 使用专家迭代训练以对课程进行监督学习的模型可以从一个阶段推广到下一个阶段。 Image 64

图 17. 根据我们的课程，使用专家迭代训练的模型从每个阶段到下一个阶段的定量泛化结果。（图片来源：Denison et al. 2024） 值得注意的是，即使在课程结束后，该模型覆盖奖励并避免检测的次数也少于 1/1000。 即使模型在直接激励Reward hacking行为的课程上进行训练，该模型覆盖其奖励的次数也少于 1%，并且攻击单元测试的频率甚至更低。 作为一种简单的缓解措施，在头两个环境中对模型进行监督微调——其中Reward hacking行为很容易被检测到（奉承和谄媚)——使用不玩弄环境的 SFT 数据，可以降低在保留环境中篡改奖励的可能性。

Peek into Mitigations

虽然有大量文献讨论reward hacking现象，但关于reward hacking的缓解措施的研究并不多，尤其是在 RLHF 和大语言模型领域。在本节中，我们将简单回顾三种潜在的方法，但并非详尽无遗。

RL 算法改进

Amodei et al. (2016) 指出了在 RL 训练中缓解reward hacking的一些方向：

  1. 对抗性奖励函数。 我们将奖励函数本身视为一个自适应 AI 智能体，它可以适应模型发现的新技巧，即在奖励很高但人类评分很低的情况下。

  2. 模型前瞻。 可以根据未来预期状态给予奖励；例如，如果 AI 智能体要替换奖励函数，它将获得负奖励。

  3. 对抗性盲化。 我们可以用某些变量来蒙蔽模型，这样 AI 智能体就无法学习使其能够破解奖励函数的信息。

  4. 精心设计。 通过精心设计可以避免某些针对系统设计的reward hacking；例如，对 AI 智能体进行沙箱化，以将其行为与奖励信号隔离开来。

  5. 奖励上限 (Reward capping). 这种策略旨在简单地限制最大可能的奖励，从而有效防止 AI 智能体通过破解来获得超高回报策略的罕见情况。

  6. 反例抵抗 (Counterexample resistance). 提高对抗鲁棒性应有助于增强奖励函数的鲁棒性。

  7. 多种奖励的组合 (Combination of multiple rewards). 结合不同类型的奖励可以增加破解的难度。

  8. 奖励预训练 (Reward pretraining). 我们可以从 (状态, 奖励) 样本的集合中学习奖励函数。然而，这种监督训练设置的质量会影响结果，可能带来其他问题。RLHF 依赖于此，但学习到的标量奖励模型很容易学习到不期望的特性。

  9. 变量漠视 (Variable indifference). 目标是要求 AI 智能体优化环境中的某些变量，而忽略其他变量。

  10. 绊线 (Trip wires). 我们可以故意引入一些漏洞，并设置监控和警报，以便在任何漏洞被利用进行reward hacking时发出警报。 在强化学习（RL）设置中，如果人类反馈以对AI 智能体行为的_批准_形式出现，Uesato et al. (2020) 提出了使用解耦批准来防止奖励篡改。如果反馈以 $(s, a)$ (状态，行为) 为条件，一旦这个状态-行为对发生了奖励篡改，我们就永远无法获得状态 $s$ 下行为 $a$ 的未被破坏的反馈。解耦意味着用于收集反馈的查询行为是从在世界中采取的行为独立采样的。甚至在行为在世界中执行之前就收到了反馈，从而防止了该行为破坏其自身的反馈。

Image 65

图 18. 说明了解耦批准与标准批准或人机循环强化学习相比如何工作。（图片来源：Uesato et al. 2020）

Image 66

图 19. 通过解耦批准，行为（在世界中采取的）和查询（用于获得用户批准反馈）是独立采样的。它可以应用于（左）策略梯度和（右）Q-learning 算法。（图片来源：Uesato et al. 2020）

检测奖励篡改

另一种缓解方法是将奖励攻击检测视为一种异常检测任务。在这种方法中，检测器（即“受信任的策略”，其轨迹和奖励已经过人工验证）应该标记出未对齐的实例（Pan et al. 2022）。具体来说，给定 (1) 一个受信任的策略和 (2) 一组手动标记的轨迹 rollout，我们可以构建一个二元分类器，该分类器基于受信任策略和目标策略的动作分布之间的距离。然后，我们可以测量此异常检测分类器的准确性。在 Pan et al. (2022) 的实验中，他们观察到不同的检测器更适合不同的任务，并且在所有测试的强化学习 (RL) 环境中，没有一个经过测试的分类器能够实现大于 60% 的 AUROC（曲线下面积）。

Image 67

图 20. 检测器在不同任务上的性能。（图片来源：Pan et al. 2022）

强化学习人工反馈 (RLHF) 的数据分析

另一种方法是分析 RLHF 数据集。通过检查训练数据如何影响对齐训练结果，可以指导预处理和人工反馈收集，以降低奖励机制破解风险。Revel et al. (2024) 引入了一组评估指标，用于衡量数据样本特征在建模和对齐人类价值观方面的有效性。他们在 HHH-RLHF 数据集中对价值对齐（“SEAL”）进行了系统的错误分析。分析中使用的特征分类（例如，is harmless，is refusal 和 is creative）是手动预定义的。然后，根据此分类，使用大语言模型为每个样本标记一个二进制标志。根据启发式方法，特征分为两组：

  • 目标特征：明确旨在学习的价值观。

  • 干扰特征：在训练过程中无意中学到的非预期价值观（例如，情感或连贯性等风格特征）。这些类似于 OOD 分类工作中的 虚假特征 (Geirhos et al. 2020)。 SEAL 引入了三个指标来衡量对齐训练的数据有效性：

  1. 特征印记 指的是特征 $\tau$ 的系数参数 $\beta_\tau$，它估计了在保持其他因素不变的情况下，具有特征 $\tau$ 的条目与不具有特征 $\tau$ 的条目相比，奖励的增加点数。

Image 68

图 21. (左) 从奖励 $\underline{r}(t^∗_i)$ (橙色) 和 $r(t^∗_i)$ (蓝色) 对特征的固定效应线性回归计算出的特征印记 $\underline{\beta(\tau)}$ (前) 和 $\beta(\tau)$ (后)。总的来说，对齐训练奖励了像无害性和有用性这样的积极特征，并惩罚了像性内容或侵犯隐私这样的消极特征。(右) 从奖励转移 $\theta_i$ 的线性回归计算出的特征印记。奖励转移 $\theta_i$ 定义为对齐训练前后奖励向量之间的角度。训练过程提高了模型对目标特征的敏感性。请注意，无害性通过选择和拒绝的条目（“是无害的 (c)”和“是无害的 (r)”）在奖励模型 (Reward Model, RM) 上留下印记，而有用性仅通过拒绝的条目（“是有用的 (r)”）留下印记。（图片来源：Revel et al. 2024） 2. 对齐抵抗性 是指奖励模型（RM）_未能_与人类偏好相匹配的偏好数据对所占的百分比。研究发现，在超过四分之一的 HHH-RLHF 数据集中，奖励模型表现出与人类偏好不一致的情况。 3. 对齐鲁棒性，$\pi^{c/r}_{+/-} (\tau)$，衡量的是在输入受到扰动的情况下，通过重写来改变剧透特征$\tau$（例如情感、口才和连贯性）时，对齐的鲁棒程度，从而将每个特征和每种事件类型的影响隔离开来。

  • 鲁棒性指标$\pi_−^c$（其中$\tau$代表一个特征名称，例如“口才好”或“情感积极”）应作如下解读：
    • 对于一个被选择的条目（用$c$表示），如果重写后该条目包含更强的特征$\tau$，那么它被拒绝的几率是那些没有这种特征增强的条目的$\exp (\pi^c_{-}(\tau))$倍。
  • 类似地，对于一个被拒绝的条目（用$r$表示），如果重写后该条目包含较弱的特征$\tau$，那么它被选择的几率是那些没有这种特征减弱的条目的$\exp (\pi^r_{+}(\tau))$倍。
    • 根据他们对不同重写方式下对齐鲁棒性指标的分析，只有基于情感剧透特征的鲁棒性得分，即$\pi^c_{+}$ (情感) 和$\pi^r_{-}$ (情感)，具有统计显著性。