细粒度对齐无需仔细标注了！淘天提出视觉锚定奖励，自我校准实现多模态对齐

AIxiv专栏是人工智能站发布学术、技术内容的栏目。过去数年，人工智能站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

核心作者包括顾纪豪，王瑛瑶。工作由淘天集团算法技术 - 未来生活实验室团队主要完成。为了建设面向未来的生活和消费方式，进一步提升用户体验和商家经营效果，淘天集团集中算力、数据和顶尖的技术人才，成立未来生活实验室。实验室聚焦大模型、多模态等 AI 技术方向，致力于打造大模型相关基础算法、模型能力和各类 AI Native 应用，引领 AI 在生活消费领域的技术创新。

近年来，视觉大模型（Large Vision Language Models, LVLMs）领域经历了迅猛的发展，这些模型在图像理解、视觉对话以及其他跨模态任务中展现出了卓越的能力。然而，随着 LVLMs 复杂性和能力的增长，「幻觉现象」的挑战也日益凸显。

为有效缓解 LVLMs 中的幻觉现象，团队提出了一种创新的令牌级偏好对齐方法（Token Preference Optimization，TPO），针对性设计了一个能够 自我校准的视觉锚定奖励信号。

该方法首次在多模态偏好对齐领域实现了自动校准奖励，优化每个令牌生成时与视觉信息的相关性。同时，它也是多模态领域首个无需人工细粒度标注的令牌级偏好优化方法，从而提升了模型的优化效率和自动化水平。

• 论文标题：Token Preference Optimization with Self-Calibrated Visual-Anchored Rewards for Hallucination Mitigation
• 作者单位：阿里巴巴淘天集团 & MBZUAI
• 论文链接：https://arxiv.org/pdf/2412.14487

背景

现如今的 DPO 方法通过直接对齐人类偏好，在缓解大型视觉语言模型幻觉问题方面取得了显著成效。然而它仍然面临两个问题：

• 缺少高效和可扩展的 token-level 的奖励信号：如图 1 所示，现有的多模态偏好对齐方法要么使用 sequence-level 的奖励，要么需要通过细粒度标注获得 token- level 的监督信号。因此，设计一个高效且可扩展的 token-level 的监督信号非常重要。
• 在训练的过程中忽略了视觉锚定的 tokens（visual-anchored tokens）对所有 token 分配相同的奖励是低效的，依赖视觉信息生成的 tokens 更容易产生幻觉并需要重点对待（如图 2 中的 glass）。

^{图 1:TPO 方法和其它消除幻觉的 DPO 改进方法的对比。比较了是否关注视觉锚定信息，是否生成 token-level 的监督信号和是否需要细粒度标注。比较的方法包括 DPO、POVID、CSR、RLHF-V、V-DPO 和论文中的方法 TPO。}

为了解决上述问题，TPO 具有如下特点：

• 自动识别偏好数据中的视觉锚定 token，无需人工细粒度标注。
• 在每个训练步自动地分配 token-level 的奖励，该奖励可以反映当前 token 对图片信息的依赖程度。

图 2 可视化了 TPO 训练前后的 ground truth 及模型回复的视觉锚定奖励。可以看到，我们的方法有效地找到了视觉锚定的 tokens，并能够在训练之后增强模型对视觉信息的关联。

^{图 2：一个视觉 QA 对的例子以及 TPO 对视觉信息锚定程度的打分可视化，上面的框是 GT_answer，下面的框是 LVLM 在使用 TPO 训练前后的回复。在每一个框中，上方是 TPO 训练前的打分，下方则是训练后的打分。}

方法

                                       ^{图 3:TPO 的整体流程}

TPO 整体流程

（以下步骤中的数据包含输入 x，图像 v 和正负样本 y_w,y_l。当不强调正样本或负样本时，统称为 y.）

1. 自校准的视觉锚定奖励生成

TPO 通过捕捉在图像是否加噪时每个生成 token 的生成概率差的变化来衡量其视觉锚定程度， 首先对输入图像进行加噪处理：

这里 ε ∈ N(0,1)， ， 是提前设置好的噪声参数，是含有 1000 个元素呈等差数列的列表。k 代表加噪步数。

在获得了加噪图像之后， 计算 ，用来反映每个 token 的视觉锚定程度。它可以在每个训练步中的自动更新，对于 y 中的每一个 token ：

进一步地，在此引入自我校准的过程获得最终的监督信号。这一步的目的是为正负样本分配相应奖励的同时，能够对二者中所有视觉锚定 token 进行视觉信息关联度的优化。最终的视觉监督信号被定义为：

通过 sigmoid 归一化， 。可以看出，对于正样本，监督信号 c 随 s 的增大而增大，对于负样本则相反。由于当   时，该 token 没有锚定视觉信息，无监督信号，此时设置 a=0.5, s=0，则 c=1，监督信号将不发挥作用。

TPO 训练

在获得了自校准的视觉锚定信号 之后，可以根据 DPO 方式定义新的 视觉锚定分布：

则反馈函数为：

其中 和 分别代表来自 policy 模型和 reference 模型的反馈信号。可以看到，相对于原始的 DPO，该团队在此基础上为每一个 token 加入了监督信号 ，而且 可以在训练过程中的每一个 step 中迭代，达到自我校准的目的。

TPO 在反馈函数中引入了 ，该项可以推导出合理的上下界。由于正负样本不同的 计算方法，在训练过程中会让 不断增大，让模型输出锚定更多的视觉信息。

最终得到 TPO 的优化目标为：

实验结果

实验设置

• 基础模型：LLaVA-1.5（7B）/（13B）。
• 数据：RLHF-V（5k）。
• Benchmark：幻觉评测集 AMBER、MMHal、HallusionBench，通用评测集 SeedBench、MMBench、LLaVA-Bench 及 MM-Vet。

主实验结果

^{图 4：各种强化学习方法在 LLaVA-1.5 上测试的在幻觉和通用 benchmarks 上的实验效果，其中 POVID 和 CSR 方法的结果是根据开源的模型权重测试的效果，V-DPO 的结果来自该文章的结果。}

• TPO 在 LLaVA-1.5（7B）/（13B）模型上均带来非常显著的幻觉缓解效果，在大部分幻觉指标上超越了现有的偏好对齐幻觉缓解方法。
• 在 HallusionBench 中，easy 代表基于原图问答，hard 代表基于人工编辑的反事实图片问答。我们的方相较于初始模型在 hard 问题上取得了更显著的提高，说明在 TPO 后，答案生成更依赖于视觉信息而非语言模型先验知识。

消融实验

• 图像加噪的 steps 数量：如图 5 显示，加噪步数设置为 500 最优。
• 奖励自校准中的 a: a=0.5 最优，即当 s=0 时，c=1 时，不分配奖励信号。

                                       ^{图 5: 各指标随着加入噪声步数和参数 a 的变化趋势}

• 奖励分配方式：只为正样本或负样本单独引入 TPO 的奖励，也可取得较优的对齐效果，但同时分配获得最优表现。调换正负样本中 token 获取的奖励和其视觉锚定程度的相关性，TPO 表现变差。

                                     ^{图 6: 消融实验}

分析实验

• Attention 分析：图 7 展示了在 TPO 训练前后，模型回复中每个 token 对图像 token 的 attention 分数加和的分布。可以看到，TPO 训练可以拉高模型回复对图像信息的关联程度，锚定更多图像信息，进而缓解幻觉问题。

                                        ^{图 7:attention weights 对比图，左边蓝色的是训练前模型回答错误的回复，右边红色的是训练后模型回答正确的回复。}

• 奖励自校准分析：图 8 展示了正负样本的监督信号 c 随训练 step 的变换，证明了 TPO 在不断自我校准奖励的过程中，让模型逐渐关注到更多的图像信息。

                                     ^{图 8: 正负样本的 c 随训练 step 得变化过程}

淘天集团算法技术 - 未来生活实验室团队将持续深耕强化学习领域，为解决多模态幻觉问题贡献力量。