多模态理解和生成：多模态理解与生成统一奖励模型；将奖励模型多模态情绪识别上

Unified Reward Model for Multimodal Understanding and Generation

2025-03-07｜FDU, SII, Shanghai AI Lab, Shanghai Academy of Artificial Intelligence for Science|🔺75

​​http://arxiv.org/abs/2503.05236v1​​​
​​​https://huggingface.co/papers/2503.05236​​​
​​​https://codegoat24.github.io/UnifiedReward/​​

研究背景与意义

本文提出了一种名为UNIFIEDREWARD的统一奖励模型，旨在解决多模态理解和生成任务中的偏好对齐问题。现有模型通常针对特定任务设计，限制了其在不同视觉应用中的适应性。作者认为，通过联合学习多个视觉任务，可以产生协同效应，增强图像理解、视频评估等任务的表现。

• 研究背景：近年来，人类偏好对齐技术显著推动了多模态生成和理解的进步。然而，大规模收集人类反馈既耗时又耗费资源。
• 研究意义：本研究通过构建大规模的人类偏好数据集，并开发出首个能够同时进行成对排名和点评分的统一奖励模型，解决了现有模型的局限性，提升了跨域视觉任务的性能。

研究方法与创新

UNIFIEDREWARD的核心在于其独特的训练流程和数据构建方式。该模型基于一个涵盖图像和视频生成/理解任务的大规模人类偏好数据集进行训练，随后用于自动构建高质量的偏好对数据。

• 技术创新：

a.大规模数据集：首次构建了一个包含236K条记录的数据集，覆盖了图像和视频的理解与生成任务。

b.联合学习框架：通过将视觉任务视为相互关联的整体，实现了更高效的模型训练。

c.细粒度筛选机制：采用成对排名和点评分相结合的方法，确保了偏好数据的质量。

• 优势对比：

a.相比于仅能处理单一任务的现有模型，UNIFIEDREWARD展示了更强的泛化能力和更高的效率。

b.实验结果显示，在多种基准测试中，该模型均取得了显著优于基线模型的成绩。

实验设计与结果分析

为了验证UNIFIEDREWARD的有效性，研究人员进行了广泛的实验，包括图像和视频生成及理解任务。实验结果表明，联合学习多个视觉任务不仅能缓解数据不足的问题，还能显著提高学习效果。

• 图像生成：使用Pick-a-Pic数据集进行偏好数据构建，结果显示，基于UNIFIEDREWARD的DPO方法在多个指标上均优于直接训练。
• 视频生成：通过T2V-Turbo模型进行对比实验，发现UNIFIEDREWARD在质量、语义一致性等方面均有明显提升。
• 多任务学习：实验还证明了联合训练图像和视频理解任务可以带来额外的性能增益，例如整体准确率提高了5.3%，宏观准确率提高了8.3%。

结论与展望

综上所述，UNIFIEDREWARD不仅为多模态理解和生成任务提供了一种全新的解决方案，而且通过联合学习多个视觉任务，展现了强大的泛化能力和实际应用潜力。未来的研究方向可能包括进一步优化模型架构、探索更多类型的视觉任务以及扩展到其他领域如自然语言处理等。

• 总结贡献：提出了首个统一奖励模型，解决了现有模型的局限性，显著提升了跨域视觉任务的性能。
• 方法展望：建议继续探索如何更好地整合不同类型的任务，以实现更加通用和高效的奖励模型。

R1-Omni: Explainable Omni-Multimodal Emotion Recognition with Reinforcing Learning

2025-03-07｜Alibaba Group|🔺9

​​http://arxiv.org/abs/2503.05379v1​​​
​​​https://huggingface.co/papers/2503.05379​​​
​​​https://github.com/HumanMLLM/R1-Omni​​

研究背景与意义

本研究聚焦于情感识别任务，特别是结合视觉和音频信息的多模态大模型。当前，强化学习（RL）在提升大模型性能方面展现出巨大潜力，尤其是通过可验证奖励机制（RLVR）。然而，现有的RLVR应用主要集中在图像-文本模态上，尚未探索视频中更丰富的信息源，如动态视觉内容和音频。

本文首次将RLVR应用于视频多模态大模型（Omni-model），旨在优化其推理能力、情感识别准确性和泛化能力。研究不仅显著提升了模型在分布内数据上的表现，还在分布外数据上展示了更强的鲁棒性。此外，改进后的推理能力使得不同模态（视觉和音频）对情感识别的贡献更加清晰，为多模态大模型的优化提供了宝贵见解。

研究方法与创新

本研究采用了一种新颖的训练范式——强化学习与可验证奖励（RLVR），并结合了组相对策略优化（GRPO）。RLVR简化了奖励机制，确保模型输出与任务的正确性标准对齐，而GRPO则通过比较生成响应的质量来优化策略，无需额外的批评模型。

具体而言，我们扩展了RLVR的应用范围，从传统的数学和编程领域转向多模态情感识别。通过使用MAFW和DFEW数据集中的15,306个视频样本进行训练，尽管这些数据集仅提供情感类别标注，但通过RLVR，我们成功增强了模型的推理、性能和泛化能力。

创新点：

1. 首次应用：首次将RLVR应用于视频多模态大模型，特别是在情感识别任务中。
2. 增强推理能力：通过RLVR，模型能够更清晰地理解视觉和音频信息如何共同作用于情感识别。
3. 鲁棒性提升：模型在分布外数据上的表现显著优于监督微调（SFT）模型。
4. 结构化输出：引入了严格的格式奖励，确保模型生成的解释符合预定义的HTML标签格式，便于后续分析和评估。

实验设计与结果分析

实验分为冷启动阶段和RLVR训练阶段。冷启动阶段使用EMER数据集中的580个视频样本进行预训练，以赋予模型初步的推理能力。随后，通过RLVR进一步优化模型。

实验结果：

1. 推理能力增强：R1-Omni在多个数据集上表现出更强的推理能力和更高的解释一致性。
2. 理解能力提升：在MAFW和DFEW数据集上，R1-Omni的无权重平均召回率（UAR）和加权平均召回率（WAR）均显著高于其他模型。
3. 泛化能力更强：在RAVDESS数据集（作为分布外测试集）上，R1-Omni同样表现出色，UAR和WAR分别达到43.00%和44.69%，远超SFT模型的表现。

结论与展望

本研究表明，RLVR在多模态情感识别任务中具有显著优势，不仅提升了模型的推理和理解能力，还增强了其在未见过的数据上的泛化能力。未来的研究方向包括：

1. 加强基础模型能力：通过更大规模的预训练或更多样化的数据集来进一步提升基础模型的性能。
2. 减少推理幻觉：开发机制以检测和减轻模型在推理过程中可能出现的幻觉现象。
3. 充分利用音频线索：改进模型对音频特征（如语调和抑扬顿挫）的提取和整合能力。
4. 深化情感智能：引导模型探索更深层次的心理活动和情感驱动因素，提升其捕捉复杂情感动态的能力。

尽管R1-Omni取得了显著进展，但在字幕识别、推理幻觉和音频利用等方面仍存在局限性，需要进一步研究和改进。

本文转载自​​AI研究前瞻​​，作者：胡耀淇