标签驱动的可信金融大模型训练全流程-Agentar-Fin-R1工程思路浅尝 原创

Agentar-Fin-R1 的开发pipline可概括为 “数据 → 训练 → 评估 → 归因 → 迭代” 五个闭环阶段，每一阶段都有明确输入、处理逻辑和输出。

一、数据构造

Agentar-Fin-R1 的数据构造围绕 Label System 和 Multi-Agent 可信合成 展开的三级流水线：

1.1 Label System（任务标签体系）

• 两类标签：每个样本被打上​​(Scene, Task)​​

     a. Scene：银行、证券、保险、信托、基金等业务场景

     b. Task：NER、意图识别、槽位填充、消歧、咨询式问答等任务类型

• 非正交稀疏性：并非所有 Task 都适用于所有 Scene，真实还原金融任务分布。

1.2 三级数据治理

最终输出 Fin-R1-300K 高质量金融推理三元组，作为后续训练的“golden data”。

二、训练框架

2.1 加权训练框架

训练金融大型语言模型（LLMs）需要解决金融任务固有的异质性和复杂性，这些任务在难度和领域特定要求方面各不相同。传统训练方法对所有训练样本一视同仁，没有考虑到某些任务明显比其他任务更具挑战性的事实。因此，模型可能过度拟合更简单、更常见的任务，而在对现实金融决策和风险评估至关重要的复杂任务上表现欠佳。不同任务难度不同，用 pass@k 量化困难度，动态调整样本权重。

• 三步：

1. 对每个 Task Label 采样一批题目 → 当前模型 & 多个参考模型分别生成 k 条答案
2. 计算 pass@k，难度越高权重越大；若显著弱于参考模型，再额外加权
3. 引入指数平滑 + 下限裁剪保证训练稳定

• 损失函数：
  SFT：

2.2 Two-Stage Pipeline（两阶段递进）

优点：Stage1 快速获得“通才 + 金融知识”底座，Stage2 用小而精的数据做“专家提升” ，新业务场景只需 Stage2 轻量微调即可上线。

2.3 Attribution Loop（归因-再训练闭环）

归因循环是一种后训练机制，它通过将错误追溯到特定金融场景和任务来改进模型，并通过动 态资源分配实现有针对性的数据采样和模型增强。Pass@1 归因框架归因循环采用上述二维标签框架对预测错误进行分类，找出性能洼地。这一部分主要看下数据回滚与再生思路：

• 回滚：若本轮 pass@1 下降 → 直接 revert 上一轮数据
• 再生：连续 3 轮下降 → 触发 Self-Evolution Agent，按新的复杂度模板重新生成样本

工程侧：每轮评估后自动写 attribution.json，包含(l, pass@1, Δ, η, π, allocated_samples)训练脚本读取该文件 → 更新数据加载器 → 继续训练，整个循环跑在 32 张 A100 上，约 2 小时完成一轮。

三、评估

为了衡量真实落地能力，论文提出了 Finova（Financial Nova）评测集，覆盖三大维度：

结果

Agentar-Fin-R1: Enhancing Financial Intelligence through Domain Expertise, Training Efficiency, and Advanced Reasoning,https://arxiv.org/pdf/2507.16802v2
repo:代码暂未开源

本文转载自​​大模型自然语言处理​​   作者：LLM&NLP