金融多模式大模型综述：进展、前景和挑战

金融大语言模型（FinLLMs）在金融服务的某些领域显示出巨大的潜力。多模态金融基础模型（MFFMs）可以理解多模态金融数据，包括基础数据、市场数据、数据分析、宏观经济和替代数据（例如，自然语言、音频、图像和视频）。

本文在MFFM Workshop 上介绍了多模态金融基础模型（MFFMs）的进展、前景和挑战，强调了哥伦比亚大学SecureFinAI实验室的FinAgents研究。列出了多模态金融数据和数据中心方法，描述了多模态金融应用，展望AI代理在金融应用中的潜力。

摘要

金融大语言模型（FinLLMs）在金融服务的某些领域显示出巨大的潜力。多模态金融基础模型（MFFMs）可以理解多模态金融数据，包括基础数据、市场数据、数据分析、宏观经济和替代数据（例如，自然语言、音频、图像和视频）。本文重点介绍了哥伦比亚大学安全AI实验室正在进行的FinAgents研究。MFFMs将使我们更深入地了解与众多金融任务和数据相关的潜在复杂性，从而简化金融服务和投资流程的运作。

简介

多模态金融基础模型（MFFMs）能够处理多种金融数据，包括结构化和非结构化数据。MFFMs面临可重复性、透明性、隐私和伦理等挑战，现有模型往往为“黑箱”。存在“模型自相残杀”和“开放洗白”的问题，许多模型缺乏透明度。

本文在MFFM Workshop 上介绍了多模态金融基础模型（MFFMs）的进展、前景和挑战，强调了哥伦比亚大学SecureFinAI实验室的FinAgents研究。列出了多模态金融数据和数据中心方法，描述了多模态金融应用，展望AI代理在金融应用中的潜力。

提出使用模型开放框架和代理协议构建金融智能生态系统，但面临数据限制、成本、监管复杂性、推理能力和基准框架等挑战。综述了现有关于金融大语言模型（FinLLMs）的相关研究，指出缺乏对多模态金融数据和模型的全面评估。

以MFFM基础模型为例，使用QLoRA方法微调“沃伦·巴菲特”模型的成本低于$100，而咨询十位顶级投资者的数字化身成本为$5000。

术语

多模态金融基础模型（MFFMs）是基础模型与金融的交叉领域。为了帮助不同背景的读者，文中提供了两个术语表。

多模态金融数据的数据中心方法

多模式金融数据谱

多模态数据在商业、金融、会计和审计中常见，包括：

• 文本数据：如金融新闻、报告和社交媒体，反映市场情绪。
• 数值数据：如股价和经济指标，供市场预测使用。
• 图表数据：可视化市场趋势，便于理解市场动态。
• 表格数据：结构化财务数据，如资产负债表和收入表。
• 时间序列数据：按时间顺序的数据点，展示财务指标变化。
• 视觉数据：图像和视频，提供复杂市场事件的深入见解。
• 音频数据：如财务播客和电话会议录音，影响市场感知。

多模态金融数据是上述单一数据类型的组合，例如，财报电话会议包含音频和文本转录。

盈利电话会议（ECCs）

盈利电话会议（ECC）是公共公司每季度举行的电话或网络会议，旨在向利益相关者提供最新财务状况。会议通常由CEO/CFO进行财务总结，随后进行问答环节，分析师和投资者提问。ECC的发布与市场反应相关，成为分析市场变化的重要资源。MDRM是一个包含576个ECC的代表性数据集，涵盖2017年280家S&P 500公司的数据，存储量为5.7GB。

当前ECC数据分析面临挑战，包括数据集规模有限、行业覆盖不足，以及音频与文本对齐不精确。需要建立数据集策划管道，以获取、组织、分割和标注ECC数据，提升金融应用的有效性。

货币政策会议（MPC）

货币政策会议（MPC）由中央银行定期召开，讨论经济状况、货币政策及风险评估。MONOPOLY数据集包含340个来自六个国家中央银行的MPC实例，大小为180 GB，总时长15,729分钟，平均每次53分钟。每次MPC包括约10分钟的演示和40分钟的问答，数据包括音频、文本和视频三种形式。

数据集通过BeautifulSoup抓取MPC日期、音频、视频和PDF转录文本，文本数据通过Urllib提取。该数据集被用于联合建模音频、文本和视频特征，以预测经济指标。使用MPC数据面临的挑战包括音频、文本和视频的高效存储和精确对齐，需建立数据管理管道以推动方法论发展。

财务报告

财务报告是公司财务活动、绩效、管理讨论及审计财务报表的正式文件。常见的财务报告包括SEC要求的10-K、10-Q、DEF-14A、8-K等文件。公司发布的文件有收益发布和年报，第三方分析报告如Zacks报告和卖方经纪人报告。报告在发布频率、发布者和重点领域上有所不同。投资者可根据需求访问不同公司的财务报告，以评估公司状况和市场趋势。政府和监管机构监控这些报告，以确保交易和金融活动的公平性。

金融新闻

财务新闻是与资金和投资相关的信息，影响市场动态，传播渠道包括传统媒体、金融服务平台、社交媒体和在线论坛。GameStop（GME）事件展示了财务新闻对市场的影响，散户投资者通过社交平台协调买入，导致股价暴涨，机构投资者被迫回补空头。收集财务新闻数据对市场分析至关重要，主要来源包括专业金融平台、新闻机构和社交媒体。数据处理面临挑战：1) 可信度问题，2) 大量信息处理，3) 多模态信息对齐。

市场数据和替代数据

市场数据包括金融工具的价格信息和相关数据，支持投资者做出明智决策。随着数据量的增加，从复杂市场数据中提取可操作的洞察成为挑战，强化学习（RL）为此提供了有效的解决方案。量化投资结合计算机和人类研究，利用市场数据构建投资组合，alpha因子挖掘受到关注。气候数据记录特定地点和时间的气候条件，影响商品供应和价格波动，投资者可通过分析气候数据预测市场变化。

金融课程及证书

完成金融课程或认证需通过一系列金融考试。考题包含多种金融数据形式，如文本、数字、图表和数据表。回答这些问题需要专业的金融知识和推理能力。评估MFFMs的答案可判断其对金融知识的理解程度。

多模态金融应用：代理AI生态系统

FinGPT驱动的FinAgents

AI代理能够通过观察复杂环境实现自我改进，助力解决复杂金融任务。哥伦比亚大学的SecureFinAI实验室开发了多个FinAgents原型，包括：

• 搜索代理：实时检索金融数据并生成个性化输出。
• 教学代理：教授专业金融知识和复杂法规。
• XBRL代理：分析SEC文件（XBRL格式），调用外部工具。
• FinRL交易代理：整合多种深度强化学习算法，帮助客户开发内部交易策略。

这些代理遵循标准化开发周期，支持多种金融场景的定制化开发。将九种金融代理分为工具代理和金融服务代理两类。

工具代理

• 搜索代理：MFFM增强的FinGPT搜索代理能处理多模态金融数据，提供个性化、上下文相关的洞察，成本低于专业金融数据库，用户可构建定制化金融AI搜索代理。
• 辅导代理：MFFMs可为在线教育提供可扩展的解决方案，AI辅导员能提供个性化学习体验，QFinben展示了其在商业和金融教育中的应用。
• 机器人顾问：MFFMs可提升机器人顾问的个性化互动，整合多模态数据，提供持续的投资建议和调整。
• 编码代理：编码代理帮助投资者快速构建个人财务分析工具。

金融服务代理

• 信用评分代理：利用LLMs构建透明的数据驱动信用评分代理。
• 审计代理：AI代理可自动执行复杂审计程序，提高审计效率，减少人为错误。
• 合规代理：MFFMs集成于合规管理中，自动化复杂的监管分析，增强伦理AI实践。
• 报告生成代理：MFFM驱动的报告生成代理能快速生成高质量、个性化的财务报告，帮助利益相关者做出明智决策。
• 交易代理：MFFM驱动的交易代理能够整合多种市场数据，提供个性化投资建议，降低成本。FinRL交易代理提供用户友好的虚拟市场环境，支持多种深度强化学习算法（如DQN、DDPG、PPO等），用户可开发自己的交易策略。FinRL-DeepSeek项目结合强化学习与大语言模型，利用股票价格和财经新闻数据训练自动化交易代理，提升处理复杂市场信息的能力。

MFFM代理在多个复杂金融任务中展现出可扩展、个性化和高性价比的解决方案潜力。

MFFMs：进展与前景

案例研究

• 预训练阶段：从零开始训练模型，需高质量金融语料和强大基础模型。Open-FinLLMs使用18亿通用领域和52亿金融领域的语料，选择Llama3-8B作为基础模型，经过持续预训练得到FinLLaMA，超越LLaMA3-8B在金融任务上的表现。
• 微调阶段：旨在提升模型的多模态能力和指令跟随能力。FinLLaVA在FinLLaMA基础上，通过1.43百万图文对进行多模态指令调优，超越所有开源MM-LLMs的图表理解任务，仅次于闭源GPT系列。
• 对齐阶段：引导微调后的MFFM生成符合人类偏好的输出。FinTral构建对齐数据集，使用高能力和低能力LLM生成正负样本，采用直接偏好优化（DPO）方法进行对齐调优，显著减少幻觉内容。

研究现状

MFFMs性能基准：评估MFFMs在金融任务中的表现至关重要，多个基准提供不同视角的比较。

• FinBen：涵盖46个数据集和24个金融任务，发现LLM在信息提取和文本分析表现良好，但在高阶推理和文本生成方面仍有不足。
• Open FinLLM Leaderboard：鼓励创新和模型改进，提供开放平台，促进学术界、开源社区和金融行业的合作。
• QFinBen：测试LLM在复杂金融问题上的推理能力，结果显示LLM在通过专业考试方面存在局限。
• FinSet-Benchmark：包含13个LLM在七个文本金融任务上的表现，以及9个MM-LLM在图表理上的评估。
• MME-Finance：双语金融视觉问答基准，评估19个MM-LLM在金融多模态数据上的认知能力，发现其在理解蜡烛图和技术指标图方面表现不佳。
• FFAMA：金融多语言多模态问答基准，评估LLM在八个主要金融子领域的表现，发现即使是先进模型的准确率也仅为42%。
• OmniEval：金融领域首个RAG基准，评估RAG框架在多维度上的表现，发现其在复杂推理和数值理解方面存在困难。
• InverstorBench：首个基于LLM的金融代理基准，评估13个LLM在不同市场场景下的表现，显示专有模型在复杂市场条件下表现更佳，但不同LLM在交易中的表现差异显著。

LLMs/MM-LLMs在信息提取和基础金融文本分析中有效提升能力，助力自动化金融数据处理，减少人工错误。当前LLMs/MM-LLMs在回答复杂金融问题、理解数值及解读图表方面仍存在局限，需开发针对金融多模态数据的MFFMs。

MFFMs模型：MFFMs通常基于开源LLMs，经过专门金融数据集的预训练和微调。代表性MFFMs：

• Open-FinLLMs：包含FinLLaMA和FinLLaVA，在文本分类、信用评分等任务中表现优越，尤其在表格和图表理解上超越GPT-4。
• FinTral：基于Mistral-7B，经过20亿个领域特定数据的预训练，具备良好的零-shot能力，表现优于GPT-4。
• FinVis-GPT：专注于金融图表分析，能有效解读和分析金融图表。

MFFMs在多项金融任务中发挥重要作用，未来将扩展其在复杂任务和多样金融场景中的应用。

多模态金融数据集的构建：

• 预训练数据集：如BloombergGPT的FinPile，包含3450亿个公共数据和3630亿个专有数据。
• 指令微调数据集：如OpenFinLLaVA和FinVis-GPT，构建了丰富的多模态数据集以提升模型的指令理解能力。

MFFMs前景

• 多模态检索增强生成（MRAG）：高效从大数据库中检索相关信息对金融AI系统至关重要，提升检索增强生成能力可提高AI模型的响应精准度和上下文意识，改善复杂金融决策过程的实用性。
• 微调与量化方法：通用LLM在金融领域需通过微调掌握市场和工具的细微差别，同时考虑模型量化以优化推理性能，确保实时环境中的有效部署。示例包括FinGPT-HPC和FinLoRA。
• 定制预训练模型：根据特定用例定制预训练模型可显著提升其有效性，例如，需调整一般客服模型以处理复杂投资查询或遵循特定金融法规。

挑战与机遇：走向金融人工智能的准备和治理

金融专属多模态数据

专有数据对金融分析和决策至关重要，提供独特见解。

• 内部交易数据可分析行为模式和市场趋势。
• 信用评分数据对风险管理至关重要。
• 市场研究数据帮助理解消费者需求和市场动态。
• 实时流数据促进算法交易。
• 私人财务报告提供合作伙伴或投资目标的机密信息。
• 专有经济指标基于独特数据集和分析。
• 替代数据（如卫星图像、移动应用数据、社交媒体活动）为投资决策提供额外视角。

合成多模态数据可解决金融数据隐私和质量问题。合成数据通过生成过程学习真实数据特性，确保隐私。医疗领域已有成功案例，但金融领域缺乏有效的多模态数据合成方法。

数字监管报告（DRR）

多模态聊天机器人可自动化金融监管流程，帮助律师和会计师提高效率。金融监管面临复杂的合规框架和重叠的管辖权，尤其在欧盟和美国。金融监管需处理多种数据类型，包括结构化和非结构化数据，增加了合规的挑战。XBRL作为国际标准，促进金融数据共享，但其复杂性对企业和公众构成挑战。XBRL代理可简化数据聚合，提升金融智能的可及性。

当前AI聊天机器人的金融问题回答准确率仅为19%-30%，存在术语歧义、数据提取错误和计算错误等问题。共同领域模型（CDM）为XBRL提供标准化解决方案，能处理多种文档格式，减少错误并支持多场景应用。

伦理的挑战

MFFMs（金融大型语言模型）存在伦理风险，可能导致金融机构做出错误投资决策和风险评估。

主要伦理问题包括：

• 安全与隐私：需确保信息安全，防止泄露。
• 版权侵权：使用互联网数据需避免输出受版权保护的内容。
• 系统性偏见：可能导致对某些种族群体的不公平对待。
• 透明性与可解释性：金融决策需清晰可解释，确保责任明确。

新兴伦理问题包括：

• 真实性：LLMs可能产生虚假信息，影响财务分析。
• 谄媚性：输出迎合用户信念，可能导致不准确的确认。
• 专业规范遵循：需遵循行业规范，维护公司文化。
• 法律与合规：必须遵守金融法律法规，防止歧视问题。

错误信息和幻觉

财务信息的准确性对市场运作、风险管理、合规和财务决策至关重要。不准确的财务信息来源于两方面：误传的信息和模型输出的幻觉。

误传信息来自媒体渠道和滥用大型语言模型（LLMs）生成的信息，检测财务误传是一大挑战。FMDLlama通过在Fin-Fact数据集上微调LLaMA-3模型，提供了一种检测财务误传的可行方案。

幻觉是指LLMs因训练于广泛多样的数据集而产生的事实错误输出，确保LLM输出的准确性和可靠性对金融行业应用至关重要。Kang和Liu量化了财务幻觉，并探讨了几种缓解方法，包括少量学习、对比层解码和检索增强生成（RAG）。

总结

本文综述了多模态金融基础模型（MFFMs）的现状，探讨了多模态金融数据及其应用场景。讨论了MFFMs的进展、未来前景及其面临的挑战与机遇，以提升AI的金融准备度。关键方向包括：

• 多语言和多模态能力，需整合文本、数值、图像等多种数据。
• 开放数据集和问题集，促进MFFMs的训练和评估标准化。
• 建立MFFMs和FinAgents的开放排行榜，推动AI生态系统发展。
• 区块链技术保障数据隐私和模型知识产权，支持多方协作训练。

本文转载自​​灵度智能​​，作者：灵度智能