ReguSim: Evaluating LLM Agent Rule Grounding in Financial Compliance
HKUST(香港科技大学);HKBU(香港浸会大学);NTU(新加坡南洋理工大学)
研究针对LLM智能体在金融合规中的规则落地问题,构建ReguSim环境与ReguBench基准,发现可见规则无法完全消除违规动作,结构化监控基线表现优于纯提示LLM,为金融合规评估提供新框架。
2026-10-14 cs.AI
FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use
Shanghai AI Laboratory(上海人工智能实验室);Hunan University(湖南大学);Xiamen University(厦门大学);Tencent(腾讯);UCAS(中国科学技术大学);Tongji University(同济大学)
FinToolBench是首个评估金融工具学习代理真实世界表现的基准,通过760个可执行金融工具和295个严格查询,评估时效性、意图类型和合规性等关键维度。
2026-08-04 cs.AI
Evaluating Large Language Models on Financial Report Summarization: An Empirical Study
IRUCA Co.,LTD(IRUCA公司);Waseda University(早稻田大学)
本研究对比评估了GLM-4、Mistral-NeMo和LLaMA3.1在生成自动化财务报告中的表现,提出整合定量与定性分析的创新评估框架,并公开了相关数据集。
2024-11-11 cs.AI cs.CL
FinanceQA: A Benchmark for Evaluating Financial Analysis Capabilities of Large Language Models
AfterQuery
FinanceQA是一个评估大型语言模型在复杂数值金融分析任务上表现的基准,揭示了当前模型在模拟金融机构实际分析任务中约60%的失败率,并指出需通过高质量训练数据提升其能力。
2025-01-30 cs.CL cs.LG
Evaluating Financial Intelligence in Large Language Models: Benchmarking SuperInvesting AI with LLM Engines
本文提出AFIB基准测试,评估SuperInvesting等AI系统在金融分析中的性能,发现SuperInvesting在准确性、完整性和一致性方面表现最优。
2026-03-09 cs.AI
EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements
Sakana AI;Kyoto University(京都大学)
EDINET-Bench通过日本财务报表评估大语言模型在复杂财务任务中的表现,揭示其在会计欺诈检测、盈利预测等任务中仍面临挑战,需更真实的模拟和推理支持。
2026-03-05 cs.CE cs.CL cs.LG
FinProBench: Evaluating Financial AI Agents with Role-Grounded Rubrics Derived from Professional Deliverables
该研究推出FinProBench金融AI智能体基准及RGRC角色基准构建流程,实验显示RGRC在角色专业化角色评估上优于仅提示方法,角色级复用基准可大幅减少工作量。
2026-08-06 cs.AI cs.CL
FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs
Columbia University(哥伦比亚大学);Stevens Institute of Technology(史蒂文斯理工学院);Rensselaer Polytechnic Institute(拉特格斯理工学院);University of Montreal(蒙特利尔大学);McGill University(麦吉尔大学);MBZUAI(麦吉尔大学人工智能研究所);Cardiff University(卡迪夫大学);The University of Manchester(曼彻斯特大学);Harvard University(哈佛大学)
本文提出FinAuditing,一个基于财务分类结构的多文档基准,用于评估大型语言模型在财务审计任务中的能力,通过三个任务:财务语义匹配、财务关系提取和财务数学推理,揭示了现有LLMs在概念检索、分类感知关系建模和跨文档一致性推理方面的显著差距。
2026-05-17 cs.CE cs.CL cs.IR
Reasoning Beyond the Obvious: Evaluating Divergent and Convergent Thinking in LLMs for Financial Scenarios
Deep Insight Labs(深洞察实验室)
本文提出 ConDiFi 基准,通过宏观金融提示与对抗性多选题评估 LLM 的发散和收敛推理,并比较 14 个模型在金融决策中的表现。
2025-07-24 cs.AI
BizFinBench: A Business-Driven Real-World Financial Benchmark for Evaluating LLMs
HiThink Research(HiThink研究机构);Harbin Institute of Technology(哈尔滨工业大学)
BizFinBench是一个面向真实金融场景的大语言模型评估基准,含6781个中文查询,覆盖五维度九类任务,并引入IteraJudge减少评估偏差,实验表明现有模型在复杂金融推理上仍有不足。
2025-05-26 cs.AI cs.CE cs.CL
DianJin-R1: Evaluating and Enhancing Financial Reasoning in Large Language Models
Alibaba Cloud Computing(阿里云);Soochow University(苏州大学)
DianJin-R1通过推理增强监督和GRPO强化学习,提升金融领域LLM的推理能力,在多个基准上优于非推理模型,并匹配多智能体系统性能。
2025-04-22 cs.AI
FinDeepResearch: Evaluating Deep Research Agents in Rigorous Financial Analysis
National University of Singapore(国立新加坡大学);Estates Pte Ltd(6Estates公司);Asian Institute of Digital Finance(亚洲数字金融研究所);Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学)
FinDeepResearch通过HisRubric框架评估深度研究代理在金融分析中的能力,构建包含多语言和多市场的基准测试,揭示不同方法在财务分析中的优劣。
2026-01-07 cs.CL
Evaluating LLMs in Finance Requires Explicit Bias Consideration
University of Chicago Booth School of Business(芝加哥大学商学院);Pusan National University(釜山国立大学);Ulsan National Institute of Science(乌山国立科学研究院);University of Oxford(牛津大学);University of Florida(佛罗里达大学)
本文提出了一种结构性有效性框架,强调在金融领域使用LLM时需显式考虑偏见问题,并提出了评估检查表以确保结果的有效性。
2026-02-15 cs.AI cs.LG q-fin.CP
INVESTORBENCH: A Benchmark for Financial Decision-Making Tasks with LLM-based Agent
Stevens Institute of Technology(史蒂文斯理工学院);Columbia University(哥伦比亚大学);Harvard University(哈佛大学);The Fin AI
针对金融决策中缺乏通用智能体框架与标准化基准的问题,提出首个评估基于 LLM 智能体的基准 InvestorBench,涵盖多类金融产品任务,并利用 13 种 LLM 验证了其推理与决策能力。
2024-12-24 cs.AI cs.CE q-fin.CP
V-FiLLM: Verified Financial LLM Reasoning Benchmark
ETH Zürich(苏黎世联邦理工学院);Aisot Technologies Ltd(艾索特科技有限公司)
本文提出V-FiLLM框架生成高可靠性金融推理基准,发现开源模型在金融推理深度增加及数值扰动下准确率显著下降,轻量级LoRA微调可提升模型在相关任务的表现。
2026-08-12 cs.AI cs.CE cs.LG
Evaluating Binary Decision Biases in Large Language Models: Implications for Fair Agent-Based Financial Simulations
UNSW Sydney(新南威尔士大学悉尼分校)
本文评估了三种GPT模型在二元决策中的偏差,发现模型子版本和采样方法显著影响输出分布,强调将LLM谨慎整合到基于智能体的金融市场模型中的重要性。
2025-01-20 cs.AI cs.LG
FinMCP-Bench: Benchmarking LLM Agents for Real-World Financial Tool Use under the Model Context Protocol
Qwen DianJin Team, Alibaba Cloud Computing(阿里云云计算千问点睛团队);YINGMI Wealth Management(盈米财富管理);Soochow University(苏州大学)
本文提出FinMCP-Bench,用于评估LLM在解决真实金融问题时通过调用金融模型上下文协议的能力,包含613个样本,涵盖10种主要场景和33种子场景,提供真实和合成查询,评估不同任务复杂度下的模型表现。
2026-03-26 cs.AI cs.CL
FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information
Georgia Institute of Technology(佐治亚理工学院);Columbia University(哥伦比亚大学);California State University(加州州立大学);University of Montreal(蒙特利尔大学);Carnegie Mellon University(卡内基梅隆大学);Rensselaer Polytechnic Institute(莱斯利理工学院);The University of Manchester(曼彻斯特大学);Harvard University(哈佛大学)
本文提出FinTagging基准,用于评估LLM在提取和结构化财务信息方面的能力,通过分解为FinNI和FinCL两个子任务,揭示了LLM在细粒度概念链接上的局限性。
2026-05-17 cs.AI cs.CE cs.CL
Time Series Augmented Generation for Financial Applications
SingularityNET Foundation(SingularityNET基金会)
本文提出了一种新的评估方法和基准,用于衡量LLM在金融时间序列分析中的推理能力,通过大规模实证研究验证了工具增强范式的有效性。
2026-04-21 cs.AI cs.CE
AI Analyst: Framework and Comprehensive Evaluation of Large Language Models for Financial Time Series Report Generation
J.P. Morgan AI Research(摩根大通人工智能研究)
本文提出一个结合提示工程、模型选择与自动高亮分类的框架,用于评估大型语言模型从真实及合成金融时间序列生成报告的事实依据与推理能力,验证了其生成连贯信息性报告的有效性。
2025-07-01 cs.CL
Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents
该研究推出原生过程基准InvestLogicBench,含151位真实投资者的201247项决策,评估发现金融LLMs逻辑合理性高但事件接地性低,指出需以P→E→R→D→O轨迹评估个性化决策智能体。
2026-08-21 cs.AI
Financial Sentiment Analysis on News and Reports Using Large Language Models and FinBERT
Zhejiang University(浙江大学);Lehigh University(理海大学)
本文比较了LLMs与FinBERT在金融情感分析中的表现,发现结合少样本提示工程的GPT-4o可达到与微调FinBERT相当的水平。
2024-10-02 cs.CL cs.IR cs.SI
Advanced Financial Reasoning at Scale: A Comprehensive Evaluation of Large Language Models on CFA Level III
Rochester Institute of Technology(罗切斯特理工学院);GoodFin, Inc(GoodFin公司);New York University(纽约大学)
本文通过CFA三级考试基准全面评估23个大型语言模型,采用思维链等提示策略,发现o4-mini等模型得分超77%,证明LLM在高级金融推理中取得显著进展,并为模型选择与成本效益部署提供指导。
2025-09-22 cs.AI cs.CL
Extract, Match, and Score: An Evaluation Paradigm for Long Question-context-answer Triplets in Financial Analysis
Global Decision Science, American Express(美国运通全球决策科学部门);Singapore Decision Science Center of Excellence, American Express(美国运通新加坡卓越决策科学中心)
针对传统指标难以评估长问题-上下文-答案场景下大语言模型性能的问题,本文提出EMS评估方法,构建真实金融长三元组数据集验证传统指标不足,为复杂场景LLM评估提供可靠方案。
2025-03-20 cs.AI cs.CL
MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application
提出首个专家标注的多语言多模态金融基准MultiFinBen,包含多语言金融推理和金融OCR任务,评估21个领先LLM发现前沿模型在多语言与多模态金融推理上仍存在显著局限。
2025-10-11 cs.CL
GPT-3 Models are Few-Shot Financial Reasoners
Stanford University(斯坦福大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of South Carolina(南卡罗来纳大学)
针对金融问答任务中预训练语言模型推理能力未知的问题,研究发现GPT-3在无需微调的情况下,通过改进提示工程可实现接近SOTA的准确率,但独立检索模型与逻辑引擎仍是达到最优性能的关键。
2023-07-26 cs.AI cs.CL
OpenFinGym: A Verifiable Multi-Task Gym Environment for Evaluating Quant Agents
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所);University of Oxford(牛津大学)
提出OpenFinGym统一环境,覆盖预测、市场生成、实时交易和欺诈检测等量化金融任务,支持自动化任务构建、容器化验证和延迟解析,以全面评估LLM智能体。
2026-11-03 cs.AI cs.LG
SAHM: A Benchmark for Arabic Financial and Shari'ah-Compliant Reasoning
MBZUAI;INSAIT, Sofia University "St. Kliment Ohridski"(INSAIT,索菲亚大学"圣克莱门特·欧赫里迪斯");The University of Manchester(曼彻斯特大学);The Fin AI(Fin AI)
本文提出SAHM基准,涵盖七个任务,包含14380个专家验证实例,评估20个LLM发现阿拉伯语流畅性不等于金融推理能力,特别是在事件因果推理上存在显著差距。
2026-04-30 cs.AI cs.CL cs.LG
FinDABench: Benchmarking Financial Data Analysis Ability of Large Language Models
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Shanghai Institute of AI for Education, East China Normal University(华东师范大学上海人工智能教育研究院);PICC AMC(中国人民保险资产管理公司);Bytedance(字节跳动)
本文提出 FinDABench 基准,从基础能力、推理能力和技术技能三维度评估大型语言模型的金融数据分析能力,并开源数据与脚本。
2024-06-14 cs.AI cs.CL
M$^3$FinMeeting: A Multilingual, Multi-Sector, and Multi-Task Financial Meeting Understanding Evaluation Dataset
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Qwen DianJin Team, Alibaba Cloud Computing(阿里云量子金融团队)
本文提出多语言、多行业、多任务的金融会议理解评测基准M$^3$FinMeeting,涵盖摘要、QA对抽取和问答任务,实验显示现有大语言模型仍有较大提升空间。
2025-06-03 cs.AI cs.CL
Won: Establishing Best Practices for Korean Financial NLP
OneLineAI;KRX(韩国交易所)
本研究推出首个韩国金融领域大语言模型公开评估排行榜,基于八周评估结果发布8万条公开指令数据集并总结顶尖模型训练策略,最终推出完全开放透明的金融大语言模型Won,助力多语言金融大模型发展。
2025-03-23 cs.CL
AraFinNews: Arabic Financial Summarisation with Domain-Adapted LLMs
School of Computing(计算学院);Lancaster University(兰卡斯特大学)
AraFinNews通过领域适应大语言模型提升阿拉伯语金融文本摘要的连贯性和准确性。
2025-11-25 cs.CL
Will LLMs be Professional at Fund Investment? DeepFund: A Live Arena Perspective
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对现有金融基准在评估LLMs交易能力上的四大缺陷,本文提出DeepFund平台,通过多智能体框架在实时环境中还原真实投资决策,并利用Web界面可视化不同市场条件下的基金投资表现,为LLMs在金融市场的应用提供更公平、现实的评估。
2025-06-26 cs.AI cs.CE cs.HC
BizBench: A Quantitative Reasoning Benchmark for Business and Finance
Kensho Technologies(肯寿科技公司)
该研究推出面向商业金融领域的定量推理基准BizBench,含八项任务及三类金融代码生成任务,评估发现大语言模型性能瓶颈在于金融理解不足,凸显该领域推理基准的价值。
2024-03-12 cs.CL
FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles
FinRule-Bench是一个评估金融表与原则联合推理能力的基准,通过三个任务测试模型在规则验证、识别和多违规诊断中的表现,揭示LLMs在高风险金融分析中的局限性。
2026-03-11 cs.AI cs.CE cs.LG
FAITH: A Framework for Assessing Intrinsic Tabular Hallucinations in Finance
Asian Institute of Digital Finance, National University of Singapore(亚洲数字金融研究所,新加坡国立大学)
针对金融表格数据中LLM幻觉评估缺失的问题,提出FAITH框架,通过掩码跨度预测任务和基于标普500报告的数据集,系统评估内在幻觉,助力构建可靠金融AI。
2025-10-24 cs.AI cs.CL cs.LG
FinanceBench: A New Benchmark for Financial Question Answering
Patronus AI;Contextual AI;Stanford University(斯坦福大学)
本文提出首个金融问答基准 FinanceBench,包含 10,231 个问题,测试 16 种模型配置后发现现有 LLM 存在明显局限,如 GPT-4-Turbo 错误或拒绝回答率达 81%,且所有模型均存在幻觉等弱点,限制了企业应用。
2023-11-20 cs.AI cs.CE cs.CL
FinTrace: Holistic Trajectory-Level Evaluation of LLM Tool Calling for Long-Horizon Financial Tasks
Stevens Institute of Technology(斯蒂文斯理工学院);Independent Researcher(独立研究者);The FinAI(FinAI);Duke University(杜克大学)
本文提出FinTrace基准,通过800个专家标注的轨迹评估LLM工具调用,揭示模型在信息利用和最终答案质量上的不足,并通过FinTrace-Training数据集提升中间推理能力,但最终答案质量仍受限。
2026-08-11 cs.AI cs.CE cs.CL
The Adoption and Efficacy of Large Language Models: Evidence From Consumer Complaints in the Financial Industry
City University of Hong Kong(香港城市大学);Northeastern University(东北大学);Yale School of Management(耶鲁管理学院)
研究基于消费者金融保护局逾百万件投诉并结合工具变量与对照实验,发现使用LLM起草投诉可提升叙述清晰度与说服力,从而增加获得金融公司救济的可能性。
2025-02-14 cs.AI cs.CL cs.HC
FENCE: A Financial and Multimodal Jailbreak Detection Dataset
针对金融领域多模态越狱检测资源匮乏的问题,提出FENCE数据集,包含韩英双语文本和图像,用于训练和评估检测器,实验表明基线检测器准确率达99%。
2026-08-31 cs.AI cs.CL cs.DB
FinDVer: Explainable Claim Verification over Long and Hybrid-Content Financial Documents
Yale(耶鲁大学)
本文提出FinDVer基准,含2,400个专家标注样本,评估LLMs在长篇幅金融文档中的可解释声明验证,发现GPT-4o仍逊于人类专家,并提供深入分析以推动未来进展。
2024-11-08 cs.CL cs.LG
Bypassing Document Ingestion: An MCP Approach to Financial Q&A
University of Groningen(Groningen大学);Goethe University Frankfurt(法兰克福歌德大学);Martin Luther University Halle-Wittenberg(哈雷-维滕贝格马丁路德大学);Halle Institute for Economic Research (IWH)(哈雷经济研究所)
本文研究MCP在金融问答中的可靠性,通过构建定制MCP服务器测试FinDER基准,发现其在多步数值问题上准确率达80.4%,为金融问答提供基线并揭示其局限性。
2026-03-19 cs.AI cs.IR
Metadata-Driven Retrieval-Augmented Generation for Financial Question Answering
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);University of Macedonia(马其顿大学);University of Plymouth(普利茅斯大学)
针对RAG在长结构化财务文件问答中效果不佳的问题,研究提出结合LLM生成元数据的多阶段RAG架构,通过上下文块嵌入等优化在FinanceBench上取得优异性能,还提出高性价比的定制元数据重排序器,为金融领域元数据感知RAG系统提供构建蓝图。
2025-10-28 cs.AI cs.CE cs.IR
Beyond the Reported Cutoff: Where Large Language Models Fall Short on Financial Knowledge
College of Computing & Scheller College of Business(计算学院与商学学院);Georgia Institute of Technology(佐治亚理工学院)
本研究基于美国上市公司超19.7万条金融问题评测大语言模型的历史知识广度,发现其对过往财务表现认知不足,更了解大公司与近期信息,但也更易针对大公司近年数据产生幻觉。
2025-07-28 cs.CL
SusGen-GPT: A Data-Centric LLM for Financial NLP and Sustainability Report Generation
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
针对金融与ESG领域开源大模型稀缺的问题,提出SusGen-30K数据集和TCFD-Bench基准,开发SusGen-GPT模型及集成RAG的SusGen系统,以高效生成可持续发展报告。
2024-12-14 cs.CE cs.CL cs.LG
FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction
School of Computing, National University of Singapore(新加坡国立大学计算机学院);China Economics and Management Academy, Central University of Finance and Economics(中央财经大学中国经济与管理研究院);Asian Institute of Digital Finance, National University of Singapore(新加坡国立大学亚洲数字金融研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本研究提出首个评估深度研究智能体端到端金融指标构建表现的基准FinDeepIndicator,含多市场数据,实验发现DR智能体优于检索增强LLMs但仍不可靠,为金融领域智能体开发提供参考。
2026-08-04 cs.AI
FINESSE-Bench: A Hierarchical Benchmark Suite for Financial Domain Knowledge and Technical Analysis in Large Language Models
Lime FinTech(Lime金融科技)
提出FINESSE-Bench,包含8个专业基准和3993个问题,通过分层设计(如CFA级别、CMT级别等)系统评估大语言模型从基础到专家级的金融能力,并引入基于LLM评判的自动评分方案。
2026-05-21 cs.CL
MBABench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance
Decision, Risk, and Operations Division, Columbia Business School(哥伦比亚商学院决策、风险与运营部门);ESB Business School, Reutlingen University(图宾根大学ESB商学院)
本文提出WorkstreamBench,用于评估LLM代理在金融领域复杂端到端电子表格任务中的能力,重点在于财务建模和情景分析等关键流程,通过三个维度(准确性、公式、格式)的细粒度标准来衡量解决方案质量。
2026-08-20 cs.AI
Towards Competent AI for Fundamental Analysis in Finance: A Benchmark Dataset and Evaluation
Shanghai AI Finance School, East China Normal University(上海人工智能金融学院,华东师范大学);Tsinghua University(清华大学)
本文提出聚焦财务报表分析的基准数据集FinAR-Bench,将基本面分析任务分解为信息提取、指标计算和逻辑推理三个可衡量步骤,以更客观地评估大语言模型在真实金融场景中的分析能力与局限。
2025-11-08 cs.AI q-fin.ST
AlphaSharpe: LLM-Driven Discovery of Robust Risk-Adjusted Metrics
aiXplain Inc.(aiXplain公司)
AlphaSharpe利用大语言模型通过迭代交叉、变异和评估自动发现稳健的风险调整金融指标,实证显示其对未来风险收益的预测能力提升3倍、组合表现提升2倍。
2025-02-04 cs.AI cs.CL cs.NE
Towards reducing hallucination in extracting information from financial reports using Large Language Models
BlackRock, Inc.(贝莱德集团)
本研究利用大语言模型结合检索增强生成与元数据,从财务报告问答中高效提取信息,减少幻觉,并通过客观指标验证了方法的优越性。
2023-10-16 cs.CL q-fin.PM q-fin.ST
Financial Language Models as Applied Artificial Intelligence Systems for News-Based Trading under Market Frictions
University College London(伦敦大学学院);University of Warwick(华威大学)
本文提出MFAST框架,将金融语言模型输出转化为考虑市场摩擦的交易决策,验证了仅解码器模型在新闻交易中的优越性,并强调端到端工程评估的重要性。
2026-09-22 cs.CL cs.LG q-fin.TR
Can LLM-based Financial Investing Strategies Outperform the Market in Long Run?
AIAI, School of Informatics The University of Edinburgh Edinburgh United Kingdom;Global Finance Research Center Sungkyunkwan University Seoul Republic of Korea;Dept. of Statistics \& OMI University of California, Los Angeles;University of Oxford United States;The University of Edinburgh;Sungkyunkwan University;University of California, Los Angeles;University of Oxford
提出FINSABER回测框架,在更长时间和更大股票池上评估基于LLM的择时策略,发现其优势在长期和广泛截面下显著下降,且在牛熊市中表现不佳。
2026-06-26 cs.AI cs.CE q-fin.TR
Evaluating LLM Simulators as Differentially Private Data Generators
Capital One
研究评估LLM模拟器在生成复杂合成数据中的有效性,发现其在欺诈检测中表现良好但存在分布偏移问题,需解决系统性偏差以提升应用潜力。
2026-04-16 cs.CL cs.CR cs.LG