FinRetrieval：通过AI代理进行金融数据检索的基准测试
FinRetrieval: A Benchmark for Financial Data Retrieval by AI Agents
AI总结：
FinRetrieval通过AI代理进行金融数据检索的基准测试，揭示了工具可用性对性能的主导作用及不同代理在推理模式和基础能力上的差异。
摘要：
AI代理越来越多地协助金融研究，但目前没有任何基准测试评估其从结构化数据库中检索特定数值的能力。我们介绍了FinRetrieval，一个包含500个金融检索问题的基准测试，包含真实答案、14种配置下三个前沿提供者（Anthropic、OpenAI、Google）的代理响应以及完整的工具调用执行轨迹。我们的评估发现，工具可用性主导了性能：Claude Opus在使用结构化数据API时达到90.8%的准确率，但在仅使用网络搜索时仅达到19.8%——这一71个百分点的差距超过了其他提供者的3-4倍。我们发现推理模式的收益与基础能力呈反比（OpenAI增加9.0个百分点，Claude增加2.8个百分点），这由基础模式工具利用差异而非推理能力差异所解释。地理性能差距（5.6个百分点的美国优势）源于财政年命名惯例，而非模型限制。我们发布数据集、评估代码和工具轨迹，以促进对金融AI系统的研究。
英文摘要：
AI agents increasingly assist with financial research, yet no benchmark evaluates their ability to retrieve specific numeric values from structured databases. We introduce FinRetrieval, a benchmark of 500 financial retrieval questions with ground truth answers, agent responses from 14 configurations across three frontier providers (Anthropic, OpenAI, Google), and complete tool call execution traces. Our evaluation reveals that tool availability dominates performance: Claude Opus achieves 90.8% accuracy with structured data APIs but only 19.8% with web search alone--a 71 percentage point gap that exceeds other providers by 3-4x. We find that reasoning mode benefits vary inversely with base capability (+9.0pp for OpenAI vs +2.8pp for Claude), explained by differences in base-mode tool utilization rather than reasoning ability. Geographic performance gaps (5.6pp US advantage) stem from fiscal year naming conventions, not model limitations. We release the dataset, evaluation code, and tool traces to enable research on financial AI systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
