评估深度研究代理在专家咨询工作中的表现：一个包含验证器、评分标准和认知陷阱的基准
Evaluating Deep Research Agents on Expert Consulting Work: A Benchmark with Verifiers, Rubrics, and Cognitive Traps
AI总结：
本文提出一个基准，通过42个专家编写的任务，使用确定性验证器和五维度评分标准评估三个前沿深度研究代理（Claude、OpenAI o3、Gemini）在管理咨询类结构化分析交付物上的表现，并嵌入认知陷阱，发现所有代理的联合接受率均较低（最高21.4%），且各有独特失败模式。
摘要：
前沿深度研究代理（DRA）能够规划研究任务、综合多篇文档，并按需生成结构化的交付物。它们在企业工作流中的部署速度远快于评估速度。现有基准衡量事实回忆、单跳问答或通用代理技能，忽略了DRA被部署用于生成的多文档、决策级工作。我们引入一个基准，针对管理咨询师典型一周中所需的结构化分析交付物。我们评估三个前沿代理，即Claude Opus 4.6（带网络搜索）、OpenAI o3-deep-research和Google Gemini 3.1 Pro deep-research，在42个由领域专家（SME）编写的提示上。每个提示的126个响应在两个层面评分：确定性真实验证器（平均每个任务13.8个）和五维度0-3 SME评分标准，组合成0-100的验证器-评分标准分数（VRS）。大多数提示嵌入了惩罚表面模式匹配的认知陷阱。在我们的联合阈值（评分标准均值>=2.5且验证器通过率>=80%）下的接受率普遍较低：Gemini 21.4%，o3 9.5%，Claude 9.5%。平均VRS分数与已发表的基于评分标准的基准一致（我们的最高62.6对比APEX-v1 64.2，ProfBench 65.9，ResearchRubrics <68%），验证了评分标准构建。ACCEPT率低于APEX-Agents在专用DR代理上的MC-segment Pass@1区间（12.3-22.7%）；尽管有工具优势，我们的下限仍低三个百分点，这是由于更严格的合取评分和陷阱设计。每个代理的失败模式各不相同。Claude最可靠地生成交付物（在需要文件的任务上比其他代理高4.5倍），但具有最高的虚构特征。o3具有最清晰的推理平均值，但会遗漏必要部分并传播算术错误。Gemini是双峰的，具有最高的接受率，同时也有最多的零分评分标准单元格。
英文摘要：
Frontier deep research agents (DRAs) are being deployed in enterprise workflows faster than they are being evaluated. Existing benchmarks measure factual recall, single-hop QA, or generic agentic skill, and miss the multi-document, decision-grade deliverables DRAs are asked to produce. We introduce a benchmark of 70 SME-authored management consulting prompts, each embedding cognitive traps that penalize surface-pattern reasoning. Three frontier agents, namely Claude Opus~4.6, OpenAI o3-deep-research and Gemini~3.1~Pro deep-research, are scored on two complementary layers: deterministic binary verifiers (mean 14.9 per task) and a five-criterion 0--3 SME rubric (Data Integrity, Analytical Rigor, Relevance \& Focus, Execution Precision, Format \& Deliverability), combined into a Verifier-Rubric Score (VRS, 0--100). Acceptance under a joint threshold (rubric mean $\geq 2.5$ and verifier pass rate $\geq 80\%$) is uniformly low: o3 15.7\%, Claude 12.9\%, Gemini 12.9\%. Pairwise differences are statistically indistinguishable. On the continuous VRS, o3 leads (61.4~[CI: 55.2,\,67.5]), followed by Gemini (52.6) and Claude (38.5); the o3--Claude gap ($Δ{=}22.9$, $p{<}0.001$) survives Bonferroni correction. No agent averages above the rubric's ``adequate'' threshold of 2.0; no agent's mean verifier pass rate reaches the 80\% acceptance floor. Each agent fails distinctively: Claude leads on data fabrication and file-access failures; o3 propagates cascading computation errors; Gemini oscillates between the highest perfect-verifier rate and the most catastrophic collapses. The benchmark, evaluation code, and full prompt corpus are publicly released.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
