ADRA-Bank: A Modular Benchmark for Academic Deep Research Agents
ADRA-Bank:面向学术深度研究智能体的模块化基准
机构 * The Chinese University of Hong Kong, Hong Kong SAR, China(香港中文大学) ; Hong Kong Polytechnic University, Hong Kong SAR, China(香港理工大学) ; National University of Singapore, Singapore, Singapore(新加坡国立大学) ; Huawei Technologies, Hong Kong SAR, China(华为技术有限公司) ; Independent(独立)
专题命中 Agent评测 :planning(abstract);分类 cs.CL
AI总结 针对现有基准侧重检索而忽视规划与推理、且缺乏学术领域覆盖的问题,提出ADRA-Bank模块化基准,包含10个学术领域的200个人工标注实例,并设计ADRA-Eval评估范式,通过端到端和隔离评估两种模式测试规划、检索和推理能力,揭示智能体在跨源检索和跨领域一致性上的不足,并指出提升高层规划能力是释放基础LLM推理潜力的关键。