MetaSyn: A Benchmark for LLM Agents on Meta-Analysis Articles from Nature Portfolio
对Nature Portfolio元分析文章进行LLM代理基准测试
机构 * Tsinghua University(清华大学)
专题命中 推理评测 :reasoning(abstract);分类 cs.CL
AI总结 提出MetaSyn数据集,包含442篇专家策划的元分析,用于评估LLM代理在检索-筛选-综合全流程中的表现,发现当前系统在筛选阶段存在严重瓶颈。
Comments 17 pages, 8 figures, 11 tables. Code and evaluation: https://github.com/THUIR/MetaSyn Dataset: https://huggingface.co/datasets/THUIR/MetaSyn Model: https://huggingface.co/BFTree/MA-Retriever