MAGPIE: A benchmark for Multi-AGent contextual PrIvacy Evaluation
机构 * University of California, Santa Barbara(加州大学圣芭芭拉分校) ; University of California, Davis(加州大学戴维斯分校)
专题命中 Agent评测 :agent(title,abstract);multi-agent(title,abstract);分类 cs.CL
AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
机构 * University of California, Santa Barbara(加州大学圣芭芭拉分校) ; University of California, Davis(加州大学戴维斯分校)
专题命中 Agent评测 :agent(title,abstract);multi-agent(title,abstract);分类 cs.CL
机构 * Hunan University(湖南大学) ; Peking University(北京大学)
专题命中 Agent评测 :agent(abstract);workflow(abstract);multi-agent(abstract);分类 cs.AI
Comments 19 pages, 16 figures
机构 * The University of Electro-Communications(电子通信大学)
专题命中 Agent评测 :agent(abstract,comments);AI agent(abstract);分类 cs.AI
Comments 23 pages, 19 figures. International Conference on Human-Agent Interaction (HAI 2025), November 10-13, 2025, Yokohama, Japan
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
专题命中 Agent评测 :agent(abstract);multi-agent(abstract);分类 cs.LG
机构 * Meituan LongCat Team(美团LongCat团队)
专题命中 Agent评测 :AI agent(abstract);分类 cs.AI、cs.CL
Comments The code, dataset, and leaderboard are available at https://vitabench.github.io/
机构 * ONE Lab, Huazhong University of Science and Technology(华中科技大学) ; University of Illinois Chicago(伊利诺伊大学芝加哥分校) ; University of Maryland(马里兰大学)
专题命中 Agent评测 :agent(abstract);分类 cs.CL
Comments Under Review. Check https://github.com/YuhangChen1/Paper2All for the unified platform to streamline all academic presentation
机构 * National Yang Ming Chiao Tung University, Sony Group Corporation(National Yang Ming Chiao Tung University, Sony集团) ; Sony Group Corporation(Sony集团)
专题命中 Agent评测 :agentic(abstract);分类 cs.AI
机构 * Faculty of Engineering and Natural Sciences, Tampere University(工程与自然科学学院,塔尔皮亚大学)
专题命中 Agent评测 :agent(abstract)
专题命中 Agent评测 :agent(abstract)
Comments Accepted by WINE'25
专题命中 Agent评测 :agent(abstract)