ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
本文提出ECG-Reasoning-Benchmark,通过6400个样本系统评估17种核心心电图诊断的逐步推理能力,发现现有多模态大语言模型在多步逻辑推理中存在严重缺陷,无法有效将心电图发现与实际信号证据关联。
2026-10-30 cs.AI cs.CL cs.LG
CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Multi-Agent Governance & Intelligence Crew (MAGIC)(多智能体治理与智能团队(MAGIC))
CoLMDriver提出首个全流程基于LLM的协同自动驾驶系统,通过演员-评论家协商模块和意图引导航路点生成器实现实时语言协商与驾驶控制,并引入InterDrive基准,在V2V场景中成功率提升11%。
2025-03-11 cs.AI cs.CV cs.MA
Lexara-RF: Reference-Free Metrics for Evaluating Conversational Visual Analytics Agents
Tableau Research(Tableau研究院)
针对对话式可视化分析智能体评估难题,提出无参考指标Lexara-RF,仅用提示、数据和响应评分,通过13个指标实现验证式评估,性能与参考法相当且优于基线。
2026-09-17 cs.AI cs.HC
Are We Asking the Right Questions? On Ambiguity in Natural Language Queries for Tabular Data Analysis
Centrum Wiskunde & Informatica(数学与信息学中心);University of Amsterdam(阿姆斯特丹大学)
本文探讨了自然语言查询中模糊性的合作交互机制,提出基于共享责任的框架,用于设计和评估表格数据分析的自然语言接口。
2026-03-03 cs.AI cs.CL cs.DB
V2X-QA: A Comprehensive Reasoning Dataset and Benchmark for Multimodal Large Language Models in Autonomous Driving Across Ego, Infrastructure, and Cooperative Views
Department of Civil and Environmental Engineering, University of Wisconsin–Madison(威斯康星大学麦迪逊分校土木与环境工程系);Department of Civil and Architectural Engineering and Construction Management, University of Wyoming(怀俄明大学土木与建筑工程及施工管理系);School of Transportation, Southeast University(东南大学交通学院)
本文提出V2X-QA数据集和基准测试,用于评估多模态大语言模型在自动驾驶中的多视角推理能力,揭示视角对性能的影响,并提出V2X-MoE模型以提升多视角推理性能。
2026-04-03 cs.AI cs.CV cs.RO
SmartSalesBench: A Resistance-Aware Multi-Turn Benchmark for Evaluating LLM Sales Agents
SmartSalesBench是首个针对LLM销售智能体的多轮对话基准,以抗拒性买家角色为评估对象,含多类配置与实验,采用RAG生成,设三类评估指标,结合自动与人工评估验证有效性。
2026-10-12 cs.AI cs.CL
Can Agents Deceive? Evaluating Reasoning and Deception in ParliamentBench using a Social Deduction Game
University of Göttingen(哥廷根大学);National Institute of Informatics(信息学研究所);University of Tokyo(东京大学)
该研究基于《Secret Hitler》游戏构建ParliamentBench基准,评估16个LLM的欺骗与推理能力,发现前沿模型表现优异,多数LLM难以维持一致的欺骗人设。
2026-07-31 cs.AI cs.CL
Evaluating Epistemic Guardrails in AI Reading Assistants: A Behavioral Audit of a Minimal Prototype
Responsible Innovation Lab(负责任创新实验室)
本文通过TextWalk原型评估认知护栏在AI阅读助手中的行为特性,探讨在压力下其动态表现及对读者解读劳动的影响。
2026-04-30 cs.AI cs.CY cs.HC
Broadcast Channel Cooperative Gain: An Operational Interpretation of Partial Information Decomposition
本文针对偏信息分解缺乏明确操作含义的问题,将其与广播信道容量建立联系,证明协同信息对应协作增益或其下界,从而为该技术提供严格的信息论解释。
2025-02-15 cs.AI cs.IT cs.LG
ECG-Expert-QA: A Benchmark for Evaluating Medical Large Language Models in Heart Disease Diagnosis
Zhejiang University School of Medicine(浙江大学医学院);The First Affiliated Hospital(第一附属医院);Liangzhu Laboratory(良渚实验室);Shandong Jianzhu University(山东建筑大学);FUXI AI Lab(伏羲人工智能实验室);Beijing Normal University(北京师范大学);Southern University of Science and Technology(南方科技大学);China University of Geosciences (Wuhan)(中国地质大学(武汉));Hangzhou Baorun Biotechnology Co., Ltd.(杭州宝润生物科技有限公司)
本文提出ECG-Expert-QA多模态基准数据集,包含47,211个专家验证问答对并支持多轮对话,用于全面评估医学大语言模型在12项心电图诊断任务中的临床推理与诊断能力。
2025-04-07 cs.AI cs.CL cs.LG
Beyond Shapley Values: Cooperative Games for the Interpretation of Machine Learning Models
Département de Mathématiques, Université du Québec à Montréal(魁北克大学蒙特利尔分校数学系);Institut Intelligence et Données, Université Laval(拉瓦尔大学智能与数据研究所)
该研究针对Shapley值在机器学习特征归因中公理相关性存疑的问题,从可解释性视角拓展合作博弈论的应用,提出Weber集、Harsanyi集两类分配方案及三步特征归因构建蓝图,为XAI领域提供适配性更强的理论框架。
2025-06-16 cs.AI cs.LG stat.ML
CoKV: Optimizing KV Cache Allocation via Cooperative Game
Zhejiang University(浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院)
针对KV缓存分配中忽略注意力头间合作的问题,提出基于合作博弈的CoKV方法,通过评估头的贡献优化预算分配,在LongBench上取得最优性能。
2025-02-21 cs.AI cs.LG
Evaluating and Enhancing LLMs Agent based on Theory of Mind in Guandan: A Multi-Player Cooperative Game under Imperfect Information
The Hong Kong University of Science and Technology(香港科技大学);University of Toronto(多伦多大学)
本文研究LLM智能体在掼蛋这一不完全信息多玩家合作游戏中的协作能力,提出基于心智理论的规划技术并结合外部工具应对复杂动作空间,实验表明LLM虽与强化学习模型存在性能差距,但能理解盟友与对手并提升协作表现。
2024-08-05 cs.AI cs.CL
Evaluating Visual Conversational Agents via Cooperative Human-AI Games
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
随着AI的不断发展,人类-AI团队是不可避免的。然而,人工智能的进展通常是孤立地衡量的,没有人参与其中。对人工智能的进展进行基准测试至关重要,不仅是孤立的,而且还包括如何将其转化为帮助人类执行某些任务,即,人类AI团队的表现。在这项工作中,我们设计了一个合作游戏- GuessWhich -来衡量人工智能团队在人工智能作为视觉对话代理的特定背景下的表现。GuessWhich涉及人类和AI之间的实时交互。人工智能,我们称之为爱丽丝,提供了一个人类看不到的图像。在对图像进行简要描述之后,人类向ALICE询问这个秘密图像,以从固定的图像池中识别它。我们衡量人类的ALICE团队的性能的猜测,它需要人类正确地识别秘密图像后,与ALICE的固定数量的对话轮。我们比较人类的ALICE团队的两个版本的ALICE的性能。我们的人类研究表明了一个违反直觉的趋势-虽然人工智能文献显示,当与人工智能提问机器人配对时,一个版本的性能优于另一个版本,但我们发现,这种人工智能性能的改善并不能转化为人工智能性能的改善。这表明孤立的AI基准测试和人类AI团队的基准测试之间存在不匹配。
2017-08-17 cs.AI cs.CL cs.CV
CMU-Drive and V2V-VLA: Cooperative Multi-agent Unified Driving with Reasoning Benchmark and Vehicle-to-Vehicle Vision-Language-Action Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出协同多智能体统一驾驶基准CMU-Drive及车对车视觉-语言-动作模型V2V-VLA,解决现有VLA模型缺乏协同能力的问题,构建了协同自动驾驶研究的首个基准并将相关资源开源。
2026-08-11 cs.AI cs.CV cs.RO
The Overcooked Generalisation Challenge: Evaluating Cooperation with Novel Partners in Unknown Environments Using Unsupervised Environment Design
Collaborative Artificial Intelligence University of Stuttgart, Germany(协同人工智能大学斯图加特, 德国)
本文提出Overcooked泛化挑战(OGC)基准,扩展Overcooked-AI以支持双课程设计,评估RL智能体在未知环境与陌生伙伴的合作泛化能力,发现现有方法无法有效泛化,为合作泛化研究提供高要求测试平台。
2025-09-12 cs.AI cs.LG cs.MA
Evaluating the Rainbow DQN Agent in Hanabi with Unseen Partners
New York University(纽约大学);University of Southern California(南加州大学);HRI Europe GmbH(HRI欧洲有限公司)
Hanabi是一款挑战现有AI技术的合作游戏,因为它专注于对其他玩家的心理状态进行建模,以解释和预测他们的行为。虽然有代理,可以达到近乎完美的分数在游戏中商定一些共同的战略,相对较小的进展已经取得了特设合作设置,其中合作伙伴和战略是不知道的提前。在本文中,我们表明,通过自我发挥使用流行的RainbowDQN体系结构训练的代理未能与简单的rules-basedagents在训练过程中没有看到很好的合作,相反,当这些代理被训练与任何个人rules-basedagents,甚至这些代理的混合,他们未能实现良好的自我发挥分数。
2020-04-28 cs.AI cs.LG cs.NE
Evaluating Language Model Agency through Negotiations
EPFL(瑞士联邦理工学院);UGA(普罗万大学);CNRS(法国国家科学研究中心);LIG(里莫恩-盖朗实验室);Stanford University(斯坦福大学)
通过谈判游戏评估语言模型的代理能力,发现封闭源模型更擅长完成任务,合作谈判游戏最具挑战性,且强模型可能输给弱对手。
2026-02-18 cs.AI cs.CL cs.LG
Evaluating Rational Contracting in Natural Language
本研究针对自然语言缔约的评估缺口,构建理性框架并开发ContractSim评估套件,发现当前LLM智能体在高不确定性下缔约及执行协议存在不足,为相关智能体设计指明改进方向。
2026-10-23 cs.AI cs.CL cs.GT
Evaluating Financial Sentiment Analysis with Annotators Instruction Assisted Prompting: Enhancing Contextual Interpretation and Stock Prediction Accuracy
New Jersey Institute of Technology(新泽西理工学院)
针对金融情感基准中标签主观性导致 LLM 评估不公的问题,本文提出 AIAP 提示,将人工标注指令纳入模型上下文,并在 WSBS 数据集上验证其最高提升 9.08,同时用置信度构建情感指数以增强股价预测。
2025-05-09 cs.AI cs.CL
Evaluating Financial Relational Graphs: Interpretation Before Prediction
School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院);Michael Smurfit Business School, University College Dublin(都柏林大学学院迈克尔·斯默菲特商学院)
针对现有股票关系图方法依赖静态图、评估绑定下游任务的问题,本文提出SPNews数据集及独立于下游任务的金融关系图评估方法,可有效区分不同关系图并提升可解释性,代码已开源。
2024-09-28 cs.AI cs.LG q-fin.ST
Reward Machines for Cooperative Multi-Agent Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Arizona State University(亚利桑那州立大学)
在协作多智能体强化学习中,一组智能体学习在共享环境中进行交互以实现共同目标。我们建议使用奖励机(RM)- Mealy机作为奖励函数的结构化表示-来编码团队的任务。所提出的新的解释RM在多智能体设置明确编码所需的队友相互依赖关系,允许团队级任务分解成子任务的个人代理。我们定义了RM分解的概念,并提出了算法可验证的条件,保证子任务的分布式完成会导致团队行为完成原始任务。这种任务分解的框架为分散式学习提供了一种自然的方法:代理可以学习完成子任务,同时只观察他们的本地状态和他们的队友的抽象表示。因此,我们提出了一个分散的q-学习算法。此外,在未折现的奖励的情况下,我们使用本地价值函数推导出相应于团队任务的全局价值函数的上下界。在三个离散设置的实验结果验证了所提出的RM分解方法的有效性,该方法收敛到一个成功的团队策略比集中式学习器快一个数量级,并显着优于分层和独立的q学习方法。
2021-02-09 cs.AI cs.MA
Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination
Carnegie Mellon University(卡内基梅隆大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
在协作任务中具有人类或超人能力的协作人工智能处于机器学习研究的前沿。之前的工作倾向于在自我游戏(由一起训练的代理组成的团队)和交叉游戏(独立训练但使用相同算法的代理团队)的限制性范式下评估合作AI性能。最近的工作表明,针对这些狭窄环境进行优化的人工智能可能会导致现实世界中出现不受欢迎的合作者。我们正式评估合作AI的替代标准,被称为算法间的交叉游戏,其中代理与实验池内的所有其他代理的组队性能进行评估,没有假设代理之间的算法相似性。我们发现,现有的最先进的合作AI算法,如游戏和信念学习,在这种模式下表现不佳。我们提出了任何播放学习增强-多代理扩展的多样性为基础的内在奖励zero-shot协调(ZSC)-推广自我发挥为基础的算法,算法间的交叉设置。我们将Any-Play学习增强应用于简化动作解码器(SAD),并在协作纸牌游戏Hanabi中展示了最先进的性能。
2022-01-28 cs.AI cs.LG cs.MA
For Your Eyes Only: Evaluating Coordination Between Isolated Language Model Instances
本研究提出合作性信号传递游戏“仅供您查看”,评估隔离模型实例间的协调能力,发现多数模型在避免可检测信号时协调困难,而前沿模型仍保持高性能,且跨架构协调弱于架构内。
2026-09-18 cs.AI cs.CL
CoDrive: Cross-Vehicle World-Consistent Video Generation with Precise Trajectory Control for Cooperative Driving
Tsinghua University(清华大学);Tencent Hunyuan(腾讯混元);Zhongguancun Academy(中关村学院)
CoDrive提出跨车辆多视角视频生成框架,通过共享世界坐标与混合训练实现精确轨迹控制下的多车观测一致性,提升轨迹可控性和几何、实例一致性。
2026-09-29 cs.AI cs.CV
Model-based Influence Diagrams for Machine Vision
Advanced Decision Systems(高级决策系统公司);Stanford University(斯坦福大学)
我们展示了一种基于增量创建和评估一个特定的家庭的影响图,代表假设的图像解释和可能的后续处理决策的机器视觉系统的自动控制方法。在我们的方法中,基于模型的机器视觉技术与分层贝叶斯推理相结合,提供了一个框架,用于表示和匹配图像中的对象和关系的实例,并用于累积概率来排序冲突的场景解释。我们扩展了Tatman和Shachter的结果,表明在每个阶段从评估图得出的处理决策序列与通过评估包含视觉系统运行期间创建的所有随机变量的最终影响图得出的序列相同。
2013-03-27 cs.AI cs.CV