TCEval: Using Thermal Comfort to Assess Cognitive and Perceptual Abilities of AI
Nanyang Normal University(南阳师范学院)
TCEval通过热舒适性场景评估AI的跨模态推理、因果关联和适应性决策能力,揭示当前LLM在热舒适性领域存在基础推理能力但缺乏精确因果理解。
2025-12-29 cs.AI
Robust Planning with LLM-Modulo Framework: Case Study in Travel Planning
School of Computing and AI, ASU(亚利桑那州立大学计算与人工智能学院)
本文探讨了 LLM-Modulo 框架在旅行规划中的实际应用,显著提升了 LLMs 的规划性能,并展示了其在提取和重构批评方面的其他有用角色。
2024-05-31 cs.AI
GraphReader: Building Graph-based Agent to Enhance Long-Context Abilities of Large Language Models
Alibaba Group(阿里巴巴集团);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);University of Manchester(曼彻斯特大学)
GraphReader通过将长文本构建为图并让智能体自主探索,以4k上下文窗口在长上下文任务上大幅超越GPT-4-128k,并在单跳和多跳基准上表现优异。
2024-11-05 cs.AI cs.CL
GAMA: A Large Audio-Language Model with Advanced Audio Understanding and Complex Reasoning Abilities
University of Maryland(马里兰大学);Adobe(奥多比公司)
本文提出大型音频-语言模型 GAMA,融合多种音频表示并利用 CompA-R 指令数据与软提示增强复杂推理,在多项音频理解任务上以 1%–84% 的优势超越现有 LALM。
2024-06-17 cs.AI cs.CL cs.SD
Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning
Fudan University(复旦大学);East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学);Singapore University of Technology and Design(新加坡科技设计大学)
针对多模态大语言模型(MLLMs)是否具备类人组合推理能力的问题,本文构建MARS-Bench基准,提出主动演绎(AD)强化学习方法,提升MLLMs假设推理能力且不影响通用问答性能。
2025-04-17 cs.AI cs.CV
Towards LLM Agents for Earth Observation
Cornell University(康奈尔大学);Columbia University(哥伦比亚大学)
针对AI系统在地球观测中的可靠性问题,本文提出了包含140个问题的基准测试。实验发现现有LLM智能体准确率仅33%,主要受限于代码运行失败。通过微调合成数据,小模型能达到与大模型相当的准确率,揭示了自动化地球观测面临的挑战及未来方向。
2026-10-06 cs.AI
Empowering Large Language Model Agents through Action Learning
Peking University(北京大学);The University of Hong Kong(香港大学);ByteDance(字节跳动)
本文提出LearnAct框架,通过迭代学习策略让LLM智能体以Python函数形式从失败任务中学习并改进新行动,在Alfworld等环境中显著提升了任务表现。
2024-08-08 cs.AI cs.CL
MemoryBench: A Benchmark for Memory and Continual Learning in LLM Systems
Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系)
提出用户反馈模拟框架及跨领域、多语言、多任务类型的综合基准MemoryBench,评估LLM系统从累积用户反馈中持续学习的能力,实验表明现有方法效果与效率均不理想。
2026-06-03 cs.AI cs.IR cs.LG
MaRVL-QA: A Benchmark for Mathematical Reasoning over Visual Landscapes
Waymo;Google(谷歌)
针对多模态大语言模型在图像数学推理上的不足,提出MaRVL-QA基准,含拓扑计数与变换识别两任务,评估显示现有模型依赖表面启发式,为提升空间推理能力提供新工具。
2025-09-09 cs.AI cs.CV cs.LG
UGPhysics: A Comprehensive Benchmark for Undergraduate Physics Reasoning with Large Language Models
Tsinghua University(清华大学);Zhejiang University(浙江大学);NVIDIA Research(英伟达研究院)
本文提出UGPhysics基准,包含5,520道中英双语本科物理题,覆盖13个学科、七种答案类型和四种推理技能,并开发MARJ评估流程,对31个LLMs的评测显示最高准确率仅49.8%,揭示了当前模型物理推理能力的不足。
2025-06-03 cs.AI cs.CL
Can AI Be as Creative as Humans?
National University of Singapore(新加坡国立大学);Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind);Microsoft Research(微软研究院);Rutgers University(罗格斯大学);University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学)
本文提出相对创造力与统计创造力框架,理论证明AI若能充分拟合人类创作的条件数据,即可达到与人类创作者相当的创造力,并给出LLM评估与训练指导。
2024-01-25 cs.AI cs.CL
Eliminating Reasoning via Inferring with Planning: A New Framework to Guide LLMs' Non-linear Thinking
University of California, San Diego(加州大学圣迭戈分校);University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学);Yale University(耶鲁大学)
提出IEP提示框架,通过规划与自然语言推断的排除过程引导大语言模型非线性思考,并构建含9,115个问题的MARB基准,实验证明其优于CoT且可结合使用。
2023-11-15 cs.AI cs.CL
Self-Emergence Agent Architecture:Behavior-Inertia HMM, Reflexive Metacognition,and Social-Contrastive Self-Modeling
针对LLM智能体的人格漂移、非进化反思和缺乏自我-他者边界问题,提出SEAA架构,通过HMM编码惯性、反思循环更新参数及多智能体社会比较形成闭环,实现自发对称破缺,涌现出差异化人格与社会结构。
2026-09-16 cs.AI
Caption This, Reason That: VLMs Caught in the Middle
Integrated Program in Neuroscience (IPN) McGill University(神经科学联合计划 麦吉尔大学);Mila, University of Montreal(蒙特利尔大学Mila);Microsoft Research USA(微软研究院美国总部);Department of Physiology McGill University(生理学系 麦吉尔大学)
本研究沿感知、注意力、记忆认知轴评估GPT-4o等VLM,发现其在空间理解等任务存在短板,通过视觉-文本解耦分析验证了微调小模型、强化CoT能力的改进效果。
2025-11-12 cs.AI cs.CV
Maritime Mission Planning for Unmanned Surface Vessel using Large Language Model
Khalifa University Center for Advanced Robotic Systems (KUCARS)(哈利法大学高级机器人系统中心(KUCARS));Khalifa University of Science and Technology(哈利法科技大学)
针对无人水面艇静态任务规划难以适应动态海况的问题,提出集成GPT-4等LLM与符号规划并利用底层控制反馈的框架,实现自然语言任务指定、实时重规划和鲁棒执行。
2025-03-15 cs.AI cs.RO
Markov Chain of Thought for Efficient Mathematical Reasoning
Alibaba Tongyi Lab(阿里通义实验室)
受人类认知启发,提出Markov Chain of Thought (MCoT)框架,将多步推理步骤压缩为简化问题,在保持准确率的同时显著提升了大型语言模型数学推理的计算效率。
2025-03-06 cs.AI cs.CL
Agent Instructs Large Language Models to be General Zero-Shot Reasoners
Washington University in St. Louis(圣路易斯华盛顿大学);UC Berkeley(加州大学伯克利分校)
本研究构建自主智能体指导大语言模型推理,提升其通用零样本推理能力,在29个数据集中20个达SOTA,大幅提升多款主流大模型性能。
2024-08-14 cs.AI cs.CL cs.LG
Meaningful Learning: Enhancing Abstract Reasoning in Large Language Models via Generic Fact Guidance
Fudan University(复旦大学);Du Xiaoman (Beijing) Science Technology Co., Ltd.(度小满(北京)科技有限公司)
针对大型语言模型在抽象推理上的不足,本文定制了AbsR数据集并提出有意义的学习范式,通过通用事实引导有效提升了模型的一般与抽象推理能力。
2024-11-11 cs.AI cs.CL
Enhancing Cooperative Multi-Agent Reinforcement Learning with State Modelling and Adversarial Exploration
School of Electrical;Archimedes, Athena Research Center, Greece;Department of Mathematics, ETH Zurich;Dept. of Mechanical Engineering \& Materials Science, Duke University;Dept. of Digital Systems, University of Piraeus, Greece
针对无通信分布式部分可观测环境下多智能体协作学习难题,提出含状态建模的MARL SMPE算法,通过置信表示融入策略与对抗式探索提升性能,在三类基准协作任务中超越现有最优算法。
2025-06-12 cs.AI cs.LG cs.MA
ChatMusician: Understanding and Generating Music Intrinsically with LLM
Skywork AI PTE. LTD.(思科大AI私人有限公司);Hong Kong University of Science and Technology(香港科技大学)
本文提出 ChatMusician,通过在 ABC 记谱法上持续预训练和微调 LLaMA2,使 LLM 无需外部多模态结构即可理解与生成音乐,并在 MusicTheoryBench 上超越 GPT-3.5 等基线。
2024-02-25 cs.AI cs.CL cs.LG
Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals
Tongji University(同济大学);Shanghai AI Laboratory(上海人工智能实验室);Nanyang Technological University(南洋理工大学);University of Science and Technology of China(中国科学技术大学);EPFL(苏黎世联邦理工学院);Wuhan University(武汉大学)
提出元认知奖励(MaR)框架,利用元认知知识和调节信号作为过程奖励,提升LLM推理质量,在22个基准上平均提升7.7%。
2026-05-22 cs.AI cs.CL
ExecuGraph: A Multi-Agent, Execution-Grounded Framework for Reliable Backend Code Synthesis with Large Language Models
Department of Computer Science and Engineering (AI & ML), Kakatiya Institute of Technology and Science(卡凯蒂亚理工学院计算机科学与工程系(人工智能与机器学习));Department of Computer Science and Engineering, Kakatiya Institute of Technology and Science(卡凯蒂亚理工学院计算机科学与工程系);Boston University(波士顿大学)
研究针对大语言模型后端代码合成可靠性问题,提出ExecuGraph多智能体框架,将执行验证置于核心,通过六个智能体和有向工作流协调,在多数据集评估中对比单智能体基线,验证方法有效性且能控制测量各因素贡献。
2026-07-24 cs.AI cs.SE
LASER: An LLM-based ASR Scoring and Evaluation Rubric
Indian Institute of Technology Bombay(印度理工学院班加罗尔)
针对标准ASR指标不公问题,提出LLM评分标准LASER,利用上下文学习,在印地语上相关性达94%,并能跨语言分析,微调小模型预测惩罚准确率近89%。
2025-10-08 cs.AI cs.CL cs.LG
Large Language Model Enhanced Multi-Agent Systems for 6G Communications
针对原生大语言模型应用于6G通信存在的知识缺失、推理与优化能力不足等问题,提出包含数据检索、协同规划、评估反思模块的多智能体系统,并通过语义通信案例验证其有效性。
2023-12-13 cs.AI
A Hierarchical Language Model For Interpretable Graph Reasoning
Texas A&M University(德克萨斯农工大学)
针对大语言模型图结构理解能力有限的问题,提出双模块架构的图分层语言模型HLM-G,兼顾局部与全局图信息,提升图任务性能与效率,兼具可解释性,在多类图任务上表现优异。
2024-10-29 cs.AI cs.LG
Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);ByteDance(字节跳动);Oregon State University(俄勒冈州立大学)
针对现有强化学习方法在语言模型多步推理任务中存在的计算资源消耗大或性能不足问题,提出基于MDP构建和SAC框架的DQO方法,在GSM8K和MATH数据集上优于现有方法,为语言模型对齐提供了高效的离线强化学习方案。
2025-02-11 cs.AI cs.CL cs.LG
Heterogeneous Multi-Agent Reinforcement Learning via Mirror Descent Policy Optimization
Tarbiat Modares University(塔比阿特莫达勒斯大学)
针对异构协作 MARL 中智能体能力与策略不同的问题,提出 HAMDPO,利用多智能体优势分解和信赖域近似更新实现稳定单调改进,并在 MuJoCo、StarCraftII 上优于 HATRPO 与 HAPPO。
2023-08-13 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning with Graph Convolutional Neural Networks for optimal Bidding Strategies of Generation Units in Electricity Markets
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
在电力市场环境下,寻找发电机组的最优报价策略将获得更高的利润。然而,由于系统的不确定性,这是一个具有挑战性的问题,这是由于未知的其他发电机组的策略。分布式优化,其中每个实体或代理单独决定其出价,已成为最先进的,但它不能克服系统的不确定性的挑战。深度强化学习是在不确定环境中学习最优策略的一种很有前途的方法。然而,它是不能够在学习过程中集成的空间系统拓扑结构的信息。提出了一种基于深度强化学习(DRL)和图卷积神经网络(GCN)的分布式学习算法。事实上,所提出的框架可以帮助代理人更新他们的决策,从环境中获得反馈,以便它可以克服的不确定性的挑战。在该算法中,节点之间的状态和连接是GCN的输入,它可以使代理知道系统的结构。这些关于系统拓扑结构的信息有助于代理人改进他们的投标策略并增加利润。我们评估所提出的算法在IEEE 30节点系统在不同的情况下。此外,为了研究所提出的方法的泛化能力,我们测试IEEE 39节点系统的训练模型。仿真结果表明,该算法比DRL算法具有更强的泛化能力,在改变系统拓扑结构时,可以获得更高的收益。
2022-08-11 cs.AI cs.LG cs.MA
A Cordial Sync: Going Beyond Marginal Policies for Multi-Agent Embodied Tasks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Allen Institute for AI(艾伦人工智能研究院);University of Washington(华盛顿大学)
自主智能体必须学会合作。每次任务的难度超过单个代理的能力时,开发新的集中式代理是不可扩展的。虽然多智能体协作的研究已经蓬勃发展,在网格世界的环境,相对较少的工作,认为视觉丰富的领域。为了解决这个问题,我们引入了一个新的任务“移动”,在这个任务中,智能体一起工作,将一件家具通过客厅移动到一个目标。与现有的任务不同,CIMOMove需要代理在每个时间步进行协调。我们确定了两个挑战时,训练代理完成CIMOMove:现有的分散行动抽样程序不允许表达联合行动的政策,在需要密切协调的任务,失败的行动的数量占主导地位的成功的行动。为了应对这些挑战,我们引入了同步策略(连贯地同步您的行动)和协调损失(CORDIAL)。通过使用SYNC策略和CORDIAL,我们的代理商实现了58%的移动支付完成率,比竞争对手的分散基线提高了25个百分点。我们的数据集,代码和预训练模型可在https://unnat.github.io/cordial-sync上获得。
2020-07-09 cs.AI cs.CV cs.LG
Tacit Learning with Adaptive Information Selection for Cooperative Multi-Agent Reinforcement Learning
College of Electrical and Information Engineering(电气与信息工程学院)
针对CTDE框架中智能体信息评估与全局协作受限的挑战,提出基于信息选择和默契学习的合作型MARL新框架,通过隐式协调和门控机制提升无通信环境下的决策与协作能力。
2024-12-24 cs.AI cs.LG cs.MA
MCPToolBench++: A Large Scale AI Agent Model Context Protocol MCP Tool Use Benchmark
Ant Group(蚂蚁集团)
针对LLM和AI智能体在MCP工具使用评估中存在的数据集缺失、响应格式多样、成功率不稳定及上下文限制等问题,提出了大规模多领域基准MCPToolBench++,并评估了SOTA LLM的智能体能力。
2025-08-11 cs.AI
MARL-BattleGrounds: A Novel JAX-native Benchmark for Heterogeneous and Competitive Multi-agent RL
本文提出一款JAX原生的异构竞争性MARL基准MARL-BGs,填补现有基准的中间空白,含52张地图与两种评估模式,支持多类智能体评估,模拟器在RTX 5090上每秒可运行5万步5v5游戏。
2026-10-14 cs.AI cs.LG cs.MA
MARSHAL: Incentivizing Multi-Agent Reasoning via Self-Play with Strategic LLMs
SIGS, Tsinghua University(清华大学信号与系统系);EE, Tsinghua University(清华大学电子工程系);Aalto University(阿alto大学);Li Auto Inc.(李汽车公司);Infinigence AI Project Page Code Models(Infinigence AI项目页面代码模型)
MARSHAL通过战略性LLM的自我对战激励多智能体推理,实现多智能体系统的性能提升。
2026-02-12 cs.AI
Neural Recursive Belief States in Multi-Agent Reinforcement Learning
DeepMind(深度思维)
在多智能体强化学习中,学习行动的问题特别困难,因为合作者的策略可能严重依赖于仅由他们观察到的信息。另一方面,人类很容易形成关于同伴所拥有的知识的信念,并利用信念来为决策提供信息。这种能力是个人在各种马尔可夫博弈中成功的基础,从扑克牌中的虚张声势到囚徒困境中的有条件合作,再到桥牌中的惯例建立。经典方法通常不适用于复杂的领域,由于层次信念(即其他代理人的信念)的棘手性质。我们提出了一种可扩展的方法,使用递归深度生成模型来近似这些信念结构,并使用信念模型来获得对复杂任务有用的表示。我们用信念模型训练的代理优于无模型基线,具有相同的代表能力,使用常见的训练范式。我们还表明,高阶信念模型优于代理与低阶模型。
2021-02-03 cs.AI cs.LG cs.MA
Generalizing Multi-Step Inverse Models for Representation Learning to Finite-Memory POMDPs
Microsoft Research(微软研究院);New York University(纽约大学);DreamFold;MILA;Meta
研究高维非马尔可夫环境下发现以智能体为中心的状态表示问题,提出将广义逆模型适应到有限记忆POMDPs中,并通过理论与实证分析验证其有效性及过去动作的双刃剑效应。
2024-04-22 cs.AI cs.LG
The Steganographic Potentials of Language Models
本文研究通过强化学习微调的大型语言模型在隐写术方面的能力,发现当前模型具备初步隐写能力,而明确的算法指导能显著提升其信息隐藏性能。
2025-05-06 cs.AI cs.CR cs.LG
A Dual-Agent Adversarial Framework for Robust Generalization in Deep Reinforcement Learning
提出双智能体对抗策略学习框架,通过智能体间博弈自发学习底层语义,提升深度强化学习在任务变化下的泛化性能,在Procgen基准上显著超越基线。
2025-10-08 cs.AI cs.LG