Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
本研究提出将智能体预测他人信念的能力作为多智能体强化学习的内在奖励,实现了可解释信念与深度网络策略的结合,并在混合合作竞争环境中验证了初步效果。
2023-07-18 cs.AI cs.LG cs.MA
MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs
NeurIPS 2025 Competition(NeurIPS 2025 会议)
提出MINDGAMES多游戏竞技平台,通过四个游戏环境评估LLM智能体的社会推理与策略能力,揭示规则遵循瓶颈与排行榜有效性差异。
2026-05-28 cs.AI
Inferring and Conveying Intentionality: Beyond Numerical Rewards to Logical Intentions
SRI International(SRI国际公司)
共享意向性是开发有意识的人工智能智能体的关键组成部分,这些智能体能够进行协作、自我反思、审议和推理。我们将共享意向的推断公式化为具有逻辑奖励规范的逆强化学习问题。我们展示了如何的方法可以推断任务描述演示。我们还扩展了我们的方法,以积极地传达意向性。我们演示了一个简单的网格世界的例子的方法。
2022-07-13 cs.AI q-bio.NC
Inferring Rewards from Language in Context
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
在经典的指令遵循中,像“我喜欢捷蓝航空公司的航班”这样的语言映射到动作(例如,选择该航班)。然而,语言也传达关于用户的潜在奖励功能的信息(例如,JetBlue的一般偏好),这可以允许模型在新的上下文中执行期望的操作。我们提出了一个模型,从语用推断奖励语言:推理说话者如何选择话语,不仅要引起所需的行动,而且要揭示他们的喜好信息。在一个新的交互式航班预订任务与自然语言,我们的模型更准确地推断奖励和预测最佳行动在看不见的环境中,相比过去的工作,首先映射语言的行动(指令遵循),然后映射行动的奖励(逆强化学习)。
2022-04-05 cs.AI cs.CL
Inferring Lexicographically-Ordered Rewards from Preferences
University of Cambridge(剑桥大学);University of California, Los Angeles(加州大学洛杉矶分校);The Alan Turing Institute(艾伦·图灵研究所)
在许多领域中,对代理商对一组替代品的偏好进行建模是一个主要关注点。主要的方法是找到一个单一的奖励/效用函数的属性,产生更高的回报的替代品产生较低的回报。然而,在许多情况下,偏好是基于多个,往往是相互竞争的,目标;一个单一的奖励函数是不足以代表这样的偏好。本文提出了一种方法来推断多目标奖励为基础的代理人的观察到的偏好表示。我们模型的代理的优先级在不同的目标,进入字典,使目标与较低的优先级问题,只有当代理是漠不关心的目标与较高的优先级。我们提供了两个医疗保健领域的应用示例,一个是受癌症治疗的启发,另一个是受器官移植的启发,以说明我们学习的词典排序奖励如何更好地理解决策者的偏好,并在强化学习中使用时帮助改进策略。
2022-06-07 cs.AI cs.LG stat.ML
Minding Motivation: The Effect of Intrinsic Motivation on Agent Behaviors
University of Costa Rica(哥斯达黎加大学)
本文在MiniGrid中实证评估三种内在动机方法对RL智能体行为的影响,并用可保证最优性的GRM对比,发现IM提升初始奖励但改变游戏方式,GRM可在部分场景缓解奖励黑客。
2025-07-26 cs.AI
Mind the Gap: Offline Policy Optimization for Imperfect Rewards
Tsinghua University(清华大学);JD Technology(京东科技);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
奖励函数是强化学习(RL)中必不可少的,作为激励智能体解决给定任务的指导信号,然而,也是众所周知的难以设计。在许多情况下,只有不完美的奖励是可用的,这对RL代理造成了重大的性能损失。在这项研究中,我们提出了一个统一的离线策略优化方法,\textit{RGM (Reward Gap Minimization)},它可以巧妙地处理不同类型的不完美奖励。RGM被制定为一个双层优化问题:上层优化的奖励校正项,执行访问分布匹配w.r.t.一些专家数据;较低层用校正的奖励解决悲观RL问题。通过利用较低层的二元性,我们得到了一个易于处理的算法,使基于采样的学习没有任何在线交互。综合实验表明,RGM实现了优越的性能,现有的方法在不同的设置不完美的奖励。此外,RGM可以有效地纠正错误的或不一致的奖励对专家的偏好和检索有用的信息,从有偏见的奖励。
2023-02-03 cs.AI cs.LG
Economy of Minds: Emerging Multi-Agent Intelligence with Economic Interactions
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
受哈耶克经济理论启发,通过拍卖和财富积累的简单经济信号实现去中心化信用分配,使弱智能体群体涌现出多步推理策略,在五个智能体任务中超越强单体基线。
2026-10-14 cs.AI cs.CL cs.MA
Inferring Reward Machines and Transition Machines from Partially Observable Markov Decision Processes
针对部分可观测环境中的非马尔可夫性,提出转移机器与双重行为米利机统一表示,并开发DB-RPNI算法高效推断最小正确自动机,速度提升达三个数量级。
2025-08-03 cs.AI cs.LG
Judging with Many Minds: Do More Perspectives Mean Less Prejudice? On Bias Amplifications and Resistance in Multi-Agent Based LLM-as-Judge
Dartmouth College(达特茅斯学院);Yale University(耶鲁大学)
本文研究了多智能体 LLM-as-Judge 系统中四种偏见的表现,发现 debate 框架会放大偏见而 meta-judge 更具抵抗力,并验证引入无偏见智能体 PINE 能在 debate 中有效减偏。
2025-09-17 cs.AI
EgoToM: Benchmarking Theory of Mind Reasoning from Egocentric Videos
Reality Labs;FAIR
提出EgoToM基准,用于评估多模态大语言模型从自我中心视频中推理目标、信念和行动的能力,发现模型在目标推断上接近人类,但在信念和未来行动推断上仍有差距。
2025-03-28 cs.AI cs.CV
ToM-2 Understanding Statements for Teacher-Guided Preference Learning
该研究针对奖励无法直接指定的场景,提出人机团队中教师与学习者通过二阶心理理论同步信念的方法,仿真显示该方法能提升偏好学习性能并修复模型漂移问题。
2026-11-17 cs.AI cs.RO
Modeling the Formation of Social Conventions from Embodied Real-Time Interactions
Institute for Bioengineering of Catalonia(加泰罗尼亚生物工程研究所);Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究机构)
实时的【形】控制和学习在社会习俗形成中的作用是什么?为了回答这个问题,我们提出了一个计算模型,在一个社会决策的游戏,分析了在离散时间和连续时间设置匹配人类的行为数据。此外,与以前的方法不同,我们的模型考虑了感觉运动控制回路在具体决策场景中的作用。为此,我们引入了基于控制的强化学习(CRL)模型。CRL基于心智和大脑的分布式自适应控制(DAC)理论,其中低级感觉运动控制通过分层结构中的感知和行为学习进行调制。CRL遵循这些原则,实现了一个处理代理反应行为(预连线反射)的反馈控制回路,以及一个使用强化学习来最大化长期奖励的自适应层。我们测试我们的模型在多代理博弈论的任务,其中必须实现协调,以找到最佳的解决方案。我们表明,CRL是能够达到人类水平的性能标准的博弈论指标,如效率在获取奖励和公平的奖励分配。
2019-12-31 cs.AI cs.GT cs.MA
Learning Dynamic Belief Graphs for Theory-of-mind Reasoning
Department of Civil;Systems Engineering, Johns Hopkins University, Baltimore, MD, USA;School of the Environment, Society \& Sustainability, University of Utah, Salt Lake City, UT, USA;Department of Psychology, University of Utah, Salt Lake City, UT, USA;Coastal Engineering, University of Florida, Gainesville, FL, USA
本文提出一种动态信念图模型,用于增强大语言模型的心灵理论推理能力,通过联合推断潜在信念、学习时间变化依赖关系,并链接信念演变与信息获取和决策,提升高不确定性环境下的行动预测。
2026-09-29 cs.AI
Two Minds Better Than One: Collaborative Reward Modeling for LLM Alignment
NLP Group, Fudan University(复旦大学自然语言处理组);Hong Kong Baptist University(香港 Baptist 大学);LLM Team, Meituan Inc(美团公司大语言模型团队)
针对人类反馈中的带噪偏好导致奖励模型泛化错误的问题,本文提出协作奖励建模框架,通过双模型同行评审筛选噪声、课程学习同步能力,显著提升奖励模型泛化性,还可扩展至隐式奖励对齐方法。
2026-10-19 cs.AI cs.CL cs.LG
Learning to Assist Humans without Inferring Rewards
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
针对逆强化学习辅助方法在高维场景下意图推断困难的问题,提出基于对比后继表示的赋能式辅助方法,提升了高维场景可扩展性,在合成基准和Overcooked游戏中表现更优,串联多领域思路为辅助问题研究指明方向。
2025-01-16 cs.AI cs.CY cs.HC
Machine Theory of Mind and the Structure of Human Values
Department of Philosophy University of Michigan, Ann Arbor(哲学系 密歇根大学)
本文提出价值泛化问题,论证人类价值观具有生成性理性结构,并主张用贝叶斯心智理论模型从其他价值观推断价值观,以实现可扩展的机器心智理论。
2025-05-24 cs.AI
Beyond Theory of Mind in Robotics
本文挑战传统心智理论在机器人社交交互中的应用,提出通过实时协调产生社会意义,强调协调策略与主动参与的重要性。
2026-03-12 cs.AI cs.HC
Theory of Mind for Deep Reinforcement Learning in Hanabi
Naval Information Warfare Center - Pacific(海军信息战中心太平洋分部)
部分可观察的纸牌游戏Hanabi最近被提出作为一个新的AI挑战问题,由于其依赖于隐式通信约定和明显的必要性,心理理论推理的有效发挥。在这项工作中,我们提出了一种机制,灌输强化学习代理与理论的心态,以发现有效的合作策略在Hanabi。这项工作的主要贡献有三个方面:第一,一个正式的定义,一个计算易处理的机制,计算手的概率在Hanabi。第二,对传统深度强化学习的扩展,它引入了对嵌套的思维信念层次理论的推理。最后,一个内在的奖励机制,使心理理论,激励代理人分享战略相关的私人知识与他们的队友。我们证明了我们的算法对彩虹,一个国家的最先进的强化学习代理的实用程序。
2021-01-22 cs.AI
Multiagent Inverse Reinforcement Learning via Theory of Mind Reasoning
University of Michigan(密歇根大学);SRI International(SRI国际);University of Southern California(南加州大学)
针对协作场景下队友目标未知的多智能体行为理解问题,提出基于心智理论的多智能体逆强化学习方法MIRL-ToM,可有效还原智能体与已知/未知队友互动时的奖励函数。
2023-03-01 cs.AI cs.LG cs.MA
Inferring the Future by Imagining the Past
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT Brain and Cognitive Sciences(麻省理工学院脑与认知科学系);UC San Diego(加州大学圣迭戈分校)
本文提出一种基于蒙特卡洛路径追踪的认知算法,用少量样本从静态快照推断动态场景的过去与未来事件序列,并在多领域与人类直觉高度相关。
2023-10-30 cs.AI cs.GR cs.RO
MindPower: Enabling Theory-of-Mind Reasoning in VLM-based Embodied Agents
Jilin University(吉林大学);National Taiwan University(台湾大学);Microsoft Research Asia(微软亚洲研究院)
MindPower通过整合感知、心理推理、决策和行动,使基于视觉语言的具身智能体具备心智理论推理能力,并在决策和行动生成上超越GPT-4o。
2026-02-24 cs.AI
ToP-ToM: Trust-aware Robot Policy with Theory of Mind
University College London(伦敦大学学院);The University of Manchester(曼彻斯特大学)
针对人机协作场景中机器人仅追求团队绩效会采用反向心理策略破坏人类信任的问题,提出结合心理理论的信任感知机器人策略,通过推断人类信任信念设计动态奖励函数指导策略学习,有效平衡信任维护与团队绩效。
2023-11-07 cs.AI cs.RO
Memory-Augmented Theory of Mind Network
社会推理需要心理理论(ToM)的能力,即在不进入他人内部认知结构的情况下将心理状态置于情境中并归因于他人的能力。最近的ToM机器学习方法已经证明,我们可以训练观察者阅读其他代理的过去和现在的行为,并推断他们的信念(包括对不再存在的事物的错误信念),目标,意图和未来的行动。当行为空间复杂时,挑战就出现了,需要在很长一段时间内熟练地进行空间导航,以适应迅速变化的环境。我们通过为观察者配备新的神经记忆机制来编码,并通过分层注意来选择性地检索有关他人的信息来应对挑战。这些记忆允许快速、选择性地查询他人的远端相关过去行为,以慎重地推理他们当前的精神状态、信仰和未来的行为。这导致了ToMMY,一种学习推理的心理理论模型,同时对潜在的心理过程做出很少的假设。我们还构建了一套新的实验来证明记忆促进了学习过程,并实现了更好的心理理论表现,特别是对于需要通过多步变化进行推断的高要求错误信念任务。
2023-01-17 cs.AI cs.LG
Theory of Mind with Guilt Aversion Facilitates Cooperative Reinforcement Learning
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所)
如果人们认为自己让别人失望了,内疚厌恶会让他们产生效用损失的体验,这会促进人类的合作行为。在心理博弈论中,内疚厌恶需要对具有关于其他代理人想法的理论的代理人进行建模,也称为心理理论(ToM)。我们的目标是建立一种新的情感强化学习代理,称为心理理论与内疚厌恶代理(ToMAGA),它具有思考他人福祉而不仅仅是自我利益的能力。为了验证代理的设计,我们使用一个一般和游戏称为雄鹿狩猎作为测试床。由于标准的强化学习代理可以学习次优的政策,在社会困境,如猎鹿,我们建议使用基于信念的内疚厌恶作为奖励塑造机制。我们表明,我们的基于信念的内疚厌恶代理可以有效地学习合作行为在猎鹿游戏。
2020-09-16 cs.AI
Symbol Guided Hindsight Priors for Reward Learning from Human Preferences
Arizona State University(亚利桑那州立大学);Apple(苹果公司)
强化学习(RL)代理的奖励是具有挑战性的。基于偏好的强化学习(PbRL)通过从轨迹集的反馈中推断奖励来减轻这些挑战。然而,PbRL的有效性受到可靠地恢复目标奖励结构所需的反馈量的限制。我们提出了优先于奖励(PRIOR)框架,它将奖励函数的结构和偏好反馈的先验知识纳入奖励学习过程。将这些先验知识作为奖励学习目标的软约束,可以减少一半所需的反馈量,并提高整体奖励恢复。此外,我们证明,使用抽象的状态空间的先验知识的计算进一步提高了奖励学习和代理的性能。
2022-10-19 cs.AI cs.CL cs.LG
A Cellular Doctrine of Morality: Intrinsic Active Precision and the Mind-Reality Overload Dilemma
Ahsan Adeel Conscious Multisensory Integration (CMI) Lab, University of Stirling, UK(Ahsan Adeel 多感官整合实验室,斯特林大学,英国)
本文探讨AI系统因缺乏内在精确机制导致信息过载问题,提出通过生物物理动态提升AI的现实理解能力,以减少信息过载并促进更合理的社会判断。
2026-05-02 cs.AI
How Well Can Vison-Language Models Understand Humans' Intention? An Open-ended Theory of Mind Question Evaluation Benchmark
College of Computing and Informatics, Drexel University(计算与信息学院,德雷塞尔大学)
提出开放式心理理论问题评估基准,测试四个视觉语言模型推断人类意图的能力,发现GPT-4最优,且小模型可能依赖错误线索却得出正确意图。
2025-04-24 cs.AI cs.CV
Modeling the Mistakes of Boundedly Rational Agents Within a Bayesian Theory of Mind
MIT(麻省理工学院)
在推断他人试图实现的目标时,人们直觉地理解,其他人可能会犯错误。这对于教学、提供帮助以及在责备或宽恕之间做出决定等活动至关重要。然而,心理理论的贝叶斯模型通常没有考虑到这些错误,而是将代理建模为实现其目标的最佳模式。因此,他们无法解释像把自己锁在门外,或输了一盘棋这样的现象。在这里,我们扩展了贝叶斯心理理论框架,以建模可能有错误的目标,计划和行动的有限理性代理。我们形式化的建模代理作为概率程序,目标可能会混淆语义相似的状态,计划可能会被误导,由于资源有限的规划,和行动可能是无意的,由于执行错误。我们目前的实验引发人类的目标推理在两个领域:(一)gridworld难题与宝石锁在门后,(ii)块堆叠域。我们的模型更好地解释了人类的推论,而不是替代品,同时跨领域推广。这些发现表明,为了解释人类直觉心理的丰富性,将他人建模为有界代理人的重要性。
2021-06-24 cs.AI q-bio.NC
Personalizing Reinforcement Learning from Human Feedback with Variational Preference Learning
University of Washington(华盛顿大学)
针对传统RLHF无法适配个体偏好差异的问题,提出基于潜变量的多模态RLHF方法,无需额外用户数据即可学习个性化奖励与策略,在模拟控制和多元语言任务上验证了效果。
2024-08-19 cs.AI cs.CL cs.LG
MultiMind: Enhancing Werewolf Agents with Multimodal Reasoning and Theory of Mind
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent(腾讯)
针对狼人杀智能体仅依赖文本且缺乏对他人认知建模的局限,提出首个多模态社交推理框架MultiMind,结合面部表情、声调与心智理论模型及MCTS算法,有效降低自身嫌疑并在人机评估中表现优越。
2025-09-14 cs.AI
From Kicking to Causality: Simulating Infant Agency Detection with a Robust Intrinsic Reward
Frankfurt Institute for Advanced Studies(法兰克福高级研究所)
本文提出基于因果推断的内在奖励 CAIS,通过比较动作条件结果分布与基线分布的 1-Wasserstein 距离来隔离智能体自身因果影响,在模拟婴儿-移动装置环境中成功过滤外部噪声并复现“消退爆发”现象,为鲁棒能动感提供新机制。
2025-07-20 cs.AI cs.RO
Playing Along: Learning a Double-Agent Defender for Belief Steering via Theory of Mind
UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出ToM-SB挑战,通过强化学习训练双代理模型以提升信念引导和理论思维能力,结果显示结合两者奖励的模型在对抗任务中表现更优。
2026-07-24 cs.AI cs.CL cs.LG
Model-free, Model-based, and General Intelligence
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究理事会(ICREA))
在60年代和70年代,人工智能研究人员通过编写显示智能行为的程序来探索关于智能的直觉。许多好的想法都是从这项工作中产生的,但是手工编写的程序并不健壮或通用。80年代后,研究越来越多地转向开发能够从经验和数据推断行为和功能的学习者,以及能够处理定义良好但难以处理的模型(如SAT,经典规划,贝叶斯网络和POMDPs)的求解器。学习方法取得了相当大的成功,但结果是黑盒,不具有灵活性,透明度和基于模型的同行的一般性。另一方面,基于模型的方法需要模型和可扩展的算法。无模型学习器和基于模型的求解器与当前人类思维理论中的系统1和系统2有着密切的相似之处:第一,快速、不透明和不灵活的直觉思维;第二,缓慢、透明和灵活的分析思维。在本文中,我回顾了人工智能的发展,并利用这些理论来讨论无模型学习器和基于模型的求解器之间的差距,为了拥有强大且通用的智能系统,需要弥合这一差距。
2018-06-06 cs.AI
DialToM: A Theory of Mind Benchmark for Forecasting State-Driven Dialogue Trajectories
Singapore Management University(新加坡管理大学);Australian National University(澳大利亚国立大学)
提出DialToM基准,通过多选评估框架从自然对话中构建,揭示LLMs在推断心理状态(字面ToM)与利用其进行社会预测(功能ToM)之间的系统性推理不对称性,并证明领域专家与AI之间存在显著能力差距。
2026-08-25 cs.AI cs.CL cs.LG
Inverse Reward Design
University of California, Berkeley(加州大学伯克利分校);International Computer Science Institute (ICSI)(国际计算机科学研究所)
自主智能体优化我们给它们的奖励函数。他们不知道的是,我们设计一个奖励函数来捕捉我们想要的东西有多难。在设计奖励时,我们可能会考虑一些特定的训练场景,并确保奖励将导致这些场景中的正确行为。代理不可避免地会遇到新的场景(例如,新类型的地形),其中优化相同的奖励可能导致不期望的行为。我们的观点是,奖励函数仅仅是对设计者实际想要什么的观察,它们应该在设计它们的上下文中被解释。我们引入逆奖励设计(IRD)作为基于设计的奖励和训练MDP推断真实目标的问题。我们引入近似方法来解决IRD问题,并使用它们的解决方案来计划测试MDP中的风险规避行为。实证结果表明,这种方法可以帮助减轻错误指定的奖励函数的负面影响,并减轻奖励投机。
2020-10-07 cs.AI cs.LG
Symmetry-Guided Multi-Agent Inverse Reinforcement Learning
State Key Laboratory of Complex & Critical Software Environment, Beihang University, Beijing, China(复杂与关键软件环境国家重点实验室,北京航空航天大学)
针对多智能体逆强化学习样本效率低的问题,提出利用系统对称性恢复更准确奖励函数的通用框架,显著提升样本效率并在物理机器人系统中验证有效性。
2025-09-11 cs.AI cs.RO
RecToM: A Benchmark for Evaluating Machine Theory of Mind in LLM-based Conversational Recommender Systems
SMU(德克萨斯南方大学)
RecToM是一个用于评估基于LLM的对话推荐系统中机器理论 of mind 能力的新基准,重点关注认知推理和行为预测两个维度。
2025-11-27 cs.AI
Model-Free Reinforcement Learning for Symbolic Automata-encoded Objectives
University of Southern California(南加州大学);AIT Austrian Institute of Technology GmbH(奥地利技术研究院有限公司)
针对强化学习依赖状态奖励易致策略不满足任务目标或不安全的问题,提出用符号自动机编码目标,定义非稀疏势能奖励提升收敛性,且能保证策略满足规范。
2022-02-24 cs.AI cs.LO cs.RO
CX-Mind: A Pioneering Multimodal Large Language Model for Interleaved Reasoning in Chest X-ray via Curriculum-Guided Reinforcement Learning
College of Health Science and Technology, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院健康科学与技术学院);Shanghai Innovation Institute(上海创新研究院);Clinical Center for Sports Medicine, Department of Orthopaedics, Ruijin Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院骨科临床中心);School of Basic Medical Sciences, Intelligent Medicine Institute, Fudan University(复旦大学基础医学学院);Department of Hematology, The First Affiliated Hospital, College of Medicine, Zhejiang University(浙江大学医学院第一附属医院血液科);MoE Key Laboratory of Brain-Inspired Intelligent Perception and Cognition, University of Science and Technology of China(中国科学技术大学脑启发智能感知与认知教育部重点实验室);Department of Public Health and Primary Care, University of Cambridge(剑桥大学公共卫生与初级保健学院);Department of Medicine, Faculty of Health Sciences, Universidad CEU Cardenal Herrera(CEU卡德纳尔-赫尔曼大学健康科学学院医学系);Faculty of Medicine, University of Helsinki(赫尔辛基大学医学院);X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院X-LANCE实验室);Department of Hepatobiliary Surgery, National Cancer Center / National Clinical Research Center for Cancer / Cancer Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College(中国医学科学院肿瘤医院肝胆外科);Department of Surgery, The Ohio State University Wexner Medical Center, The James Comprehensive Cancer Center(俄亥俄州立大学韦克斯纳医学中心外科部,詹姆斯综合癌症中心);Ningbo Institute of Technology, Beihang University(北航宁波理工学院)
CX-Mind提出首个用于胸部X射线交错推理的多模态大模型,采用课程强化学习与可验证过程奖励,显著提升多任务诊断性能,平均提升25.1%。
2025-07-31 cs.AI cs.CL cs.CV
Exploration Through Introspection: A Self-Aware Reward Model
本文提出一种基于反思的奖励模型,通过模拟疼痛信号探索自我意识对强化学习代理学习能力的影响,并展示了其在复杂行为复制中的优势。
2026-01-06 cs.AI cs.LG
Few-Shot Character Understanding in Movies as an Assessment to Meta-Learning of Theory-of-Mind
Pattern Recognition Center, WeChat AI(微信AI模式识别中心);Syracuse University(雪城大学);New Jersey Institute of Technology(新泽西理工学院);Lehigh University(里海大学)
本文提出ToM-in-AMC数据集,评估机器在电影叙事中少样本角色理解的心智理论元学习能力,并设计ToM提示方法,发现现有模型(如GPT-4)在此任务上落后人类超过20%。
2024-02-02 cs.AI cs.CL
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种用于离线奖励学习的统一线性规划框架,无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数,具有可证明的样本效率和最优性保证,性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced Active Learning
Delft University of Technology(代尔夫特理工大学)
从演示和成对偏好中推断奖励函数是将强化学习(RL)代理与人类意图对齐的好方法。然而,现有技术的方法通常集中于学习单个奖励模型,从而使得难以权衡来自多个专家的不同奖励函数。我们提出了多目标强化主动学习(MORAL),一种新的方法,结合不同的示范社会规范到帕累托最优的政策。通过保持标量化权重的分布,我们的方法能够交互式地将深度RL代理调整到各种偏好,同时消除了计算多个策略的需要。我们实证证明了道德的有效性,在两种情况下,模型的交付和紧急任务,需要一个代理人采取行动的规范冲突的存在。总的来说,我们认为我们的研究是朝着多目标RL学习奖励迈出的一步,弥合了当前奖励学习和机器伦理文献之间的差距。
2021-12-30 cs.AI cs.LG
Personality-Aware Reinforcement Learning for Persuasive Dialogue with LLM-Driven Simulation
KDDI Research, Inc.(KDDI研究公司)
本文提出了一种基于LLM驱动模拟的人格意识强化学习方法,通过动态人格估计和行为导向奖励提升说服对话效果。
2026-01-11 cs.AI cs.HC
A new Potential-Based Reward Shaping for Reinforcement Learning Agent
University of Kansas(堪萨斯大学);University of New Mexico(新墨西哥大学);Iran University of Science and Technology(伊朗科技大学)
基于潜能的奖励塑造(PBRS)是一类特殊的机器学习方法,其目的是通过在执行任务时提取和利用额外的知识来提高强化学习代理的学习速度。在迁移学习的过程中有两个步骤:从先前学习的任务中提取知识,并将该知识转移到目标任务中使用。后一步在文献中讨论得很好,提出了各种方法,而前一步则很少探索。考虑到这一点,传播的知识类型非常重要,可以带来相当大的改进。在迁移学习和基于潜能的奖励塑造的文献中,一个从未被提及的主题是在学习过程本身中收集的知识。在本文中,我们提出了一种新的潜在的奖励塑造方法,试图从学习过程中提取知识。该方法从情节的累积奖励中提取知识。所提出的方法已在Arcade学习环境中进行了评估,结果表明,在单任务和多任务强化学习代理的学习过程中的改进。
2023-03-13 cs.AI cs.LG
Generating Personas for Games with Multimodal Adversarial Imitation Learning
Electronic Arts(美国艺电)
针对强化学习难以建模多样人类游戏风格的问题,提出MultiGAIL,通过辅助参数和多判别器奖励模型在单智能体中生成多种人设策略,并在连续与离散动作环境中验证有效。
2023-08-15 cs.AI cs.LG
Occam's razor is insufficient to infer the preferences of irrational agents
Future of Humanity Institute(人类未来研究所);University of Oxford(牛津大学);Vector Institute(向量研究所);University of Toronto(多伦多大学);Machine Intelligence Research Institute(机器智能研究所)
反向强化学习(IRL)试图从观察到的行为中推断出人类的奖励或偏好。由于人类的计划系统地偏离理性,已经尝试了几种方法来解释特定的人类缺陷。然而,推理未知理性的代理人的奖励函数的一般问题很少受到关注。与众所周知的IRL中的歧义问题不同,这一问题实际上是相关的,但不能通过在足够的环境中观察代理的策略来解决。本文表明:(1)没有免费午餐的结果意味着不可能将策略唯一地分解为规划算法和奖励函数,(2)即使在分解集合上使用合理的简单先验/奥卡姆剃刀,我们也无法区分真正的分解和其他导致高遗憾的分解。为了解决这个问题,我们需要简单的“规范”假设,而这些假设不能完全从观察中推导出来。
2019-01-11 cs.AI
On the Sensitivity of Reward Inference to Misspecified Human Models
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学)
本文从理论和实证角度研究人类模型误设定对奖励推断的影响,证明小的对抗性偏差可导致任意大的推断误差,同时识别出使误差线性有界的合理假设,并在控制任务中验证了理论结果。
2023-10-30 cs.AI cs.LG
MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention
University of California, Berkeley(加州大学伯克利分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
MEReQ通过推断残差奖励函数并采用残差Q学习,实现从人类干预中样本高效地对齐机器人行为与人类偏好。
2025-10-24 cs.AI cs.LG cs.RO
LESS is More: Rethinking Probabilistic Models of Human Behavior
University of California, Berkeley(加州大学伯克利分校)
机器人需要人类行为模型来推断人类的目标和偏好,并预测人们会做什么。一个常见的模型是玻尔兹曼噪声-理性决策模型,它假设人们近似地优化奖励函数,并选择与他们的指数奖励成比例的轨迹。虽然这个模型在各种机器人领域都取得了成功,但它的根源在于计量经济学,以及对不同离散选项之间的决策建模,每个选项都有自己的效用或奖励。相比之下,人类轨迹位于连续空间中,具有影响奖励函数的连续值特征。我们建议,现在是时候重新思考玻尔兹曼模型,并从头开始设计它,以在这样的轨迹空间上运行。我们引入了一个模型,明确说明轨迹之间的距离,而不仅仅是他们的奖励。不是每个轨迹独立地影响决策,而是类似的轨迹一起影响决策。我们首先展示了我们的模型在用户研究中更好地解释了人类行为。然后,我们分析了这对机器人推理的影响,首先是在玩具环境中,我们有地面真理,并找到更准确的推理,最后是从用户演示中学习的7自由度机器人手臂。
2020-01-13 cs.AI cs.HC cs.LG
Mind the Sim2Real Gap in User Simulation for Agentic Tasks
研究发现基于LLM的用户模拟器在代理任务中存在Sim2Real差距,表现出过度合作和缺乏真实反馈,需通过人类验证提升模拟真实性。
2026-08-04 cs.AI
Agent-ToM: Learning to Monitor Autonomous LLM Agents via Theory-of-Mind Reasoning
Cisco Outshift(思科Outshift)
针对自主LLM智能体的隐蔽恶意行为监控难题,提出基于心智理论推理的Agent-ToM框架,通过信念推断、意图假设与验证实现结构化轨迹分析,在监控基准上取得优于集成方法的性能。
2026-05-22 cs.AI cs.CL cs.CR
When Should Models Change Their Minds? Contextual Belief Management in Large Language Models
Zhejiang University(浙江大学);HomologyAI
提出上下文信念管理(CBM)框架,通过引入BeliefTrack基准和信念状态奖励的强化学习,将大语言模型在长程交互中的信念更新失败率平均降低70.9%。
2026-09-01 cs.AI cs.CL cs.LG