Stochastic Reinforcement Learning
Victoria University（维多利亚大学）；Hong Kong Baptist University（香港浸会大学）；University of California, San Diego（加州大学圣地亚哥分校）
在强化学习中，奖励和惩罚通常是不确定的，并且总是有随机因素控制潜在的情况。这种随机因素往往很多，无法事先知道，而且它们往往会掩盖潜在的奖惩模式。事实上，如果没有随机因素，每次都会出现相同的结果，所涉及的学习问题可以大大简化。此外，在大多数实际情况下，观察获得奖励或惩罚的成本可能很大，人们希望通过产生最小成本来得出正确的学习结论。在本文中，我们提出了一个随机的方法来强化学习，明确建模的变化存在于学习环境和观察的成本。定量地分析了学习成功的准则和规则，并得到了超过观测成本界的概率。
2019-02-11 cs.AI cs.LG stat.ML
Mediating Artificial Intelligence Developments through Negative and Positive Incentives
Teesside University（提赛德大学）；NOVA Laboratory for Computer Science and Informatics (NOVA LINCS)（NOVA计算机科学与信息学实验室（NOVA LINCS））；Universidade Nova de Lisboa（里斯本新大学）；Université Libre de Bruxelles（布鲁塞尔自由大学（法语区））；Vrije Universiteit Brussel（布鲁塞尔自由大学（荷语区））；INESC-ID（系统与计算机工程、科学与发展研究所）；Instituto Superior Tecnico（高等技术学院）；Universidade de Lisboa（里斯本大学）
人工智能（AI）领域正在经历一个充满期待的时期，在研究，商业和政策方面引入了一定程度的焦虑。这种焦虑进一步被人工智能种族的叙述所激发，使人们相信他们可能会错过。不管是真是假，相信这种说法可能是有害的，因为一些持牌人会觉得有必要在安全预防措施上走捷径，或者为了“赢”而忽视社会后果。从一个基线模型开始，该模型描述了一个广泛的技术竞赛类别，其中获胜者与其他人相比（如人工智能进步，专利竞赛，制药技术）获得了显着的利益，我们在这里研究了积极（奖励）和消极（惩罚）激励如何有益地影响结果。我们发现的条件下，惩罚是能够降低不安全的参与者的发展速度，或有能力通过过度监管，以减少创新。或者，我们表明，在几种情况下，奖励那些遵循安全措施可能会增加开发速度，同时确保安全的选择。此外，在后一种制度中，奖励不像惩罚那样受到过度监管的影响。总的来说，我们的研究结果提供了有价值的见解的性质和种类的监管行动最适合提高安全合规性的背景下顺利和突然的技术转变。
2020-10-01 cs.AI cs.MA math.DS
Automated Reward Design for Gran Turismo
Mila, University of Montreal（蒙特利尔大学Mila）；Turing Inc.（图灵公司）；Sony AI（索尼人工智能）；Sony AI, UT Austin（索尼人工智能、得克萨斯大学奥斯汀分校）
本文提出一种结合 LLM 奖励生成、VLM 偏好评估与人类反馈的自动奖励设计方法，为 Gran Turismo 7 生成媲美冠军级智能体 GT Sophy 的赛车 RL 智能体，推进了现实世界应用。
2025-11-03 cs.AI
Intervention Complexity as a Canonical Reward and a Measure of Intelligence
School of Computing University of Otago（计算学院奥塔哥大学）
本文提出干预复杂性作为智能的规范度量，具有环境衍生性、普遍性、最小性、敏感性和成就偏好等性质，通过资源函数定义通用奖励，并探讨智能的双维度表征及计算可性。
2026-05-09 cs.AI
Coordinated incentives in AI-generated misinformation governance
Southwest University（西南大学）；University of Maribor（马里博尔大学）；Community Healthcare Center Dr. Adolf Drolc Maribor（阿道夫·德罗尔茨博士马里博尔社区医疗中心）；Korea University（高丽大学）；Kyung Hee University（庆熙大学）；Centre for Energy Research（能源研究中心）
本研究通过三方演化博弈模型发现，仅靠单边监管或市场激励无法遏制AI生成虚假信息，需协同监管奖惩、企业声誉损失及用户激励的政策组合实现有效治理。
2026-08-14 cs.AI physics.soc-ph
Universal Empathy and Ethical Bias for Artificial General Intelligence
AIDEUS；National Research University of Information Technology, Mechanics and Optics（国立信息技术、机械与光学大学）；Aix Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
理性代理通常是为了最大化回报而构建的。然而，AGI代理可以找到不受欢迎的方式来最大化任何先验奖励函数。因此，价值学习对于安全的AGI至关重要。我们假设世界的广义状态是有价值的-而不是奖励本身，并提出了AIXI的扩展，其中奖励仅用于引导分层值学习。修改后的AIXI代理被认为是在多代理环境中，其中其他代理可以是人类或其他“成熟”代理，这些值应该被“婴儿”AGI代理揭示和采用。作为通用智能模型的扩展，提出了设计这种具有道德偏见的移情代理的一般框架。此外，我们在简单的马尔可夫环境中进行了实验，证明了我们的方法在安全AGI中进行价值学习的可行性。
2013-08-03 cs.AI
Scalar reward is not enough: A response to Silver, Singh, Precup and Sutton (2021)
Center for Translational Neuroscience, University of Oregon（俄勒冈大学转化神经科学中心）；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；AI Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；HU University of Applied Sciences Utrecht（乌得勒支应用科学大学）；Universiteit Hasselt（哈瑟尔特大学）；Katholieke Universiteit Leuven（鲁汶天主教大学）；Deakin University（迪肯大学）；Federation University Australia（澳大利亚联邦大学）；Linköping University（林雪平大学）；National University of Ireland Galway（爱尔兰国立高威大学）
西尔弗、辛格、普雷卡普和萨顿最近发表的论文《奖励就足够了》认为，奖励最大化的概念足以支撑所有的智能，包括自然智能和人工智能。我们质疑Silver等人的基本假设，即这种奖励可以是标量值的。在本文中，我们解释了为什么标量奖励不足以解释生物和计算智能的某些方面，并主张明确多目标模型的奖励最大化。此外，我们认为，即使标量奖励函数可以在特定情况下触发智能行为，由于不安全或不道德行为的不可接受的风险，使用这种方法来开发人工通用智能仍然是不可取的。
2021-11-25 cs.AI
Reward is not enough: can we liberate AI from the reinforcement learning paradigm?
Stanford（斯坦福大学）
本文反驳奖励最大化足以解释智能的观点，指出强化学习范式不完整，并强调其对开发安全稳健AI的深远影响。
2024-11-11 cs.AI
Mega-Reward: Achieving Human-Level Play without Extrinsic Rewards
University of Oxford（牛津大学）；Beihang University（北京航空航天大学）；Hebei University of Technology（河北工业大学）
内在奖励被引入来模拟人类智力的工作方式;它们通常通过内在动机的游戏来评估，即，玩没有外在奖励但有外在奖励评估的游戏。然而，没有一个现有的内在奖励方法可以实现人类水平的性能下，这个非常具有挑战性的设置内在动机的发挥。在这项工作中，我们提出了一种新的自大驱动的内在奖励（称为mega-reward），据我们所知，这是第一种在内在动机游戏中实现人类水平表现的方法。直觉上，超级奖励来自于观察到婴儿的智力发展，当他们试图获得更多的控制实体在一个环境中;因此，超级奖励的目的是最大限度地提高控制能力的代理人对给定的实体在一个给定的环境。为了形式化大奖励，提出了一个关系转换模型，以弥合直接和潜在控制之间的差距。实验研究表明，超级奖励（i）可以大大优于所有最先进的内在奖励方法，（ii）通常达到与Ex-PPO和专业人类水平分数相同的性能水平，（iii）当与外在奖励结合时，也具有优越的性能。
2019-11-27 cs.AI
Learning Human Rewards by Inferring Their Latent Intelligence Levels in Multi-Agent Games: A Theory-of-Mind Approach with Application to Driving Data
University of California, Berkeley（加利福尼亚大学伯克利分校）
奖励函数作为一种识别人的能动性并使人的行为合理化的激励表示方法，在人机交互中对人的行为建模具有重要意义。逆强化学习是从演示中获取奖励函数的有效方法。然而，将其应用于多智能体环境时一直具有挑战性，因为智能体之间的相互影响必须进行适当的建模。为了应对这一挑战，以前的工作要么利用均衡解决方案的概念，假设人类是完全理性的优化与无限的智慧或预先分配人类的互动策略先验。在这项工作中，我们主张，人类是有限理性的，并有不同的智力水平时，推理别人的决策过程中，这样一个内在的和潜在的特点，应占奖励学习算法。因此，我们利用这样的见解，从理论的心灵，并提出了一个新的多智能体逆强化学习框架，原因人类的潜在智力水平在学习过程中。我们验证了我们的方法在零和和一般和游戏与合成代理，并说明了一个实际的应用程序来学习人类司机的奖励功能，从真实的驾驶数据。我们比较我们的方法与两个基线算法。实验结果表明，通过对人类潜在智力水平的推理，该方法具有更大的灵活性，能够更好地提取出解释人类驾驶行为的奖励函数。
2021-03-07 cs.AI cs.RO
Intelligence and Unambitiousness Using Algorithmic Information Theory
Oxford University（牛津大学）；University of Cincinnati（辛辛那提大学）；Australian National University（澳大利亚国立大学）
数学信息论启发了一般智能（AGI）的难以处理的构造，并且未发现的易于处理的近似可能是可行的。强化学习（RL）是智能体学习解决任意可解问题的主导范式，它给了智能体一个危险的激励：获得任意的“权力”，以便干预他们自己的奖励。我们回顾了一般智能算法信息理论强化学习器（如Hutter（2005）AIXI）将寻求任意权力的论点，包括我们。然后，使用信息理论的探索时间表，和因果影响理论的启发设置，我们提出了一个变体的AIXI学会不寻求任意的权力，我们称之为“无野心”。我们表明，我们的代理学习获得奖励至少以及一个人类导师，而依赖于该导师的概率递减。并给出了一个正式的假设，我们探测经验，我们表明，最终，代理人的世界模型包含以下真实的事实：干预“外部世界”将不会对奖励获取的影响，因此，它没有激励塑造外部世界。
2021-05-13 cs.AI
Universal Agent Mixtures and the Geometry of Intelligence
Australian National University（澳大利亚国立大学）；WooliesX（沃利克斯公司）；DeepMind（深度思维公司）；The U.S. Securities and Exchange Commission（美国证券交易委员会）
本研究引入加权混合运算探究通用智能体的集体智能行为，推导了揭示RL智能体智能几何特性的新定理，并证明满足弱条件的跨环境平均表现智能度量等价于单一环境中的表现。
2023-02-13 cs.AI
Intelligence via ultrafilters: structural properties of some intelligence comparators of deterministic Legg-Hutter agents
The U.S. Securities and Exchange Commission（美国证券交易委员会）
Legg和Hutter，以及后来的作者，通过与奖励环境的互动来考虑智能代理，试图为这些代理分配数字智能措施，指导原则是更聪明的代理应该从环境中获得更高的奖励。在本文中，我们考虑一个相关的问题：而不是测量一个Legg-Hutter代理的数字智能，我们如何比较两个Legg-Hutter代理的相对智能？我们提出了一个优雅的答案基于以下见解：我们可以在选举中，其选民的环境，让每个环境投票（通过其奖励）代理（如果有的话）是更聪明的候选人Legg-Hutter代理。这导致了一个抽象的比较器族，它足够简单，以至于我们可以证明关于它们的一些结构定理。这些结构定理是否适用于更实际的智力测量，这是一个悬而未决的问题。
2019-11-16 cs.AI cs.MA
SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation
MMLab, CUHK（香港中文大学多媒体实验室）；THU（清华大学）；HKU（香港大学）；PKU（北京大学）；NTU（南洋理工大学）；CASIA（中国科学院自动化研究所）；ECNU（华东师范大学）；HIT（哈尔滨工业大学）；LMU（慕尼黑大学）
针对多模态搜索智能体多跳推理的挑战，提出SearchEyes，用类型化知识图谱构建模拟搜索世界，通过感知-知识链采样路径并保留元数据，采用跳锚策略优化，在六个基准测试中取得最优性能。
2026-07-08 cs.AI
GRID: Graph Representation of Intelligence Data for Security Text Knowledge Graph Construction
Arizona State University（亚利桑那州立大学）；Case Western Reserve University（凯斯西储大学）；University of Notre Dame（诺丁汉大学）；TensorBlock；Facebook（脸书）
本文提出GRID框架，通过构建可追溯的文章-图对齐，将文档到图学习转化为剧本任务库，提升安全知识图谱构建的稳定性和效率。
2026-05-15 cs.AI cs.CR
Cooperative Artificial Intelligence
University College London（伦敦大学学院）
在未来，人工学习代理可能会在我们的社会中变得越来越普遍。他们将在各种复杂的环境中与其他学习代理和人类互动，包括社会困境。我们认为，有必要对博弈论和人工智能之间的交叉点进行研究，目标是实现合作的人工智能，可以很好地导航社会困境。我们考虑的问题是，外部代理如何通过观察学习者的行为来分配额外的奖励和惩罚，从而促进人工学习者之间的合作。我们提出了一个规则，自动学习如何通过考虑每个代理的预期参数更新创建正确的激励。使用这种学习规则导致在矩阵博弈中具有高社会福利的合作，否则代理将以高概率学习背叛。我们表明，即使在给定的情节数后关闭规划代理，在某些游戏中所产生的合作结果是稳定的，而其他游戏需要持续的干预，以保持相互合作。最后，我们首先反思了多智能体强化学习的目标，并讨论了构建合作AI目标的必要构建模块。
2022-02-20 cs.AI cs.GT cs.MA
A Definition and a Test for Human-Level Artificial Intelligence
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
尽管最近人工智能研究在许多特定应用领域取得了进展，但我们不知道如何构建人类水平的人工智能（HLAI）。我们推测，从他人的语言经验中学习是人类智力区别于其他智力的基本特征。人类可以用口头描述来更新动作-价值函数，就好像他们亲身经历了状态、动作和相应的奖励序列一样。在本文中，我们提出了一个分类的智能根据个人代理如何学习，并提出了一个定义和测试HLAI。其主要思想是，语言习得没有明确的奖励可以是一个足够的测试HLAI。
2022-12-14 cs.AI cs.CL
Toward Human-Level Artificial Intelligence
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
在本文中，我们提出了我们的研究编程人类水平的人工智能（HLAI），包括1）HLAI的定义，2）开发和测试HLAI的环境，和3）的认知体系结构的HLAI。术语AI以广泛的含义使用，HLAI没有明确定义。我认为人类水平智能的本质是通过语言从他人的经验中学习的能力。关键是，语言描述的事件具有相同的效果，就像代理人亲身经历它一样，以更新行为策略。为了开发和测试具有这种能力的模型，我们正在开发一个名为SEDRo的模拟环境。有一个3D家庭，一个母亲角色照顾婴儿（学习代理）并教语言。环境提供了与人类婴儿从出生到一岁的经历相当的经历。最后，我提出了一个认知架构的HLAI称为调制的异质预测记忆（mHPM）。在mHPM中，有三个组件：一个通用模块，它学习预测给定矢量信号序列的下一个矢量，这些模块的异构网络，以及基于奖励的学习调制。mHPM模拟了新皮层的运作，但海马体、奖励系统、本能和杏仁核等先天辅助单位也发挥着关键作用。
2021-08-09 cs.AI
Reward-Driven LLM Agent Workflows: Synthesizing POMDP Routing and Self-Correction for Autonomous Decision-Making
研究针对LLM智能体应用挑战，设计优化工作流程，合成多种AI范式，引入POMDP路由和自我修正奖励模型，整合多模态输入与强化学习原则，实验显示相比主流基线任务成功率等提升24.5%，为自主系统AI技术开发提供参考框架。
2026-07-21 cs.AI
SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution
The University of Hong Kong（香港大学）；Harbin Institute of Technology（哈尔滨工业大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出SAVOIR框架，基于合作博弈理论解决语言代理训练中的信用分配问题，通过预期效用转移和Shapley值实现公平奖励分配，实验显示其在SOTOPIA基准上达到新状态-of-the-art性能。
2026-11-10 cs.AI
Mimicking Evolution with Reinforcement Learning
Instituto Superior de Engenharia de Lisboa（里斯本高等工程学院）；Delft University of Technology（代尔夫特理工大学）
进化在地球上产生了人类和动物的智慧。我们认为，发展人工类人智能的道路将通过在类似自然的模拟中模仿进化过程。在自然界中，有两个过程驱动着大脑的发展：进化和学习。进化是缓慢的，跨越几代人，除其他外，它通过改变其内部奖励功能来定义代理人学习的内容。学习在一个人的一生中迅速发挥作用，它迅速更新代理人的政策，以最大限度地提高快乐，最小化痛苦。通过进化，奖励函数慢慢地与适应度函数一致，然而，随着代理的进化，环境及其适应度函数也发生变化，增加了奖励和适应度之间的不一致。在模拟中复制这两个过程在计算上是极其昂贵的。这项工作提出了通过进化奖励（EvER）的进化，通过确保奖励函数与适应度函数的一致性，允许学习独自驱动搜索具有越来越多的进化适应度的策略。在这个搜索中，EvER利用了代理在其生命周期中经历的整个状态-动作轨迹。相比之下，目前的进化算法丢弃这些信息，从而限制了它们在处理顺序决策问题时的潜在效率。我们在两个简单的生物启发的环境中测试我们的算法，并显示其优越性，在生成更有能力的代理人在生存和繁殖他们的基因相比，一个国家的最先进的进化算法。
2020-05-06 cs.AI
Proof-of-Data: A Consensus Protocol for Collaborative Intelligence
Singapore Management University（新加坡国立管理学院）
针对去中心化联邦学习的信任与激励难题，提出基于新型PoD共识协议的区块链拜占庭容错框架，解耦训练与贡献核算，兼具效率与共识最终性，可抗1/3拜占庭节点，性能接近中心化方案。
2025-10-06 cs.AI cs.CR
Reinforcement Learning with Comparative Evidence for Social Intelligence
MIT（麻省理工学院）；NUS（新加坡国立大学）；Prince Sattam bin Abdulaziz University（沙特国王大学）；University of Cambridge（剑桥大学）；NTU（南洋理工大学）；UBC（不列颠哥伦比亚大学）；DSO National Laboratories（国防科技局国家实验室）；A*STAR（新加坡科技研究局）
针对社交智能训练依赖人工标注且社会预测缺乏验证的问题，提出基于比较证据的强化学习（RLCE），通过构建和聚合证据测试从无标注数据中学习，在四个基准上超越七种无标签方法，最高提升18.93分。
2026-10-06 cs.AI
Mitigating Retaliatory Algorithmic Collusion in Repeated Games
Purdue University（普渡大学）
针对重复博弈中强化学习智能体自发形成的报复性合谋，本文提出CURB框架，通过惩罚策略间的总变差距离信号，将合谋均衡转化为平凡均衡，并在多种博弈中显著减少合谋。
2026-09-18 cs.AI cs.LG
Assessing the Robustness of Intelligence-Driven Reinforcement Learning
University of Brescia（布雷西亚大学）；Cardiff University（卡迪夫大学）
本文研究基于奖励机的智能驱动强化学习在军事噪声环境下的鲁棒性，初步结果提示需进一步研究证据推理与学习以强化现有方法。
2023-11-15 cs.AI cs.CR cs.LG
Orchestrating Rewards in the Era of Intelligence-Driven Commerce
My AI Inc.；School of Natural and Computing Sciences, University of Aberdeen（自然与计算科学学院，阿伯丁大学）；Marshall School of Business, University of Southern California（马歇尔商学院，南加州大学）
本文提出一种混合框架，使品牌在保持主权控制的同时实现跨品牌互操作性，通过信任less交换机制解决传统联盟计划的结构性问题，并推导出数学定价模型以实现公平价值交换。
2025-12-29 cs.AI cs.CY econ.GN
Death and Suicide in Universal Artificial Intelligence
Australian National University（澳大利亚国立大学）
强化学习（RL）是研究智能行为的一般范式，其应用范围从人工智能到心理学和经济学。AIXI是RL问题的通用解决方案;它可以学习任何可计算环境。AIXI的一个技术上的微妙之处在于它是使用和不需要为1的半测度上的混合来定义的，而不是在适当的概率测度上。在这项工作中，我们认为，不足的半测量可以自然地被解释为代理人的估计其死亡的概率。我们正式定义死亡一般智能代理，如AIXI，并证明了一些相关的定理，他们的行为。值得注意的发现包括，代理人的行为可以从根本上改变奖励信号的正线性变换（从自杀到教条式的自我保护），以及代理人的后验信念，它将生存随着时间的推移而增加。
2016-06-02 cs.AI
Reward is not Necessary: How to Create a Modular & Compositional Self-Preserving Agent for Life-Long Learning
University of Minnesota（明尼苏达大学）
本文提出用赋能（empowerment）作为内在动机，通过算子贝尔曼方程实现层次化赋能度量，使终身学习智能体无需奖励即可自我保全并发现有利目标。
2023-11-14 cs.AI cs.LG
Analysis of Algorithms and Partial Algorithms
我们提出了一种替代方法的分析算法，基于预期的折扣奖励的概念。这种方法自然地处理并不总是终止的算法，因此它可以（理论上）与不可判定问题的部分算法一起使用，例如在人工通用智能（AGI）和自动定理证明中发现的算法。我们提到了一种通过这种方法实现自我改进AGI的方法。2017年8月增编：这篇文章最初是考虑到多个受众而写的。最好用下面的话来表达。Goertzel、Hutter、Legg和其他人已经为一般抽象主体的智力评分定义了一个概念：随机环境中的预期终身奖励。根据该评分，AIXI通常是最佳代理，但可能有理由分析其他代理并比较评分值。如果我们想在实践中使用这个智能的定义，也许我们可以从分析一些简单的代理人开始。常见的算法可以被认为是简单的代理（环境是输入，奖励是基于运行时间），所以我们的目标是将代理智能评分应用于算法。也就是说，我们想知道，算法的智商分数是多少？我们可以做一些非常简单的分析，但真正的答案是，即使对于简单的算法，智能分数也很难在实践中使用。
2017-08-07 cs.AI cs.DS
Emergence of Physical Intelligence via Controllable Information Production
Department of Computer Science（计算机科学系）；Texas Tech University（德克萨斯技术大学）
本文提出可控信息生成框架，将内在动机与最优控制统一，揭示价值函数结构与柯莫哥罗夫-辛恩熵的联系，展现物理智能源于可控混沌边缘的驱动。
2026-10-15 cs.AI
SEEA-R1: Tree-Structured Reinforcement Fine-Tuning for Self-Evolving Embodied Agents
Beijing Innovation Center of Humanoid Robotics（人形机器人创新中心）；State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学）
SEEA-R1提出首个面向具身智能体的强化微调框架，通过树结构GRPO和多模态生成奖励模型解决奖励稀疏与泛化问题，在ALFWorld上超越GPT-4o等模型。
2025-10-27 cs.AI
Definition and properties to assess multi-agent environments as social intelligence tests
Universitat Politècnica de València（瓦伦西亚理工大学）
自然和人工系统中的社会智能通常通过评估被认为代表社会行为某些方面的相关特征或任务来衡量。这些特征的融合，然后被用来配置社会智力的直观概念。相反，在本文中，我们从社交智能的参数化定义开始，将其定义为在一组具有多个代理的环境中的预期表现，并从中评估和导出测试。这个定义明确了几个依赖关系：（1）定义取决于选择（和重量）的环境和代理，（2）该定义可以包括竞争行为和合作行为，这取决于代理和奖励如何被安排到团队中，（3）定义主要取决于其他主体的能力，（4）社会智力和一般智力（或其他能力）之间的实际差异取决于这些选择。因此，我们解决这个定义转换成一个更精确的一些基本属性，确保社会行为（如行动和奖励的依赖性和竞争/合作行为的预期）满足以及其他一些更工具性的属性（如secernment，有界性，对称性，有效性，可靠性，效率），这是方便的定义转换成一个实际的测试。从定义和形式化属性出发，我们来看看几个有代表性的多智能体环境、测试和游戏，看看它们是否满足这些属性。
2014-08-27 cs.AI cs.MA
Motif: Intrinsic Motivation from Artificial Intelligence Feedback
Mila（米拉研究所）；FAIR at Meta（Meta人工智能研究院）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；UT Austin（德克萨斯大学奥斯汀分校）
本文提出 Motif，利用 LLM 对成对描述的偏好构建内在奖励以训练强化学习智能体，并在 NetHack 上证明其优于直接分数优化及现有方法。
2023-09-29 cs.AI cs.LG
Bittensor Protocol: The Bitcoin in Decentralized Artificial Intelligence? A Critical and Empirical Analysis
本文通过链上数据实证比较 Bittensor 与比特币，揭示其质押和奖励高度集中且质量与补偿错位，并提出性能加权排放、复合评分、信任加成及质押上限等协议层改进方案。
2025-06-29 cs.AI cs.CR
Reward Tampering Problems and Solutions in Reinforcement Learning: A Causal Influence Diagram Perspective
Google（谷歌公司）
人类能让任意有能力的强化学习（RL）代理来执行他们的命令吗？或者，有足够能力的RL代理总是能找到方法通过缩短奖励信号来绕过他们的预期目标？这个问题影响到RL可以扩展到多大程度，以及是否必须开发替代范式以构建安全的通用人工智能。在本文中，我们研究了当RL代理有一个工具目标篡改其奖励过程，并描述了设计原则，防止工具目标的两种不同类型的奖励篡改（奖励功能篡改和RF输入篡改）。结合起来，设计原则可以防止这两种类型的奖励篡改工具的目标。分析受益于因果影响图，提供直观而精确的形式化。
2021-03-26 cs.AI cs.LG
Average-reward model-free reinforcement learning: a systematic review and literature mapping
University of Queensland（昆士兰大学）；University of Newcastle（纽卡斯尔大学）；International Computer Science Institute（国际计算机科学研究所）
强化学习是人工智能的重要组成部分。在本文中，我们回顾了无模型强化学习，利用平均奖励最优性标准在无限时域设置。受Mahadevan（1996 a）的单独调查的启发，我们提供了这一领域工作的最新回顾，并将其扩展到包括策略迭代和函数逼近方法（除了值迭代和表格对应方法）。我们提出了一个全面的文献映射。我们还确定和讨论未来工作的机会。
2021-08-03 cs.AI cs.LG
Reward-Robust RLHF in LLMs
Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baichuan AI（百川智能）
针对奖励模型不完美导致的奖励黑客和意图不一致问题，提出结合贝叶斯奖励模型集成的奖励鲁棒RLHF框架，通过平衡性能与鲁棒性优化目标，显著提升了LLM对齐的准确性与长期稳定性。
2024-10-16 cs.AI cs.CL cs.LG
Learning to Participate through Trading of Reward Shares
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）
使自主智能体能够合作行动是将人工智能融入我们日常生活的重要一步。虽然有些方法寻求刺激合作，让代理人给别人的奖励，在本文中，我们提出了一个方法的启发，股票市场，代理人有机会参与其他代理人的回报，获得奖励股份。直觉上，一个代理可以学习根据共同利益行事时，直接受到其他代理的奖励。测试的一般和马尔可夫博弈的实证结果表明，这种机制促进独立训练的代理人在社会困境的情况下，合作的政策。此外，如在时间和空间扩展域中所示，参与可以导致角色的发展和代理之间的子任务的划分。
2023-01-18 cs.AI cs.MA
Learning Purposeful Behaviour in the Absence of Rewards
University of Alberta（阿尔伯塔大学）
人工智能通常被定义为在世界上实现目标的能力。在强化学习框架中，目标被编码为指导代理行为的奖励函数，并且观察到的奖励的总和提供了进展的概念。然而，一些域没有这样的奖励信号，或者奖励信号如此稀疏以至于看起来不存在。没有奖励反馈，代理行为通常是随机的，经常漫无目的地抖动，缺乏意图。在本文中，我们提出了一个算法，能够学习有目的的行为在没有奖励。该算法通过构造时间上扩展的动作（选项）来进行，通过识别代理当前行为“刚刚无法达到”的目的。这些目的为智能体建立了学习的内在目标，最终导致一系列行为，鼓励智能体访问状态空间的不同部分。此外，该方法特别适合奖励非常稀疏的环境，此类行为可以帮助探索环境，直到观察到奖励。
2016-05-25 cs.AI cs.LG
Evolving Self-supervised Neural Networks: Autonomous Intelligence from Evolved Self-teaching
University College Dublin（都柏林大学学院）
本文提出了一种称为进化自监督神经网络的技术-神经网络，可以自学，内在激励，没有外部监督或奖励。所提出的方法提出了一些排序的范式转变，并大大不同于传统的基于梯度的学习和进化算法，因为它结合了进化和学习的隐喻，更具体地说，自我学习，在一起，而不是对待这些现象交替。我模拟了一个多智能体系统，其中神经网络被用来控制自主觅食代理领域知识很少。实验结果表明，只有进化的自我监督代理可以表现出某种智能行为，但不是进化或自我学习。还提出了未来工作的指示不断发展的智能。
2019-05-27 cs.AI cs.NE
Explanation through Reward Model Reconciliation using POMDP Tree Search
Department of Aerospace Engineering Sciences, University of Colorado Boulder（科罗拉多大学博尔德分校航空航天工程科学系）；Applied Physics Laboratory, Johns Hopkins University（约翰霍普金斯大学应用物理实验室）
本文通过POMDP树搜索协调算法与用户隐式奖励模型差异，以提升用户对AI系统的信任度。
2023-05-01 cs.AI cs.HC cs.LG
Embedding Contextual Information through Reward Shaping in Multi-Agent Learning: A Case Study from Google Football
Google Research（谷歌研究院）
针对多智能体强化学习的信用分配及稀疏奖励下效率低的问题，提出嵌入上下文信息的奖励塑形方法，经GRF环境实验验证可有效补充前沿MARL算法。
2023-07-21 cs.AI cs.LG
RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents
Tencent（腾讯）
RLVER通过可验证情绪奖励提升LLM的共情能力，实验显示其在对话任务中显著提升表现，尤其在情感理解和洞察力方面成效显著。
2025-07-03 cs.AI cs.CL cs.CY
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile（智利天主教大学）；Vector Institute（向量研究院）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
强化学习是人工智能的核心问题。这个问题包括定义人工代理，可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机（RM）提供奖励函数的结构化的、基于自动机的表示，其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里，我们表明，RM可以从经验中学习，而不是由用户指定，并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题，其目标是找到一个RM，分解成一组子问题的问题，使其最佳的无记忆的政策的组合是一个最佳的政策，为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性，在这些领域中，它的性能显着优于A3 C，PPO和ACER，并讨论了它的优点，局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
Multiparty Dynamics and Failure Modes for Machine Learning and Artificial Intelligence
机器学习和人工智能系统的安全性面临的一个重要挑战是一组相关的故障，涉及规范游戏，奖励投机，脆弱性分布变化，古德哈特或坎贝尔定律。本文提出了其他故障模式的多智能体系统内的相互作用是密切相关的。这些多智能体故障模式比单智能体故障模式更复杂、更有问题、更不容易理解，并且已经发生，但基本上没有被注意到。在以扑克牌人工智能（AI）为例激发讨论之后，本文解释了为什么这些故障模式在某种意义上是不可避免的。在此之后，本文对故障模式进行了分类，提供了定义，并引用了每种模式的示例：意外转向，协调失败，对抗性未对准，输入欺骗和过滤，以及目标共同选择或直接黑客攻击。然后，本文讨论了现有的多智能体人工智能的文献如何未能解决这些故障模式，并确定了可能有助于缓解这些故障模式的工作。
2019-04-14 cs.AI cs.MA
Agent-RewardBench: Towards a Unified Benchmark for Reward Modeling across Perception, Planning, and Safety in Real-World Multimodal Agents
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）
提出Agent-RewardBench基准，通过多维度真实场景、步骤级奖励评估和严格质量控制，评估多模态大模型在智能体任务中的奖励建模能力，发现现有先进模型表现有限，亟需专门训练。
2025-06-26 cs.AI cs.CL
A Conceptual Bio-Inspired Framework for the Evolution of Artificial General Intelligence
Oslo Metropolitan University（奥斯陆城市大学）；Norwegian University of Science and Technology（挪威科技大学）；Simula Metropolitan（西穆拉城市研究院）
在这项工作中，提出了一个概念性的生物启发的并行和分布式学习框架，用于一般智能的出现，其中代理人通过环境奖励进化，并在没有监督的情况下终生学习，即，通过具体化进行自我学习。所选择的代理控制机制是基于脉冲神经网络的生物学上合理的神经元模型。网络拓扑通过演进变得更加复杂，即，拓扑不是固定的，而网络的突触权重不能被继承，即，新生儿的大脑没有经过训练，对环境没有天生的知识。受进化过程影响的是网络拓扑结构、神经元类型和学习类型。这个过程确保了经过几代的控制器在其生命周期内具有在可变环境中学习和适应的内在能力。我们设想，所描述的方法可能会导致最简单形式的人工通用智能的出现。
2020-09-22 cs.AI cs.NE
Intelligence from Learnable Novelty
Allen Discovery Center at Tufts University（塔夫茨大学艾伦发现中心）；Wyss Institute for Biologically Inspired Engineering at Harvard University（哈佛大学威斯生物启发工程研究所）
研究表明可学习新奇性产生智能不同投影，基于廉价可微储层计算机给出闭式估计器。此估计器无监督可恢复复杂度分类，作目标能推动神经细胞自动机发展，作奖励可提升强化学习智能体表现，让智能相关研究有了共同定量基础。
2026-07-22 cs.AI cs.LG nlin.AO
Hierarchical Reward Design from Language: Enhancing Alignment of Agent Behavior with Human Specifications
Rice University（里士大学）
本文提出基于语言的层次奖励设计（HRDL）和语言到层次奖励（L2HR）方法，用于通过人类规范增强智能体行为对齐，提升AI任务完成效果和规范遵守程度。
2026-02-20 cs.AI cs.CL cs.HC
Agent-centric learning: from external reward maximization to internal knowledge curation
针对传统以外部目标为核心的智能体学习易导致缺乏适应性的问题，提出表征赋能的以智能体为中心的学习范式，通过聚焦内部表征衡量智能体维持和丰富知识结构的能力，为自适应智能系统设计提供新视角。
2025-07-29 cs.AI cs.LG cs.SC
Energentic Intelligence: From Self-Sustaining Systems to Enduring Artificial Life
Department of Computer Science University of Basel（计算机科学系 巴塞尔大学）
本文提出能量智能概念，将自维持生存作为自主系统核心目标，通过能量效用函数、生存时域约束和模块化闭环架构，在模拟中实现了无需外部监督的资源感知行为，为资源波动环境下的自主智能体部署奠定理论与架构基础。
2025-06-05 cs.AI cs.LG cs.SY
Large Artificial Intelligence Model Guided Deep Reinforcement Learning for Resource Allocation in Non Terrestrial Networks
Faculty of Engineering, Sunway University, Petaling Jaya, Malaysia（工程学院，Sunway大学，Petaling Jaya，马来西亚）；Future Cities Research Institute, Sunway University, Petaling Jaya, Malaysia（未来城市研究 institute，Sunway大学，Petaling Jaya，马来西亚）
本文提出利用大语言模型引导深度强化学习，以提升非地面网络资源分配的性能，在极端天气下表现优于传统方法。
2026-01-13 cs.AI cs.SY eess.SY
Learning Individual Intrinsic Reward in Multi-Agent Reinforcement Learning via Incorporating Generalized Human Expertise
Department of Control Science and Intelligent Engineering, School of Management and Engineering, Nanjing University（控制科学与智能工程系，管理与工程学院，南京大学）；Laboratory of Data Intelligence and Interdisciplinary Innovation, School of Information Management, Nanjing University（数据智能与跨学科创新实验室，信息管理学院，南京大学）
针对多智能体强化学习稀疏团队奖励下探索低效的问题，提出 LIGHT 框架，端到端融合泛化人类专业知识并设计个体内在奖励，在性能和知识跨任务复用性上优于基线。
2025-07-25 cs.AI cs.LG cs.MA
The Missing Reward: Active Inference in the Era of Experience
IBM T.J. Watson Research Center（IBM TJ沃森研究中心）
本文提出主动推理（AIF）通过内在自由能最小化替代外部奖励，弥合自主智能体差距，并结合大型语言模型实现高效学习与人类价值对齐。
2025-08-07 cs.AI nlin.AO physics.bio-ph
