Joint Agent Memory and Exploration Learning via Novelty Signals
Tsinghua University（清华大学）；Sun Yat-sen University（中山大学）；Baidu Inc.（百度公司）；Tongji University（同济大学）；Peking University（北京大学）
提出JAMEL框架，利用新颖性信号联合训练智能体记忆与探索策略，在开放环境中实现高效探索并泛化到未见环境。
2026-06-01 cs.AI
State-Novelty Guided Action Persistence in Deep Reinforcement Learning
UM-SJTU Joint Institute（上海交大密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）；Duke Kunshan University（昆山杜克大学）
本文提出状态新颖性引导的动作持久性方法，依据状态空间探索状态动态调整动作重复概率，无需额外价值函数或策略，并可增强多种探索策略，显著提升 DRL 在 DMControl 上的样本效率。
2024-09-09 cs.AI cs.LG
Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents
Uber AI Labs（优步人工智能实验室）
演化策略（ES）是一系列黑箱优化算法，能够粗略地训练深度神经网络，以及Q学习和策略梯度方法，以解决具有挑战性的深度强化学习（RL）问题，但速度更快（例如，几小时与几天），因为它们的并行化更好。然而，许多RL问题需要定向探索，因为它们具有稀疏或欺骗性的奖励函数（即包含局部最优值），并且不知道如何使用ES鼓励这种探索。在这里，我们表明，已经发明的算法，以促进定向探索小规模进化神经网络通过人口的探索代理，特别是新颖性搜索（NS）和质量多样性（QD）算法，可以与ES杂交，以提高其性能的稀疏或欺骗性的深度RL任务，同时保持可扩展性。我们的实验证实，由此产生的新算法，NS-ES和两个QD算法，NSR-ES和NSRA-ES，避免了ES遇到的局部最优，以实现更高的性能Atari和模拟机器人学习走动的欺骗性陷阱。因此，本文介绍了一个家庭的快速，可扩展的强化学习，能够直接探索算法。它还将这个新的探索算法家族添加到RL工具箱中，并提出了一种有趣的可能性，即具有多个同时探索路径的类似算法也可能与ES之外的现有RL算法很好地结合。
2018-10-29 cs.AI
Reinforcement Learning Environment with LLM-Controlled Adversary in D&D 5th Edition Combat
University of the Philippines（菲律宾大学）
本研究构建基于D&D 5E战斗的强化学习环境，用GPT-4o等LLM控制对抗智能体挑战DQN小型智能体，发现LLM的战略深度可提升复杂规则场景下的整体AI能力，兼具研究与教育价值。
2025-03-19 cs.AI
NovGrid: A Flexible Grid World for Evaluating Agent Response to Novelty
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究院）
一个强大的身体强化学习技术已经发展到解决复杂的顺序决策问题。然而，这些方法假设训练和评估任务来自相似或相同的分布环境。这种假设并不成立，在现实生活中，小的新的变化，环境可以使以前学习的政策失败或引入更简单的解决方案，可能永远不会found. To为此，我们探讨的概念{ \em新奇}，在这项工作中定义为突然改变的力学或环境的属性。我们提供了一个本体论的新奇最相关的顺序决策，区分新奇的影响对象与行动，一元属性与非一元关系，和分配的解决方案的任务。我们介绍NovGrid，一个新颖的生成框架，建立在MiniGrid上，作为一个工具包，用于快速开发和评估新颖的适应启用强化学习技术。除了核心的NovGrid之外，我们还提供与我们的本体相一致的示例性新颖性，并将它们实例化为可应用于许多符合MiniGrid的环境的新颖性模板。最后，我们提出了一组指标内置到我们的框架，用于评估新颖的适应启用机器学习技术，并显示使用这些指标的基线RL模型的特征。
2022-03-23 cs.AI cs.LG
Being curious about the answers to questions: novelty search with learned attention
Araya Inc（Araya公司）；Earth-life Science Institute（地球生命科学研究所）
我们研究了注意力神经网络层的使用，以学习一个“行为表征”，可用于驱动新奇的搜索和好奇心为基础的政策。该空间被构造为回答特定分布的问题，这些问题以有监督的方式用于训练注意力神经网络。我们发现，在二维探索任务中，空间的结构成功地编码了当地的感觉运动的偶然性，即使是一个贪婪的本地“做最新颖的行动”的政策，没有强化学习或进化可以快速探索空间。我们还将其应用于高/低数字猜测游戏任务，并发现猜测根据学习的注意力配置文件执行主动推理，可以更快地发现正确的数字比一个确切的，但被动的方法。
2018-06-01 cs.AI cs.NE stat.ML
"Looking for Something Weird to Happen": How Humans Sustain AI Agent Novelty Amid Semantic Collapse
University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）
研究在MOLTBOOK社交网络中探索AI智能体语义坍缩现象，发现少数智能体通过用户重视新颖性、提供独特材料并持续修订，以及将其视为探索性世界，从而维持高新颖性，并据此提出界面与政策干预建议。
2026-09-16 cs.AI cs.HC cs.MA
What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems
Qwen Business Unit of Alibaba（阿里巴巴通义千问业务单元）；Southeast University（东南大学）
该研究针对对话系统的图像创作场景，提出三阶段多模态推荐框架，经测试可降低视觉不一致率并显著提升推荐相关指标。
2026-08-19 cs.AI cs.CV
Interpretable reinforcement learning with decision-tree pruning
Ludwig-Maximilians-University Munich（慕尼黑大学）；Siemens AG（西门子公司）
该研究提出一种结合决策树剪枝的可解释强化学习方法，通过定义结构感知与使用感知算子简化策略，在经典控制及MuJoCo基准上验证其可保持高性能并提升可解释性。
2026-08-10 cs.AI cs.LG
Physics-Regulated Deep Reinforcement Learning: Invariant Embeddings
TUM（慕尼黑工业大学）；WSU（华盛顿州立大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
提出物理调节的 Phy-DRL 框架，通过残差策略、安全嵌入奖励和物理引导的神经网络编辑，为安全关键自主系统提供可证明的安全保证。
2024-07-08 cs.AI cs.LG
Synthesizing Reactive Character Behaviors for Continuous Games via Programmatic Policy Search
Brown University（布朗大学）；Roblox（Roblox公司）；Clemson University（克莱姆森大学）
提出程序化策略搜索方法，通过领域特定语言和代理式草图绘制合成连续游戏的可读行为程序，在14个游戏基准上优于纯枚举和编码代理。
2026-09-22 cs.AI
Decoupling Exploration from Optimization in RLVR
Columbia University（哥伦比亚大学）
本研究提出探索-蒸馏（ExpDis）框架，将RLVR中的探索与优化解耦，通过训练探索者策略并蒸馏至学生策略，在不降低质量的前提下扩大探索，在数学推理基准上优于DAPO并提升多样解生成能力。
2026-10-08 cs.AI cs.CL cs.LG
Safe Exploration in Continuous Action Spaces
Technion, Israel Institute of Technology（以色列理工学院）；Google DeepMind（谷歌DeepMind）
我们解决了在物理系统（如数据中心冷却单元或机器人）上部署强化学习（RL）代理的问题，其中绝不能违反关键约束。我们展示了如何利用这些系统的典型平滑动态，并使RL算法在学习过程中永远不会违反约束。我们的技术是直接添加到政策的安全层，分析解决每个状态的动作校正公式。获得一个优雅的封闭形式的解决方案的新颖性是由于一个线性化的模型，学习过去的轨迹组成的任意行动。这是为了模拟真实世界的情况，其中数据日志是用数学上难以描述的行为策略生成的;这种情况使得已知的安全感知的非策略方法不适用。我们证明了我们的方法在新的代表性的基于物理学的环境中的有效性，并通过保持零约束违规而在奖励塑造失败的地方获胜。
2018-01-26 cs.AI
PPO-HSC: An Exploratory Reinforcement Learning Framework Based on Wide-Area Policy Coverage Optimization
School of Mathematics, Hunan University（湖南大学数学学院）；College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院）
PPO-HSC是用于解决大语言模型微调中模式崩溃问题的探索性强化学习框架，通过纳入高阶采样覆盖奖励及维护动态轨迹库，提高解决方案多样性与状态空间覆盖，在数学推理和代码生成任务中表现出色。
2026-07-21 cs.AI
Virtual Action Actor-Critic Framework for Exploration (Student Abstract)
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对强化学习中智能体高效探索的难题，受人类想象动作结果的能力启发，提出引入虚拟行动者的虚拟动作行动者-评论家框架，通过修正Q函数结合奖励与虚拟策略熵，实验证明其探索性能优于现有算法。
2023-11-06 cs.AI cs.LG
General Characterization of Agents by States they Visit
University of Eastern Finland（东芬兰大学）；National University of Singapore（新加坡国立大学）
决策代理或其策略的行为特征（BC）用于研究训练算法的结果，并作为算法本身的一部分，以鼓励独特的策略，匹配专家策略或限制每次更新对策略的更改。然而，以前提出的解决方案是不适用的一般情况下，无论是由于缺乏表达能力，计算约束或政策或环境的约束。此外，许多巴塞尔公约依赖于政策的行动。我们讨论并演示了这些BC是如何误导的，特别是在随机环境中，并提出了一种新的解决方案，根据国家政策访问。我们运行实验来评估所提出的BC对基线的质量，并评估它们在学习训练算法，新颖性搜索和信任区域策略优化中的使用。该代码可在https://github.com/miffyli/policy-supervectors上获得。
2021-10-28 cs.AI cs.NE
SUN: Reaching for Novelty in Reinforcement Learning
Aalto University（阿尔托大学）；Tampere University（坦佩雷大学）
本文提出可达性感知的目标选择框架SUN，结合新颖性与可达性，可集成于离策略RL算法，并在多种复杂环境中超越现有方法。
2026-10-12 cs.AI cs.LG cs.RO
Leyline: KV Cache Directives for Agentic Inference
Erlangen National High Performance Computing Center（埃朗根国家高性能计算中心）
针对智能体 LLM 中策略驱动的缓存编辑需求，提出 Leyline 服务端原语，通过声明式指令四元组和架构无关接口实现缓存拼接与截断，提升缓存命中率和求解率。
2026-05-31 cs.AI cs.DC cs.LG
Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration
School of Automation Science
本文提出一种结合预测模型与离策略学习的强化学习算法，利用潜在状态空间前向预测误差构造无参数开销的内在奖励，并通过新颖性感知终端价值函数增强在线规划器，在连续控制任务中实现样本高效探索，尤其在稀疏奖励场景下表现优异。
2024-03-31 cs.AI cs.LG
Curiosity creates Diversity in Policy Search
ISAE Supaero（高等航空航天学院）；Airbus（空中客车公司）；Université de Toulouse（图卢兹大学）
本文提出 Curiosity-ES，将 Curiosity 作为进化策略的适应度指标，以解决奖励稀疏环境中的盲目探索问题，并证明其比 Novelty 更能产生多样化且获得奖励的策略。
2023-07-15 cs.AI cs.NE
A Policy Editor for Semantic Sensor Networks
University of Southampton（南安普顿大学）
传感器和执行器网络的一个重要用途是在危险环境中遵守健康和安全政策。为了应对日益庞大和动态的环境，并对紧急情况做出快速反应，需要工具来简化将高级策略转换为可执行查询和规则的过程。我们提出了一个框架来产生这样的工具，它使用规则来聚合低级别的传感器数据，使用语义传感器网络本体，到更有用的和可操作的抽象。使用底层数据源的模式作为输入，我们自动生成与手头的用例相关的抽象。在这个演示中，我们提出了一个策略编辑器工具和一个可以测试策略的模拟。
2019-11-15 cs.AI
Neuro-Symbolic World Models for Adapting to Open World Novelty
Georgia Institute of Technology（佐治亚理工学院）；Georgia Technology Research Institute（佐治亚技术研究院）
开放世界的新奇事物--环境的力学或属性的突然变化--在现实世界中很常见。新颖性适应是主体在新颖性之后改善其政策绩效的能力。大多数强化学习（RL）方法都假设世界是一个封闭的、固定的过程。因此，强化学习策略对新奇事物的适应效率低下。为了解决这个问题，我们引入了WorldCloner，这是一个端到端的可训练神经符号世界模型，用于快速适应新奇事物。WorldCloner学习了一种有效的新颖性前环境转换的符号表示，并使用这种转换模型来检测新颖性，并以单次方式有效地适应新颖性。此外，WorldCloner使用基于解释的适应来增强策略学习过程，其中世界模型模拟后新奇环境的转变以帮助策略适应。通过将“想象”转换与后新奇环境中的交互相结合，可以用更少的总环境交互来恢复性能。使用设计用于研究顺序决策问题中的新颖性的环境，我们表明，符号世界模型有助于其神经策略比基于模型和基于模型的仅神经强化学习方法更有效地适应。
2023-01-16 cs.AI cs.LG cs.SC
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Agentic Skill Optimization over Lie Algebroids
Adobe Research（Adobe研究院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
研究智能体技能优化问题，提出LASKO框架，将技能建模为李代数胚截面，利用李括号筛选测试替代昂贵验证，在自然语言任务因果提取中实现近15倍加速，提升技能优化速度。
2026-07-14 cs.AI cs.LG math.CT
Approximate Novelty Search
University of Melbourne（墨尔本大学）；Universitat Pompeu Fabra（庞培法布拉大学）
基于宽度的搜索算法通过根据适当定义的新颖性度量对状态进行优先级排序来寻求计划，该度量将状态映射到一组新颖性类别中。已知评估状态新颖性的空间和时间复杂度是集合基数的指数。我们提出了新的方法来获得多项式近似的新颖性和基于宽度的搜索。首先，我们通过随机采样和Bloom过滤器来近似新颖性计算，从而减少了运行时间和内存占用。其次，我们近似最佳优先搜索使用自适应的政策，决定是否放弃开放列表中的节点的扩展。这两种技术被集成到现有的基于宽度的算法，导致新的规划师，表现显着优于其他国家的最先进的规划师从国际规划比赛的基准。
2021-05-17 cs.AI
Instance Weighted Incremental Evolution Strategies for Reinforcement Learning in Dynamic Environments
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
演化策略（ES），作为一个家庭的黑盒优化算法，最近出现作为一个可扩展的替代强化学习（RL）的方法，如Q学习或策略梯度，和更快的速度时，许多中央处理器（CPU）是由于更好的并行化。在本文中，我们提出了一个系统的增量学习方法的专家系统在动态环境中。其目标是在环境发生变化时将以前学习的策略逐步调整为新策略。我们将实例加权机制与ES，以促进其学习适应，同时保持ES的可扩展性。在参数更新期间，较高的权重被分配给包含更多新知识的实例，从而鼓励搜索分布向参数空间的新的有希望的区域移动。我们提出了两个易于实现的指标来计算权重：实例新颖性和实例质量。实例新颖性衡量实例与原始环境中先前最佳值的差异，而实例质量则对应于实例在新环境中的表现。由此产生的算法，实例加权增量演化策略（IW-IES），被验证，以实现显着提高性能的挑战RL任务，从机器人导航运动。因此，本文介绍了一个家庭的可扩展的ES算法RL域，使快速学习适应动态环境。
2022-03-31 cs.AI cs.LG cs.NE
Exploration-Driven Policy Optimization in RLHF: Theoretical Insights on Efficient Data Utilization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA Research（英伟达研究院）；Technion（以色列理工学院）
本研究针对RLHF少量反馈即获优效的理论解释不足问题，提出基于策略优化的PO-RLHF算法，通过轨迹级椭圆势分析给出低查询复杂度性能界，为其高效数据利用提供理论支撑。
2024-07-15 cs.AI cs.CL cs.LG
Shortest-Path Constrained Reinforcement Learning for Sparse Reward Tasks
University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；Yonsei University（延世大学）；Microsoft Research（微软研究院）
我们提出了k-最短路径（k-SP）约束：一种新的约束代理的轨迹，提高了样本效率稀疏奖励MDP。我们证明了任何最优策略必然满足k-SP约束。值得注意的是，k-SP约束防止策略沿着非k-SP轨迹探索状态-动作对（例如，来回的）。然而，在实践中，排除状态动作对可能会阻碍RL算法的收敛。为了克服这一点，我们提出了一种新的成本函数，惩罚违反SP约束的政策，而不是完全排除它。我们的数值实验在一个表格RL设置表明，SP约束可以显着减少策略的轨迹空间。因此，我们的约束通过抑制冗余的探索和利用，使更多的样本有效的学习。我们在MiniGrid、DeepMind Lab、Atari和Fetch上的实验表明，该方法显着提高了近端策略优化（PPO），即使在连续控制任务中也优于现有的新颖性探索方法，包括基于计数的探索，这表明它通过防止代理采取冗余动作来提高样本效率。
2021-07-13 cs.AI cs.LG cs.RO
Subjects, Not Authors: The Authorship Hazard in Agentic Dataspaces
Korea Trade Network (KTNET)（韩国贸易网络（KTNET））
针对智能体数据空间中智能体既是策略主体又是作者的风险，提出“智能体是主体而非作者”原则，通过关闭发布通道并将分类视为作者身份以强制审查，实验证明该方法能有效防止未授权发布。
2026-10-07 cs.AI cs.CR cs.DB
UniSkill: Learning Actor-Aligned Skill Proposals for an Evolving Policy
Qiantang Credit（钱塘信用）；Ant Group（蚂蚁集团）；The Chinese University of Hong Kong（香港中文大学）
UniSkill通过对比动作反馈实现智能体对齐的技能提案学习，无需额外回放即可优化技能库编辑，在ALFWorld和WebShop上分别取得98.4%和84.7%的成功率。
2026-10-08 cs.AI
ThriftyDAgger: Budget-Aware Novelty and Risk Gating for Interactive Imitation Learning
AUTOLAB at the University of California, Berkeley（加利福尼亚大学伯克利分校 AUTOLAB）
有效的机器人学习通常需要在线的人类反馈和干预，这可能会花费大量的人类时间，从而引发交互式模仿学习的核心挑战：是否有可能控制干预的时间和长度，以促进学习并限制人类监督者的负担？本文介绍了ThriftyDagger，积极查询人类主管给定的人类干预的预期预算的算法。ThriftyDagger使用学习的切换策略，仅在以下状态下请求干预：（1）足够新颖，其中机器人策略没有参考行为可供模仿，或（2）有风险，其中机器人对任务完成的信心较低。为了检测后者，我们引入了一种新的度量来估计当前机器人策略下的风险。模拟实验和物理电缆路由实验表明，ThriftyDagger的干预标准比以前的算法更有效地平衡任务性能和主管负担。ThriftyDagger也可以在执行时应用，在模拟和物理任务上都实现了100%的成功率。一项用户研究（N=10）表明，与下一个最佳算法相比，ThriftyDagger在执行集中任务的同时控制三个机器人舰队，同时减少了管理员的负担，使人类和机器人的性能分别提高了58%和80%。
2021-09-17 cs.AI cs.RO
R$^2$ Flow: Recursive Self-Improvement via Recursive Skill Evolution
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Fudan University（复旦大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）
R$^2$ Flow通过递归技能进化实现递归自我改进，交替策略学习、独立验证和版本化技能库更新，在多个任务上提升准确性和编辑精度。
2026-10-23 cs.AI
SynCraft: Guiding Large Language Models to Predict Edit Sequences for Molecular Synthesizability Optimization
BNLMS, College of Chemistry and Molecular Engineering, Peking University, Beijing 100871, China（BNLMS，化学与分子工程学院，北京大学，北京100871，中国）
SynCraft通过引导大语言模型预测编辑序列，优化分子合成可行性，提升生成分子的结构保真度和合成可行性。
2025-12-23 cs.AI q-bio.QM
Bounding Distributional Shifts in World Modeling through Novelty Detection
Department of Computer Science, Rutgers University（计算机科学系，罗格斯大学）
针对视觉世界模型因训练覆盖不全导致推理发散的问题，提出使用变分自编码器作为新颖性检测器，确保规划动作轨迹不偏离训练分布，在DINO-WM架构中提升了数据效率。
2025-08-08 cs.AI cs.RO
Heuresis: Search Strategies for Autonomous AI Research Agents Across Quality, Diversity and Novelty
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Hexo AI
提出Heuresis框架，将研究流程抽象为通用原语，实现开放科学探索；在三个领域评估六种搜索策略，发现完全新颖的想法罕见且无法达到最高性能，揭示了当前策略无法扩展质量-新颖性前沿的挑战。
2026-07-02 cs.AI
Identifying Culprits Through Deep Deterministic Policy Gradient Deep Learning Investigation
Dept. of CSE, UVCE, Bengaluru, India（计算机科学与工程系，UVCE，班加罗尔，印度）
本文提出基于深度确定性策略梯度算法的犯罪识别方法，通过犯罪现场材料、证人陈述和嫌疑人资料训练模型，实现高准确率的罪犯识别。
2026-05-14 cs.AI
Continuously Discovering Novel Strategies via Reward-Switching Policy Optimization
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；University of Toronto（多伦多大学）
我们提出了奖励切换策略优化（RSPO），一种通过迭代找到既局部最优又与现有策略充分不同的新策略来发现复杂RL环境中的多种策略的范例。为了鼓励学习策略一致地收敛到先前未发现的局部最优值，RSPO在优化过程中通过基于概率的新颖性测量在外在和内在奖励之间切换。当采样的轨迹足够独特时，RSPO执行具有外部奖励的标准策略优化。对于在现有政策下具有高可能性的轨迹，RSPO利用内在多样性奖励来促进探索。实验表明，RSPO能够在各种领域发现广泛的策略，从单智能体粒子世界任务和MuJoCo连续控制到多智能体猎鹿游戏和StarCraftII挑战。
2022-05-03 cs.AI cs.LG
A Longitudinal Measurement of Privacy Policy Evolution for Large Language Models
Technical University of Munich（慕尼黑技术大学）；Columbia University（哥伦比亚大学）；New York University（纽约大学）；CSIRO’s Data61（CSIRO的数据61）
本文首次对全球主流LLM提供者的隐私政策进行了纵向研究，揭示了隐私政策的演变趋势、内容特征及地区差异。
2025-11-24 cs.AI cs.CR cs.CY
Neural DNF-MT: A Neuro-symbolic Approach for Learning Interpretable and Editable Policies
Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
本文提出神经DNF-MT，一种结合深度强化学习与逻辑程序的神经符号方法，实现端到端学习可解释且可编辑的策略，性能媲美黑盒方法。
2025-04-23 cs.AI cs.LG cs.LO
Beyond the Leaderboard: Counterfactual Diagnosis of End-to-End and VLA Driving Policies Under Domain Shift
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对端到端和VLA驾驶策略，提出基于反事实帧编辑的诊断方法，揭示排行榜排名无法预测新场景行为，并评估策略的安全性、响应性和稳定性。
2026-09-22 cs.AI cs.CV
Policy Optimization in Dynamic Bayesian Network Hybrid Models of Biomanufacturing Processes
Northeastern University（东北大学）；University of Maryland（马里兰大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
生物制药制造业是一个快速增长的行业，几乎影响到所有的医药分支。生物制造过程需要密切监测和控制，在存在复杂的生物过程动态与许多相互依赖的因素，以及由于实验成本高以及个性化生物药物的新颖性而导致的数据极其有限的情况下。我们开发了一种新的基于基于模型的强化学习框架，可以在低数据环境中实现人类级别的控制。该模型使用动态贝叶斯网络来捕获因素之间的因果关系，并预测不同输入的影响如何通过生物过程机制的途径传播。这使得过程控制策略的设计既可解释又能抵御模型风险。我们提出了一个计算效率高，可证明收敛的随机梯度法优化这些政策。验证是在一个现实的应用程序与多维，连续的状态变量。
2022-07-24 cs.AI cs.LG
Causally-Enhanced Reinforcement Policy Optimization
提出 CE-PO 奖励塑形框架，利用 Jacobian 敏感度与反事实强化衡量 Z→X→Y 因果连贯性，并兼容 PPO/GRPO，在4个数据集上平均提升准确率5.49%且增强因果鲁棒性。
2025-09-27 cs.AI cs.CL cs.LG
Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair
Technion（以色列理工学院）；NVIDIA（英伟达）
本研究提出CodeTriage策略，通过0.6B参数模型读取测试输出等信息预测修复步骤分布，在代码修复搜索中减少21%程序修订和12%输出标记，且在多未见LLM上表现最优，还发布了相关语料库。
2026-10-14 cs.AI cs.LG cs.SE
Altered Thoughts, Altered Actions: Reasoning Chain as Control Surface for a Vision-Language-Action Policy
研究探讨VLA模型中链式思维的脆弱性，发现仅篡改推理轨迹中的物体名称即可显著降低任务成功率，而其他篡改方式影响较小，表明动作解码器依赖实体引用完整性而非推理质量。
2026-10-09 cs.AI cs.LG cs.RO
On Scope Classification and Current Knowledge-Editing Benchmarks: A Negative Result, with INLAY as a Gradient-Free Case Study
该研究指出当前知识编辑基准无法衡量SERAC系列的范围决策，以INLAY为案例验证其结构性缺陷，还披露了INLAY的不足及自身路由机制的两个未影响核心结果的错误。
2026-08-28 cs.AI cs.CL cs.LG
