Solving Truly Massive Budgeted Monotonic POMDPs with Oracle-Guided Meta-Reinforcement Learning
Department of Aerospace Engineering（航空航天工程系）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Department of Mathematics（数学系）；Engineer Research and Development Center（工程研究与发展中心）；U.S. Army Corps of Engineers（美国陆军工程兵团）
针对大规模预算约束多组件单调POMDP求解难题，提出两步法：先用随机森林近似最优预算分配，再用Oracle引导的元训练PPO算法求解各单组件问题，实现可扩展性。
2025-09-15 cs.AI cs.LG math.OC
CAR-DESPOT: Causally-Informed Online POMDP Planning for Robots in Confounded Environments
University of Oxford（牛津大学）
本文提出CAR-DESPOT，一种基于因果建模与推理的AR-DESPOT在线POMDP规划扩展方法，通过离线学习因果模型参数化，有效消除未观测混淆变量引起的误差，生成比AR-DESPOT更鲁棒且性能更高的策略。
2023-07-27 cs.AI cs.LG cs.RO
Partially Observable Monte-Carlo Graph Search
本文提出离线采样算法POMCGS，通过动态折叠蒙特卡洛搜索树构建策略图，并结合动作渐进加宽与观测聚类处理大型及连续POMDP，实验表明其策略质量可媲美先进在线算法。
2025-07-28 cs.AI cs.RO
Scenario-Agnostic Zero-Trust Defense with Explainable Threshold Policy: A Meta-Learning Approach
New York University（纽约大学）
日益增长的连接性和复杂的远程访问环境使传统的基于边界的网络防御变得脆弱。零信任成为一种很有前途的方法，提供防御策略的基础上以代理为中心的信任评估。然而，对代理人轨迹的有限观测带来了决策中的信息不对称。为了促进人类对策略和技术采用的理解，需要创建一个零信任防御，该防御可以向人类解释并适应不同的攻击场景。为此，我们提出了一种基于部分可观察马尔可夫决策过程（POMDP）和一阶元学习的不可知的零信任防御方法，只使用少数几个示例场景。该框架导致一个可解释的和可推广的信任阈值防御策略。为了解决经验安全数据集和现实之间的分布偏移，我们将模型扩展到一个鲁棒的零信任防御，最大限度地减少最坏情况下的损失。我们使用案例研究和现实世界的攻击来证实结果。
2023-03-06 cs.AI cs.CR
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
A Surprisingly Simple Continuous-Action POMDP Solver: Lazy Cross-Entropy Search Over Policy Trees
The University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
针对连续动作 POMDP 在线规划难题，提出 LCEOPT，用惰性交叉熵搜索迭代优化有限时域策略树分布，最高节省两个数量级计算并在高维动作问题上优于现有方法。
2023-12-18 cs.AI
Provably Efficient Reinforcement Learning in Partially Observable Dynamical Systems
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
我们研究了部分可观测动力系统的函数逼近强化学习。我们提出了一个新的\textit{Partially Observable Bilinear Actor-Critic framework}，这是一般性的，足以包括模型，如可观察的表格部分可观察马尔可夫决策过程（POMDPs），可观察的线性二次高斯（LQG），预测状态表示（PSR），以及一个新引入的模型希尔伯特空间嵌入的POMDPs和可观察的POMDPs与潜在的低秩转换。在这个框架下，我们提出了一个演员-评论家风格的算法，能够执行不可知的策略学习。给定一个由基于内存的策略（查看最近观察的固定长度窗口）组成的策略类，以及一个由将内存和未来观察作为输入的函数组成的价值函数类，我们的算法学习与给定策略类中最好的基于内存的策略竞争。对于某些例子，如不完全可观测的表格POMDPs，可观测的LQG和可观测的POMDPs与潜在的低秩转换，通过隐含地利用其特殊属性，我们的算法甚至能够竞争的全局最优策略，而无需支付指数依赖于地平线上的样本复杂度。
2022-06-24 cs.LG math.ST stat.ME
On-Robot Bayesian Reinforcement Learning for POMDPs
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
针对机器人学习数据采集成本高的问题，提出面向物理系统的BRL因子化框架及基于蒙特卡洛树搜索与粒子滤波的在线解法，在人机交互任务中仅需少量真实回合即达近最优性能。
2023-07-22 cs.AI cs.LG cs.RO
POPCORN: Partially Observed Prediction COnstrained ReiNforcement Learning
Harvard SEAS（哈佛大学哈佛约翰·A·保尔森工程与应用科学学院）；Tufts University（塔夫茨大学）
许多医疗决策任务可以被框架为部分可观察马尔可夫决策过程（POMDP）。然而，流行的两阶段方法（首先学习POMDP，然后解决它）通常会失败，因为最适合数据的模型可能不太适合规划。我们引入了一个新的优化目标，该目标（a）产生高性能的策略和高质量的生成模型，即使某些观察结果与规划无关，以及（b）在医疗保健中典型的批量非策略设置中这样做，当只有回顾性数据可用时。我们展示了我们的方法合成的例子和一个具有挑战性的医疗决策问题。
2020-03-31 cs.LG stat.ML
Interestingness Elements for Explainable Reinforcement Learning: Understanding Agents' Capabilities and Limitations
SRI International（斯坦福国际研究院）
我们提出了一个可解释的强化学习（XRL）框架，该框架分析代理与环境交互的历史，以提取有助于解释其行为的兴趣元素。该框架依赖于从标准RL算法中容易获得的数据，这些数据可以很容易地由代理在学习时收集。我们描述了如何创建一个代理的行为在短视频剪辑的形式突出关键的互动时刻，建议的元素的基础上的视觉摘要。我们还报告了一项用户研究，在该研究中，我们评估了人类正确感知具有不同特征的代理人的能力，包括他们的能力和局限性，并给出了我们的框架自动生成的视觉摘要。结果表明，不同兴趣度元素所捕获的方面的多样性对于帮助人类正确理解智能体在执行任务时的优势和局限性至关重要，并确定何时可能需要调整以提高其性能。
2020-08-19 cs.AI cs.HC cs.LG
Resolving Multiple-Dynamic Model Uncertainty in Hypothesis-Driven Belief-MDPs
University of Colorado, Boulder（科罗拉多大学博尔德分校）
本文针对假设驱动信念MDP中多动态模型不确定性导致的历史维度灾难问题，提出一种新的信念MDP形式化方法，能够同时推理多个假设、平衡假设确定与底层POMDP性能，并可通过稀疏树搜索求解。
2024-11-21 cs.AI cs.RO
Inherently Explainable Reinforcement Learning in Natural Language
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（艾伦人工智能研究所）
我们专注于创建一个内在可解释的强化学习代理的任务-通过在执行任务时大声思考并分析整个轨迹以产生因果解释来产生即时本地解释的能力。这种分层可解释的强化学习代理（HEX-RL）在交互式小说中运行，基于文本的游戏环境中，代理使用文本自然语言感知和作用于世界。这些游戏通常被构造为具有长期依赖性的谜题或任务，其中代理必须完成一系列动作才能成功-提供理想的环境来测试代理解释其动作的能力。我们的代理被设计为将可解释性视为一等公民，使用提取的基于符号知识图谱的状态表示加上分层图注意力机制，该机制指向内部图表示中最影响动作选择的事实。实验表明，该代理提供了显着改善的解释强基线，由人类参与者一般不熟悉的环境，同时也匹配最先进的任务性能。
2022-10-06 cs.AI cs.CL cs.HC
Let people fail! Exploring the influence of explainable virtual and robotic agents in learning-by-doing tasks
Italian Institute of Technology（意大利技术研究院）；University of Genoa（热那亚大学）；Paderborn University（帕德博恩大学）
本研究比较了经典解释与伙伴感知解释在动手学习任务中对人类行为的影响，发现独立完成任务的参与者比由可解释AI辅助的参与者获得更优的知识获取能力。
2024-11-15 cs.AI cs.HC cs.RO
A User Study on Explainable Online Reinforcement Learning for Adaptive Systems
Ruhr Institute for Software Technology（鲁尔软件技术研究所）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文通过54名软件工程师的用户研究，评估可解释在线强化学习技术XRL-DINE在自适应系统调试中的任务表现、感知有用性与易用性。
2023-07-09 cs.AI cs.SE
Pessimistic Iterative Planning with RNNs for Robust POMDPs
Radboud University Nijmegen（奈杰姆大学拉德博德）
针对鲁棒POMDPs需记忆性且鲁棒性策略的问题，提出悲观迭代规划（PIP）框架及rFSCNet算法，交替选悲观POMDPs并优化循环神经网络计算有限状态控制器，实证性能优于基线及现有求解器。
2025-08-26 cs.AI cs.LG
Explainable robotic systems: Understanding goal-driven actions in a reinforcement learning scenario
Deakin University（迪肯大学）；Federation University（澳大利亚联邦大学）；Universidad Central de Chile（智利中央大学）
机器人系统每天都在我们的社会中出现。在人机环境中，最终用户正确理解他们的机器人团队合作伙伴，以便协作完成任务是至关重要的。为了提高对动作的理解，用户要求机器人在特定情况下做出更多的决策。最近，可解释的机器人系统已经成为一种替代方案，不仅专注于令人满意地完成任务，而且还以类似人类的方式证明导致做出决定的原因。在强化学习场景中，大量的努力集中在使用数据驱动的方法提供解释，特别是从基于深度学习的系统中的视觉输入模态。在这项工作中，我们专注于强化学习代理在机器人场景中执行任务的决策过程。使用3种不同的设置，即，确定性导航任务，随机导航任务，和一个连续的基于视觉的排序对象任务的实验结果。作为一种解释目标驱动的机器人的行动，我们使用三种不同的方法计算成功的概率：基于记忆，基于学习，和基于内省。这些方法之间的区别在于计算或估计成功概率所需的内存量以及可以使用它们的强化学习表示类型。在这方面，我们使用基于记忆的方法作为基线，因为它是直接从代理的观察。当比较基于学习和基于内省的方法，这个基线，两者都被发现是合适的替代品来计算成功的概率，获得高水平的相似性比较时，使用皮尔逊相关性和均方误差。
2021-09-02 cs.AI cs.RO
New Insights into Automatic Treatment Planning for Cancer Radiotherapy Using Explainable Artificial Intelligence
Department of Physics, The University of Texas at Arlington（德克萨斯大学阿灵顿分校物理系）；Department of Radiation Oncology and Molecular Radiation Sciences, Johns Hopkins University（约翰霍普金斯大学放射肿瘤学与分子放射科学系）
本研究针对癌症放疗自动治疗计划中AI智能体决策不透明的问题，通过EXAI方法分析ACER智能体的DVH输入到TPP调整决策的归因，揭示其决策过程并验证高性能智能体的规划效果，为提升临床信任和优化计划提供新见解。
2025-08-19 cs.AI physics.med-ph
Does Your Model Think Like an Engineer? Explainable AI for Bearing Fault Detection with Deep Learning
Siemens AG（西门子股份公司）
本文针对滚动轴承故障检测任务，提出了一种特定领域的特征归因框架，通过结合信号处理工具评估模型逻辑与专家推理的一致性，验证了深度学习模型的可信度并预测其泛化能力，为增强可解释AI提供了通用模板。
2023-10-19 cs.AI cs.LG
ExDDV: A New Dataset for Explainable Deepfake Detection in Video
University of Bucharest（布加勒斯大学）；West University of Timişoara（蒂米什瓦拉西大学）
ExDDV通过引入文本和点击监督，开发出可解释的深度伪造检测模型，以提高视频中深度伪造内容的识别能力。
2025-11-25 cs.AI cs.CL cs.CV
The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies
Erasmus University Medical Center（伊拉斯姆斯大学医学中心）
人工智能（AI）在改善人类健康和福祉方面具有巨大潜力，但在临床实践中的应用仍然有限。缺乏透明度被认为是实施的主要障碍之一，因为临床医生应该相信人工智能系统是可信的。可解释的人工智能有可能克服这个问题，并且可以成为迈向可信人工智能的一步。在本文中，我们回顾了最近的文献，为研究人员和从业者提供指导，为医疗保健领域设计可解释的AI系统，并有助于可解释的AI领域的形式化。我们认为，要求可解释性的原因决定了应该解释什么，因为这决定了可解释性属性（即可解释性和保真度）的相对重要性。在此基础上，我们提出了一个框架来指导可解释的人工智能方法（可解释的建模与事后解释;基于模型，基于属性或基于示例的解释;全局和局部解释）之间的选择。此外，我们发现，定量评价指标，这是重要的客观标准化评价，仍然缺乏一些属性（如清晰度）和类型的解释（例如，基于实例的方法）。我们的结论是，可解释的建模可以有助于可信的人工智能，但可解释性的好处仍然需要在实践中得到证明，并且可能需要采取补充措施来创建医疗保健中值得信赖的人工智能（例如报告数据质量，执行广泛的（外部）验证和监管）。
2021-01-05 cs.AI cs.LG stat.ML
A Theory-Based Explainable Deep Learning Architecture for Music Emotion
Columbia Business School（哥伦比亚商学院）；Yale School of Management（耶鲁管理学院）
本研究提出一种基于声学谐波理论的可解释CNN音乐情绪预测模型，性能优异且可解释性强，还验证了其在广告精准插放中提升参与度的应用价值。
2024-08-13 cs.AI cs.HC cs.SD
Can LLMs Revolutionize the Design of Explainable and Efficient TinyML Models?
Univ. Rennes, INSA Rennes, CNRS（雷恩大学、雷恩国立应用科学学院、法国国家科学研究中心）；Khalifa University（哈利法大学）
本文提出一种结合LLM引导神经架构搜索、ViT知识蒸馏和可解释性模块的框架，在TinyML平台上实现准确率、效率与内存的平衡，所提模型在CIFAR-100上超越SOTA且满足硬件约束。
2025-04-13 cs.AI cs.LG
EvalAttAI: A Holistic Approach to Evaluating Attribution Maps in Robust and Non-Robust Models
Rowan University（罗文大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
本文提出新的可解释性忠实度指标 EvalAttAI，以解决现有归因图评估指标的局限，并发现结合 Vanilla Gradient 的贝叶斯深度神经网络更具可解释性，而鲁棒模型未必更具可解释性。
2023-03-15 cs.AI cs.CV cs.LG
