Multi-agent Deep Reinforcement Learning with Extremely Noisy Observations
WMG（华威制造集团）；University of Warwick（华威大学）
多智能体强化学习系统旨在为交互智能体提供协作学习和适应其他智能体行为的能力。在许多现实世界的应用中，智能体只能获得世界的部分视图。在这里，我们考虑一个设置，其中大多数代理的观察也是非常嘈杂的，因此只有弱相关的真实状态的环境。在这些情况下，学习最优策略变得特别具有挑战性，即使在不切实际的情况下，代理的策略可以以所有其他代理的观察为条件。为了克服这些困难，我们提出了一个多智能体的深度确定性策略梯度算法（MADDPG-M）的通信介质增强，实现了两级，并发学习机制。代理的策略取决于它自己的私人观察以及其他人通过通信媒介明确共享的观察。在任何给定的时间点，代理必须决定其私人观察是否足以与他人共享。然而，我们的环境没有提供明确的反馈来通知代理通信行为是否有益，而是通信策略也必须通过与主要策略同时进行的经验来学习。我们的实验结果表明，该算法在六个高度非平稳的环境中表现良好，逐步提高复杂性，并提供了大量的性能增益相比，基线。
2018-12-03 cs.LG stat.ML
A survey of Monte Carlo methods for noisy and costly densities with application to reinforcement learning and ABC
Stony Brook University（石溪大学）；Universitá degli Studi di Catania（卡塔尼亚大学）；École Polytechnique（巴黎高等理工学院）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文综述了基于代理模型的蒙特卡洛方法，用于处理难解、高成本或带噪密度，并将其系统分类并应用于强化学习和无似然推断等场景。
2025-01-02 cs.LG stat.CO stat.ME
Adversary A3C for Robust Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
A3 C（Asynchronous Advantage Actor Critic）是一种有效的强化学习（RL）算法，适用于各种任务，如Atari游戏和机器人控制。智能体通过与环境的试错交互来学习策略和价值函数，直到收敛到最优策略。鲁棒性和稳定性在RL中至关重要;然而，神经网络可能容易受到来自意外来源的噪声的影响，并且不太可能承受非常轻微的干扰。我们注意到，使用A3 C从温和环境中生成的代理无法处理具有挑战性的环境。从对抗性的例子中学习，我们提出了一种算法称为Advertisement Robust A3 C（AR-A3 C），以提高代理在噪声环境下的性能。在该算法中，将对抗代理引入到学习过程中，使其对对抗干扰更具鲁棒性，从而使其更适应噪声环境。仿真和真实世界的实验进行了说明所提出的算法的稳定性。AR-A3 C算法在干净和嘈杂的环境中都优于A3 C。
2019-12-01 cs.LG stat.ML
Reinforcement Learning Based Self-play and State Stacking Techniques for Noisy Air Combat Environment
Istanbul Technical University（伊斯坦布尔理工大学）
强化学习（RL）最近已经证明自己是解决复杂问题的强大工具，甚至在一些具有挑战性的应用中超越了人类的表现。这意味着RL算法可以应用于研究多年的自主空战问题。空战的复杂性来自于侵略性的近距离机动和敏捷的敌人行为。除了这些复杂性之外，由于传感器误差，在现实生活中可能存在不确定性，这妨碍了对敌人实际位置的估计。在这种情况下，即使在嘈杂的环境中，自动驾驶飞机也应该是成功的。在这项研究中，我们开发了一个空战模拟，它提供了嘈杂的观察代理，因此，使空战问题更具挑战性。因此，我们提出了一个状态叠加方法的噪声RL环境作为一种降噪技术。在我们大量的实验中，所提出的方法在获胜率方面明显优于基线算法，其中性能改进在高噪声水平下更加明显。此外，我们还在训练过程中加入了一个自我游戏方案，通过定期向敌人更新训练代理的冻结副本。通过这种方式，训练代理执行空战模拟与敌人更聪明的策略，提高了代理的性能和鲁棒性。在我们的模拟中，我们证明了自我发挥方案提供了重要的性能增益相比，经典的RL训练。
2023-03-06 cs.LG
Exploiting the potential of deep reinforcement learning for classification tasks in high-dimensional and unstructured data
Universidad Autónoma de Occidente（西方自治大学）
本文提出了一个框架，有效地学习特征选择政策，使用较少的功能，以达到高的分类精度对大型非结构化数据。它使用深度卷积自动编码器（DCAE）来学习紧凑的特征空间，并结合最近提出的强化学习（RL）算法，如双DQN和Retrace。
2019-12-20 cs.LG stat.ML
CANDERE-COACH: Reinforcement Learning from Noisy Feedback
University of Alberta（阿尔伯塔大学）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
提出CANDERE-COACH算法，通过噪声过滤机制处理非最优教师的在线反馈数据，使RL智能体在40%反馈错误时仍能成功学习。
2024-09-23 cs.AI cs.LG
Exploring the Training Robustness of Distributional Reinforcement Learning against Noisy State Observations
University of Alberta（阿尔伯塔大学）；Harbin Engineering University（哈尔滨工程大学）；Huawei Kirin Solution（华为麒麟解决方案部）
本文研究分布式强化学习在噪声状态观测下的训练鲁棒性，通过理论分析梯度稳定性和实验验证，证明其优于基于期望的方法。
2023-06-21 cs.LG
Noise Pollution in Hospital Readmission Prediction: Long Document Classification with Reinforcement Learning
Emory University（埃默里大学）
本文提出了一种强化学习方法来提取长临床文档中的噪声，用于肾移植后再入院预测的任务。我们面临着在小数据集上开发鲁棒模型的挑战，其中每个文档可能由超过10K的令牌组成，充满了噪音，包括表格文本和与任务无关的句子。我们首先实验了四种类型的编码器来凭经验决定最佳的文档表示，然后应用强化学习从长文档中去除噪声文本，将噪声提取过程建模为顺序决策问题。我们的研究结果表明，旧的词袋编码器在这项任务上优于基于深度学习的编码器，而强化学习能够在基线上进行改进，同时修剪掉25%的文本片段。我们的分析表明，强化学习能够识别典型的噪声令牌和特定于任务的噪声文本。
2020-05-23 cs.CL cs.LG
Noisy Data is Destructive to Reinforcement Learning with Verifiable Rewards
Siebel School of Computing and Data Science, University of Illinois Urbana Champaign, USA（计算机与数据科学学院，伊利诺伊大学厄巴纳-香槟分校）
研究指出，现有RLVR算法无法缓解噪声影响，噪声会破坏强化学习性能，真实世界噪声导致Text2SQL任务准确率下降5-12%。
2026-07-31 cs.LG
Learning Pareto-Optimal Rewards from Noisy Preferences: A Framework for Multi-Objective Inverse Reinforcement Learning
Department of Computer Science（计算机科学系）；Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院）
针对生成式智能体与复杂人类价值对齐的挑战，提出基于偏好的多目标逆强化学习框架，推导帕累托前沿近似的样本复杂度界，提出可证明收敛的策略优化算法，为高维价值多元环境下的对齐学习提供理论基础。
2025-07-28 cs.AI cs.CG cs.LG
Reinforcement Learning-based N-ary Cross-Sentence Relation Extraction
Virginia Tech（弗吉尼亚理工大学）；Adobe Research（奥多比研究院）
基于远距离监督的n元跨句关系抽取模型假设连续的句子中包含n个实体，描述了这n个实体之间的关系。然而，一方面，这种假设引入了噪声标记数据，损害了模型的性能。另一方面，一些非连续的句子也描述了一个关系，这些句子不能在这个假设下被标记。在本文中，我们放松了这个强假设较弱的远程监督假设，以解决第二个问题，并提出了一种新的句子分布估计模型，以解决第一个问题。该估计器选择正确标记的句子，以减轻噪声数据的影响是一个两级代理强化学习模型。此外，提出了一种新的通用关系提取器与注意力机制和PCNN的混合方法，它可以部署在任何任务，包括连续和非连续的句子。实验结果表明，与基准模型相比，该模型能有效降低噪声数据的影响，并在一般的n元跨句关系抽取任务中获得更好的性能。
2020-09-26 cs.CL cs.LG stat.ML
Reinforcement Learning with Perturbed Rewards
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Illinois, Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的研究表明，强化学习（RL）模型在各种噪声场景中是脆弱的。例如，观察到的奖励信道在实践中经常受到噪声的影响（例如，当通过传感器收集奖励时），因此是不可信的。此外，对于诸如机器人之类的应用，可以操纵深度强化学习（DRL）算法，以通过接收损坏的奖励来产生任意错误。在本文中，我们考虑带扰动报酬的噪声RL问题，可以用混淆矩阵来近似。我们开发了一个强大的RL框架，使代理学习在嘈杂的环境中，只有扰动奖励观察。我们的解决方案框架建立在现有的RL/DRL算法的基础上，首先解决了有偏见的噪声奖励设置，而没有对真实分布的任何假设（例如，零均值高斯噪声，如在以前的作品）。我们的解决方案的核心思想包括估计奖励混淆矩阵和定义一组无偏的代理奖励。我们证明了我们的方法的收敛性和样本的复杂性。在不同DRL平台上的大量实验表明，基于我们估计的代理奖励的训练策略可以实现更高的预期奖励，并且比现有基线收敛得更快。例如，最先进的PPO算法能够获得84.6%和80.8%的改进，平均分数为五个雅达利游戏，出错率分别为10%和30%。
2020-02-01 cs.CR cs.CV cs.LG
NROWAN-DQN: A Stable Noisy Network with Noise Reduction and Online Weight Adjustment for Exploration
Jilin University（吉林大学）
深度强化学习在当今的应用越来越广泛，尤其是在各种复杂的控制任务中。对噪声网络的有效探索是深度强化学习中最重要的问题之一。嘈杂的网络往往会为代理人产生稳定的输出。然而，这种趋势并不总是足以找到一个稳定的政策，代理，这降低了效率和稳定性在学习过程中。本文在NoisyNets的基础上，提出了一种NROWAN-DQN算法，降噪和在线权重调整NoisyNet-DQN。首先，我们为NoisyNet-DQN开发了一种新的降噪方法，使智能体执行稳定的动作。其次，我们设计了一个在线的权重调整策略，以减少噪音，提高了稳定的性能，并为代理获得更高的分数。最后，我们在四个标准域上对该算法进行了评估，并分析了超参数的性质。我们的研究结果表明，NROWAN-DQN优于以前的算法在所有这些领域。此外，NROWAN-DQN还显示出更好的稳定性。NROWAN-DQN分数的方差显著降低，特别是在一些行动敏感的环境中。这意味着在某些需要高稳定性的环境中，NROWAN-DQN将比NoisyNets-DQN更合适。
2020-06-19 cs.AI cs.LG stat.ML
RIME: Robust Preference-based Reinforcement Learning with Noisy Preferences
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, the University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对 PbRL 依赖高质量专家反馈、难以处理含噪偏好的问题，本文提出 RIME，通过样本选择判别器动态过滤噪声并以奖励模型热启动抑制累积误差，显著提升了现有方法的鲁棒性。
2024-10-28 cs.AI cs.LG cs.RO
Sample Efficient Deep Reinforcement Learning via Uncertainty Estimation
Mila - Quebec Institute of Artificial Intelligence（米拉 - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
在无模型深度强化学习（RL）算法中，使用噪声值估计来监督策略评估和优化不利于样本效率。由于这种噪声是异方差的，因此可以在优化过程中使用基于不确定性的权重来减轻其影响。以前的方法依赖于采样集合，这并不能捕捉到不确定性的所有方面。我们提供了一个系统的分析中发生在RL的噪声监督的不确定性的来源，并引入逆方差RL，贝叶斯框架，它结合了概率合奏和批量逆方差加权。我们提出了一种方法，两个互补的不确定性估计方法占Q值和环境随机性，以更好地减轻噪声监督的负面影响。我们的研究结果表明，离散和连续控制任务的样本效率方面的显着改善。
2022-05-03 cs.AI cs.LG cs.RO
Inverse Reinforcement Learning Under Noisy Observations
Institute for AI, University of Georgia（佐治亚大学人工智能研究所）
我们考虑的问题，执行逆强化学习时，专家的轨迹是不完美的学习者观察。相反，向学习者提供对轨迹的嘈杂连续时间观察。这个问题具有广泛的应用，我们在这里考虑的具体应用是学习者试图穿透机器人巡逻的周界的场景。学习者的视野是有限的，由于它不能观察巡逻的完整轨迹。相反，我们允许学习者听专家的运动声音，它也可以使用观察模型来估计专家的状态和动作。将专家的状态和行为视为隐数据，提出了一种基于期望最大化和最大熵原理的算法来解决非线性、非凸问题。相关工作考虑离散时间观测和不包括动作的观测模型。相比之下，我们的技术对专家的状态和动作都有期望，即使在极端噪音和更广泛的应用中也能进行学习。
2017-10-27 cs.AI cs.LG cs.RO
Simple Noisy Environment Augmentation for Reinforcement Learning
Institute of Finance and Technology, UCL（伦敦大学学院金融与技术研究所）；Data Science and Innovation, NatWest Group（国民西敏寺银行集团数据科学与创新部）
该研究提出一组带噪声率超参数的通用强化学习环境噪声增强包装器，涵盖状态、奖励等维度及两种新技术，在多算法多MuJoCo环境下验证了效果并开源了工具。
2023-05-04 cs.AI cs.LG
Locally Private Distributed Reinforcement Learning
LINE Corporation（LINE公司）；University of Tsukuba（筑波大学）
我们研究了局部差分私有算法的强化学习，以获得一个强大的政策，在分布式私有环境中表现良好。我们的算法保护本地代理的模型的信息被利用的对抗性逆向工程。由于局部策略受到个体环境的强烈影响，Agent的输出可能会无意识地释放私有信息。在我们提出的算法中，本地代理更新模型在他们的环境和报告噪声梯度设计，以满足本地差分隐私（LDP），提供了一个严格的本地隐私保证。通过利用一组报告的噪声梯度，中央聚合器更新其模型并将其传递给不同的本地代理。在我们的实证评估中，我们展示了我们的方法如何在LDP下表现良好。据我们所知，这是第一个在LDP下实现分布式强化学习的工作。这项工作使我们能够获得一个强大的代理，在分布式私有环境中表现良好。
2020-01-31 cs.CR cs.LG stat.ML
Environment Shaping in Reinforcement Learning using State Abstraction
EPFL（洛桑联邦理工学院）；MPI-SWS（马克斯·普朗克软件系统研究所）
强化学习（RL）代理所面临的核心挑战之一是在具有稀疏和噪声反馈信号的大状态空间的环境中有效地学习（接近）最优策略。在实际应用中，具有额外领域知识的专家可以通过\emph{shaping the environment}帮助加速学习过程，即，使学习环境更加友好。文献中流行的范例是\emph{potential-based reward shaping}，其中环境的奖励函数使用潜在函数用额外的局部奖励来增强。然而，基于潜力的奖励塑造的适用性在以下设置中受到限制：（i）状态空间非常大，并且计算适当的潜力函数具有挑战性;（ii）反馈信号是嘈杂的，并且即使具有整形的奖励，代理也可能陷入局部最优;以及（iii）单独改变奖励是不够的，并且有效的整形需要改变动态。我们解决这些限制的潜在的成形方法，并提出了一个新的框架\emph{environment shaping using state abstraction}。我们的主要思想是压缩环境的大状态空间与嘈杂的信号到一个抽象的空间，并使用这种抽象在创建更平滑，更有效的反馈信号的代理。我们研究了我们的抽象为基础的环境塑造的理论基础，并表明，代理人的政策在塑造的环境中保存在原始环境中接近最优的行为。
2020-06-23 cs.LG stat.ML
Macro-Action Topological Navigation under Noisy Localization using Reinforcement Learning
Institute of Neural Computation, Ruhr University Bochum（鲁尔大学波鸿分校神经计算研究所）
本研究提出一种基于强化学习的含噪定位下的宏动作拓扑导航方法，通过以物体为中心的位姿估计替代真实位姿，在Habitat模拟器中实现智能体仅用视觉完成3D公寓内的导航任务。
2026-08-25 cs.LG cs.RO
Deep Reinforcement Learning for Imbalanced Classification
South China University of Technology（华南理工大学）
实际应用中的数据往往呈现出倾斜的类分布，这对机器学习提出了严峻的挑战。传统的分类算法在数据分布不平衡的情况下是无效的，并且当数据分布高度不平衡时可能失败。为了解决这个问题，我们提出了一种基于深度强化学习的通用不平衡分类模型。我们将分类问题描述为一个顺序决策过程，并通过深度Q学习网络解决它。代理在每个时间步对一个样本执行分类操作，环境评估分类操作并向代理返回奖励。来自少数类样本的奖励更大，因此代理对少数类更敏感。在特定的奖励函数和有利的学习环境的指导下，智能体最终在不平衡数据中找到最优分类策略。实验结果表明，该模型的分类性能优于其他不平衡分类算法，能够识别出更多的少数样本，具有良好的分类性能。
2019-01-05 cs.AI cs.LG stat.ML
Control of Gene Regulatory Networks with Noisy Measurements and Uncertain Inputs
Texas A&M University（德克萨斯A&M大学）
研究了通过噪声测量间接观测的基因调控网络（GRNs）的随机控制问题，并考虑了干预输入的不确定性.部分可观测的基因状态和不确定性的干预过程中占建模GRNs使用部分观测布尔动态系统（POBDS）信号模型与噪声基因表达测量。获得最佳的无限时域控制策略，这个问题是无法实现的一般情况下，我们应用强化学习和高斯过程技术，以找到一个接近最优的解决方案。POBDS首先被转换为一个直接观察到的马尔可夫决策过程中的连续信念空间，高斯过程用于建模的信念和干预空间的成本函数。然后使用强化学习从可用的基因表达数据学习成本函数。此外，我们采用稀疏化，这使得大型的部分观察GRNs的控制。所得到的算法的性能进行了研究，通过一个全面的数值实验，使用合成的基因表达数据产生的黑色素瘤基因调控网络。
2017-02-24 cs.LG q-bio.MN stat.ML
Noisy Networks for Exploration
DeepMind（深度思维）
我们介绍了NoisyNet，一个深度强化学习代理，其权重中添加了参数噪声，并表明代理策略的诱导随机性可用于帮助有效探索。噪声的参数与剩余的网络权重一起使用梯度下降来学习。NoisyNet实现起来很简单，几乎不增加计算开销。我们发现，用NoisyNet替换A3C，DQN和决斗代理（分别为熵奖励和$ε$贪婪）的传统探索算法，对于各种Atari游戏都会产生更高的分数，在某些情况下，将代理从次人类性能提升到超人性能。
2019-07-09 cs.LG stat.ML
InferNet for Delayed Reinforcement Tasks: Addressing the Temporal Credit Assignment Problem
North Carolina State University（北卡罗来纳州立大学）
时态信用分配问题是人工智能领域中一个著名的、具有挑战性的问题。虽然强化学习（RL），特别是深度RL，在即时奖励可用时工作良好，但当只有延迟奖励可用或奖励函数有噪声时，它可能会失败。在这项工作中，我们建议委托CAP到一个基于神经网络的算法命名为Infernet，明确学习推断延迟奖励的即时奖励。InferNet的有效性在两个在线RL任务上进行了评估：一个简单的GridWorld和40个Atari游戏;以及两个离线RL任务：GridWorld和现实生活中的败血症治疗任务。对于所有任务，使用InferNet推断奖励的有效性与两种设置的即时和延迟奖励进行比较：有噪声奖励和无噪声奖励。总的来说，我们的研究结果表明，InferNet的有效性对噪声奖励函数是鲁棒的，并且是一种有效的附加机制，用于在广泛的RL任务中解决时间CAP，从经典的RL模拟环境到现实世界的RL问题，以及在线和离线学习。
2021-05-02 cs.LG
Multi-timestep models for Model-based Reinforcement Learning
EURECOM（欧洲通信学院）
本文提出用多时间步目标训练一步模型，以缓解轨迹预测误差累积，实验表明该方法在长时域和噪声环境下显著提升性能，并在批量RL中优于或匹配标准模型。
2023-10-11 cs.LG stat.ML
Robot See, Robot Do: Imitation Reward for Noisy Financial Environments
University of Zagreb（萨格勒布大学）；Faculty of Electrical Engineering and Computing（电气工程与计算机学院）
本文针对金融市场的低信噪比导致强化学习奖励函数估计存在噪声的问题，提出一种结合模仿学习与强化学习反馈的新颖稳健奖励函数，实证表明该方法显著提升了金融绩效指标。
2024-11-13 cs.LG cs.RO q-fin.TR
Classification with Costly Features using Deep Reinforcement Learning
Czech Technical University in Prague（捷克技术大学）
我们研究的分类问题，每个功能可以获得的成本和目标是优化预期的分类错误和功能成本之间的权衡。我们重新审视了以前的方法，该方法将问题框定为顺序决策问题，并通过线性近似的Q学习来解决它，其中个人行为要么是对特征值的请求，要么通过提供分类决策来终止事件。在一组八个问题，我们证明，通过取代线性近似与神经网络的方法变得可比的国家的最先进的算法专门为这个问题。该方法是灵活的，因为它可以用任何新的强化学习增强来改进，它允许包括预先训练的高性能分类器，并且与现有技术不同，它的性能在所有评估的数据集上都是鲁棒的。
2018-11-12 cs.AI cs.LG stat.ML
Quantifying First-Order Markov Violations in Noisy Reinforcement Learning: A Causal Discovery Approach
University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出结合PCMCI因果发现与马尔可夫违背分数（MVS）的方法，用于检测噪声和部分可观测性对强化学习单步转移假设的破坏，并通过经典控制任务验证关键状态维度对保持马尔可夫一致性和学习性能的重要性。
2025-06-01 cs.AI cs.LG stat.ML
Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers
RIKEN AIP（日本理化学研究所AIP）；The University of Tokyo（东京大学）；The University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）
针对不完美验证器引入的假阴性和假阳性噪声，提出后向校正（无偏奖励）和前向校正（梯度方向对齐）两种轻量级方法，在分组相对策略优化中提升数学推理性能，并设计上诉机制在线估计假阴性率。
2026-10-06 cs.AI cs.LG
Critic-Guided Reinforcement Unlearning in Text-to-Image Diffusion
SoftServe, Sadova St, 2D, Lviv, Lviv Oblast Ukraine（SoftServe）；Ukrainian Catholic University（乌克兰天主教大学）
本文提出了一种基于批评者的强化学习框架，用于文本到图像扩散模型的无学习，通过时间步感知的批评者和噪声时间步奖励提升稳定性和效果。
2026-02-15 cs.LG
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Model-free reinforcement learning with noisy actions for automated experimental control in optics
Institute for Gravitational Physics（引力物理研究所）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Institute for Theoretical Physics（理论物理研究所）；Institute of Photonics（光子研究所）；Quantum Science and Technology（量子科学与技术）；Australian National University（澳大利亚国立大学）；Software Technology Department（软件技术系）；Delft University of Technology（代尔夫特理工大学）
该研究提出在光纤耦合实验中直接采用无模型强化学习方法，利用SAC、TQC和CrossQ算法实现90%耦合效率，其中CrossQ速度最快且训练时间减半，证明实验直接训练可替代复杂系统建模。
2025-08-17 cs.LG physics.optics
Modelling resource allocation in uncertain system environment through deep reinforcement learning
Pandit Deendayal Energy University（潘迪特·德恩达亚尔能源大学）
强化学习在机电一体化、机器人等资源受限的控制系统中有着广泛的应用。资源分配问题主要使用传统的预定义技术和现代深度学习方法来解决。用于资源分配的预定义和大多数深度学习方法的缺点是在不确定系统环境的情况下无法满足需求。利用深度强化学习，可以在遵循一定准则的前提下，解决不确定系统环境中的资源分配问题。此外，强化学习具有长时间适应新的不确定环境的能力。本文对各种深度强化学习方法进行了详细的比较分析，通过应用不同的组件来修改强化学习的架构，使用噪声层，优先重放，装袋，决斗网络和其他相关组合，以获得性能的改善和计算成本的降低。通过对给定的资源分配仿真环境的探索，证明了采用Noisy Bagging对偶双深Q网络可以有效解决不确定环境下的资源分配问题，通过最大化报酬，效率达到97.7%.
2021-06-17 cs.AI cs.LG cs.MA
Gaussian RAM: Lightweight Image Classification via Stochastic Retina-Inspired Glimpse and Reinforcement Learning
Seoul National University（首尔大学）
以往对图像分类的研究主要集中在网络的性能上，而不是实时操作或模型压缩。我们提出了高斯深度循环视觉注意力模型（GDRAM）--一种基于强化学习的轻量级深度神经网络，用于大规模图像分类，其性能优于使用整个图像作为输入的传统CNN（卷积神经网络）。受生物视觉识别过程的启发，我们的模型模拟了具有高斯分布的视网膜的随机位置。我们评估了大型杂乱MNIST，大型CIFAR-10和大型CIFAR-100数据集的模型，这些数据集的宽度和高度都调整为128。
2020-11-12 cs.CV cs.LG
Enhancing Classification Performance via Reinforcement Learning for Feature Selection
本研究针对分类模型性能提升问题，采用Q-learning、SARSA两种强化学习算法进行特征选择，在BCCDS数据集结合三种归一化方法测试，最高准确率达88%，验证了强化学习特征选择的有效性。
2024-03-09 cs.LG
Noise tolerance via reinforcement: Learning a reinforced quantum dynamics
Department of Physics, College of Science, Shiraz University（物理系，科学学院，谢里兹大学）；Leiden Academic Centre for Drug Research, Faculty of Mathematics and Natural Sciences, Leiden University（药物研究学术中心，数学和自然科学学院，莱顿大学）
本研究通过强化学习方法提升量子退火过程的噪声容忍度，利用学习算法简化动力学近似，减少演化时间并避免量子反馈复杂性。
2025-12-02 cond-mat.dis-nn cs.LG quant-ph
A Layered Architecture for Active Perception: Image Classification using Deep Reinforcement Learning
Lehigh University（理海大学）
为了解决图像分类问题，我们提出了一种机器人（代理）的规划和感知机制，它只能部分地观察底层环境。一个三层架构的建议，包括一个元层，决定中间目标，一个行动层，选择本地行动的代理导航到一个目标，和一个分类层，评估奖励，并作出预测。我们使用深度强化学习来设计和实现这些层。一个广义的策略梯度算法被用来学习这些层的参数，以最大化期望的回报。我们提出的方法进行测试的MNIST数据集的手写数字，这为我们提供了一个层次的解释，同时解释代理的中间目标和行动过程。
2019-09-20 cs.AI cs.LG cs.RO
SimpleDS: A Simple Deep Reinforcement Learning Dialogue System
Heriot-Watt University（赫瑞-瓦特大学）
本文介绍了“SimpleDS”，这是一个简单且公开可用的对话系统，经过深度强化学习训练。与之前的强化学习对话系统相比，该系统通过直接从最后一个系统的原始文本和（嘈杂的）用户响应执行动作选择来避免手动特征工程。我们的初步结果，在餐厅领域，表明它确实是可能的，以诱导合理的对话行为的方法，其目的是高水平的自动化对话控制智能交互代理。
2016-01-18 cs.AI cs.LG
Reinforcement Learning Approach to Active Learning for Image Classification
Stiftung Universität Hildesheim（希尔德斯海姆大学基金会）
机器学习需要大量的标记数据来拟合模型。许多数据集已经是公开可用的，然而迫使机器学习的应用可能性到这些公共数据集的领域。机器学习算法在新的应用领域中不断增长的渗透需要解决方案来满足这些新领域中的数据需求。本文将主动学习作为一种可能的解决方案，通过只处理那些特别有利于训练任务的强模型的数据点，来减少需要手工处理的数据量。一个新提出的框架框架的主动学习工作流作为一个强化学习的问题，适用于图像分类和一系列的三个实验进行。每个实验进行了评估，并概述了该方法的潜在问题。接下来的每个实验都对框架提出了改进建议，并评估了它们的影响。在最后一个实验之后，得出了最终结论，不幸的是，拒绝了这项工作的假设，并概述了目前提出的框架不能够用经过训练的强化学习代理来改进图像分类的主动学习。
2021-08-12 cs.LG
Multi-Agent Image Classification via Reinforcement Learning
Lehigh University（理海大学）
本文研究了利用多个能够收集未知环境部分姿态依赖观测的移动智能体进行图像分类的问题，提出了一种网络架构，用于指导智能体形成局部信念、采取局部行动并从原始部分观测中提取相关特征，通过与邻居智能体交换信息更新自身信念，并利用强化学习技术实现分类问题的去中心化实现。
2019-08-06 cs.CV cs.LG cs.MA
Rate or Fate? RLV$^\varepsilon$R: Reinforcement Learning with Verifiable Noisy Rewards
Cognichip AI；University of Toronto（多伦多大学）
本文提出RLV$^\varepsilon$R框架，通过分析验证噪声对强化学习的影响，揭示了噪声如何影响学习速率与命运，并通过实验验证了在不同Youden指数下动态变化的相变特性。
2026-01-07 cs.AI cs.CL cs.LG
Efficient Symptom Inquiring and Diagnosis via Adaptive Alignment of Reinforcement Learning and Classification
Tsinghua University（清华大学）
医学自动诊断的目标是模仿人类医生在现实世界中的诊断过程，并通过与患者的交互来实现准确的诊断。该任务被制定为一系列的症状查询步骤和最终诊断的顺序决策问题。最近的研究已经分别研究了将强化学习用于症状查询和分类技术用于疾病诊断。然而，如何有效地将这两种程序结合起来的研究仍然缺乏。为了解决这个问题，我们设计了一个自适应机制，以调整强化学习和分类方法使用分布熵作为媒介。此外，我们创建了一个新的患者模拟数据集，以解决缺乏大规模评估基准的问题。该数据集是从MedlinePlus知识库中提取的，与现有数据集相比，包含了更多的疾病和更全面的症状和检查信息。实验结果表明，该方法在不同数据集上的性能优于目前三种最先进的方法，可以以更少的查询次数获得更高的医疗诊断准确率。
2022-06-05 cs.AI cs.LG
Towards Robust On-Ramp Merging via Augmented Multimodal Reinforcement Learning
Michigan Technological University（密歇根理工大学）；University of Science and Technology of China（中国科学技术大学）
尽管人工智能车载感知取得了成功，但入口匝道合并一直是自动驾驶面临的主要挑战之一。由于车载传感器的感知范围有限，并道车辆很难观察到主干道的路况并道。通过利用联网车辆和自动驾驶车辆（CAV）之间的无线通信，合并CAV有可能主动获取附近车辆的意图。然而，CAV可能容易出现不准确的观测，例如嘈杂的基本安全信息（BSM）和质量差的监视图像。在本文中，我们提出了一种新的方法，通过增强和多模态强化学习，命名为RAMRL的CAV的鲁棒入口匝道合并。具体来说，我们制定了一个马尔可夫决策过程（MDP）的入口匝道合并问题，考虑到驾驶安全，舒适的驾驶行为，和交通效率。为了提供可靠的合并操作，我们同时利用BSM和监控图像进行多模态观察，用于通过近端策略优化（PPO）学习策略模型。此外，为了提高数据效率并提供更好的泛化性能，我们训练增强数据（例如，噪声BSM和噪声监视图像）。在两种典型的合流场景下，利用城市移动性仿真平台（SUMO）进行了大量的实验。实验结果表明，我们的鲁棒入口匝道合并设计的有效性和效率。
2022-07-21 cs.AI cs.LG cs.RO
Unsupervised Reinforcement Adaptation for Class-Imbalanced Text Classification
University of Memphis（孟菲斯大学）
不同领域的模型在训练和测试时，自然存在着类的不平衡。无监督领域自适应（UDA）增强了模型的性能，只有来自源域的可访问注释和来自目标域的未标记数据。然而，现有的最先进的UDA模型学习域不变表示，并主要评估跨域的类平衡数据。在这项工作中，我们提出了一种无监督的领域自适应方法，通过强化学习，联合利用跨域的特征变量和不平衡的标签。我们实验了文本分类任务，其易于访问的数据集，并比较所提出的方法与五个基线。在三个数据集上的实验证明，我们提出的方法可以有效地学习鲁棒的域不变表示，并成功地适应文本分类器的不平衡类域。该代码可在https://github.com/woqingdoua/ImbalanceClass上获得。
2022-05-26 cs.CL cs.LG
Taming the Noise in Reinforcement Learning via Soft Updates
Hebrew University（希伯来大学）；Columbia University（哥伦比亚大学）
无模型强化学习算法（如Q学习）在噪声环境中学习的早期阶段表现不佳，因为花费了大量精力来消除对状态-动作价值函数的有偏估计。偏差的结果，从选择，在几个嘈杂的估计，明显的最佳，这可能实际上是次优的。我们提出了G学习，一个新的离策略学习算法，通过在学习过程的开始惩罚确定性策略来正则化值估计。我们表明，这种方法减少了价值函数估计的偏差，从而更快地收敛到最优值和最优策略。此外，G学习能够在可用时自然地结合先前的领域知识。G-学习的随机性也使其避免了一些探索成本，这一特性通常只归因于策略算法。我们在几个例子中说明了这些想法，其中G-学习的结果在学习过程的收敛速度和成本的显着改善。
2017-03-30 cs.IT cs.LG math.IT
Variable-Agnostic Causal Exploration for Reinforcement Learning
Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所（A2I2））；Deakin University（迪肯大学）
提出VACERL框架，无需指定因果变量，通过注意力机制识别关键步骤并构建因果图引导探索，在稀疏奖励和噪声环境下显著提升强化学习智能体性能。
2024-07-17 cs.AI cs.LG
Geometric Multi-Model Fitting by Deep Reinforcement Learning
Xiamen University（厦门大学）
本文讨论了从噪声、非结构化点集数据（例如，激光扫描点云）。我们制定多模型拟合问题作为一个顺序的决策过程。然后，我们使用深度强化学习算法来学习最佳决策，以获得最佳拟合结果。在本文中，我们比较了我们的方法对国家的最先进的模拟数据。结果表明，我们的方法显着减少了拟合迭代的次数。
2018-12-27 cs.CV cs.LG
Balancing the Scales: Reinforcement Learning for Fair Classification
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Utrecht University（乌得勒支大学）
针对分类任务的公平性问题，本文提出利用强化学习，通过缩放奖励函数并适配三种RL算法至上下文多臂老虎机框架，来缓解不平衡分类中的偏差。
2024-07-15 cs.CL cs.CY cs.LG
Scope Loss for Imbalanced Classification and RL Exploration
RBC CM（加拿大皇家银行资本市场）；University of Toronto（多伦多大学）
本文提出Scope Loss，通过揭示强化学习探索-利用权衡与监督分类数据不平衡的等价性，以梯度调整方式同时缓解过度利用和类别不平衡问题，无需调参，并在强化学习基准和偏斜分类数据集上验证其优于现有损失函数。
2023-08-08 cs.AI cs.LG
AAMDRL: Augmented Asset Management with Deep Reinforcement Learning
AI Square Connect；MILES；LAMSADE；Dauphine university（多芬大学）；LISIC；ULCO；Societe Generale（法国兴业银行）
智能体能否在具有连续、非平稳和非齐次观测的噪声和自适应环境中有效地学习？通过交易机器人，我们说明了深度强化学习（DRL）如何应对这一挑战。我们的贡献有三个方面：（i）在DRL中使用上下文信息（也称为增强状态），（ii）对于资产管理环境而言更现实的观测和动作之间的一个时段滞后的影响，（iii）实现称为向前走分析的新的重复性训练测试方法，其精神类似于时间序列的交叉验证。虽然我们的实验是在交易机器人上进行的，但它可以很容易地转换到其他机器人环境中，这些机器人环境在政权变化和噪声数据的连续环境中运行。我们的实验增强资产管理公司有兴趣找到最好的投资组合对冲策略表明，AAMDRL实现了卓越的回报和较低的风险。
2020-09-30 cs.AI cs.LG q-fin.MF
On the Robustness of Deep Reinforcement Learning in IRS-Aided Wireless Communications Systems
University of Manitoba（曼尼托巴大学）
我们考虑一个智能反射面（IRS）辅助多输入单输出（MISO）系统的下行链路传输。我们比较了深度强化学习（DRL）和传统优化方法在寻找IRS元素的最佳相移以最大化用户信噪比（SNR）方面的性能。此外，我们评估这些方法的鲁棒性，以信道损伤和系统中的变化。我们证明数字DRL解决方案显示出更强的鲁棒性，噪声信道和用户的移动性。
2021-07-26 cs.IT cs.LG math.IT
DCT: Dual Channel Training of Action Embeddings for Reinforcement Learning with Large Discrete Action Spaces
本文提出DCT框架，通过编码器-解码器架构与双通道损失学习动作嵌入，平衡动作重建与状态预测，结合标准强化学习算法，在大离散动作空间中显著提升策略学习效果与收敛速度。
2023-06-28 cs.AI cs.LG
Reinforcement Learning Algorithms: An Overview and Classification
Western University（韦仕敦大学）
使应用程序和机器更加智能的愿望以及在没有人类交互的情况下实现其操作的愿望一直在推动神经网络，深度学习和其他机器学习技术的创新。虽然强化学习主要用于视频游戏，但最近的进步和各种强大强化算法的发展使强化学习社区能够从玩视频游戏转向解决自动驾驶汽车，无人机和自动机器人等自动系统中的复杂现实问题。了解应用程序的环境和算法的局限性对于选择适当的强化学习算法以有效的方式成功解决手头的问题起着至关重要的作用。因此，在这项研究中，我们确定了三种主要的环境类型，并根据这些环境类型对强化学习算法进行分类。此外，在每个类别中，我们确定算法之间的关系。每个算法的概述提供了对算法基础的深入了解，并回顾了算法之间的相似性和差异。这项研究提供了一个视角，并帮助从业者和研究人员为他们的用例选择合适的算法。
2022-09-29 cs.AI cs.LG
Safe Reinforcement Learning through Meta-learned Instincts
IT University of Copenhagen（哥本哈根信息技术大学）
强化学习的一个重要目标是创建能够快速适应新目标的代理，同时避免可能对自身或环境造成损害的情况。代理学习的一种方式是通过探索机制，这是发现新策略所必需的。然而，在深度强化学习中，探索通常通过在动作空间中注入噪声来完成。虽然在许多领域表现良好，但这种设置具有固有的风险，即代理执行的嘈杂操作会导致环境中的不安全状态。在这里，我们介绍了一种称为元学习本能网络（MLIN）的新方法，它允许代理在其生命周期中安全地学习，同时避免潜在的危险状态。该方法的核心是一个通过强化学习训练的可塑性网络和一个进化的“本能”网络，该网络在智能体的生命周期中不会改变，但可以调节可塑性网络的噪声输出。我们测试我们的想法在一个简单的2D导航任务与禁去区，其中代理必须学会在部署过程中接近新的目标。MLIN的性能优于标准的元训练网络，并允许代理学习导航到新目标，而不会与任何禁区发生冲突。这些结果表明，用本能网络增强的元学习是一种很有前途的安全人工智能新方法，它可以在各种不同的领域实现这一领域的进展。
2020-05-06 cs.AI cs.LG
