LiveThinking: Enabling Real-Time Efficient Reasoning for AI-Powered Livestreaming via Reinforcement Learning
Taobao \& Tmall Group of Alibaba Hangzhou Zhejiang China;Taobao \& Tmall Group of Alibaba Beijing China;ROLL Team of Alibaba Hangzhou Zhejiang China;Taobao \& Tmall Group of Alibaba;ROLL Team of Alibaba
针对AI电商直播的高延迟问题,提出两阶段框架LiveThinking,通过模型蒸馏和强化学习压缩推理路径,实现亚秒级延迟并显著提升互动表现与GMV。
2025-10-09 cs.CL cs.LG
A Unified Manifold Similarity Measure Enhancing Few-Shot, Transfer, and Reinforcement Learning in Manifold-Distributed Datasets
Western Sydney University(西悉尼大学)
本研究提出一种新的流形结构相似性度量方法,可判定数据集是否适合迁移学习,还据此构建了少样本分类器实现高准确率,并探讨了该度量在强化学习、图像识别中的应用。
2024-08-12 cs.LG
Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research(谷歌研究院);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);DeepMind(深度思维公司)
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力,我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的,这些方法很少明确地利用这种结构。具体来说,我们引入了一个理论上的动机的政策相似性度量(PSM)测量状态之间的行为相似性。PSM分配高相似性的状态,在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量,我们与PSM实例化,以获得政策相似性嵌入(PSE)。我们证明了PSE在不同的基准测试中提高了泛化能力,包括具有虚假相关性的LQR,从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning
Kyung Hee University(庆熙大学);Aalborg University(奥尔堡大学);Virginia Tech(弗吉尼亚理工大学);University of Houston(休斯顿大学)
本文提出一种基于GAIL与异步联邦逆强化学习(MA-AFIRL)的方法,结合多对一匹配理论和鲸鱼优化算法,自动学习奖励函数以优化6G卫星网络的波束赋形、频谱分配和用户关联,仿真显示其收敛性和奖励值较传统RL提升14.6%。
2024-09-27 cs.LG cs.NI
GAN-powered Deep Distributional Reinforcement Learning for Resource Management in Network Slicing
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);VTT Technical Research Centre of Finland(芬兰VTT技术研究中心)
网络切片是5G通信系统中的关键技术。它的目的是在一个共同的底层物理基础设施上,为具有不同要求的多样化服务动态有效地分配资源。其中,需求感知的资源分配对于网络切片是非常重要的。在本文中,我们考虑在具有共享相同物理资源的基站的无线电接入网络中包含若干切片的场景(例如,带宽或时隙)。我们利用深度强化学习(DRL)来解决这个问题,将不同的服务需求视为环境状态,将分配的资源视为环境动作。为了减少接收到的服务水平协议(SLA)满意率(SSR)和频谱效率(SE)中嵌入的令人讨厌的随机性和噪声的影响,我们主要提出了生成对抗网络驱动的深度分布式Q网络(GAN-DDQN),以通过最小化估计动作值分布与目标动作值分布之间的差异来学习动作值分布。我们提出了一种奖励剪切机制来稳定GAN-DDQN训练,以对抗广泛的效用值的影响。此外,我们进一步开发了Dueling GAN-DDQN,它使用一个专门设计的决斗发生器,通过估计状态值分布和动作优势函数来学习动作值分布。最后,我们通过大量的仿真验证了所提出的GAN-DDQN和Dueling GAN-DDQN算法的性能。
2019-11-20 cs.AI cs.LG cs.NI
Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions
McGill University(麦吉尔大学);Quebec AI Institute(魁北克人工智能研究所);UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
强化学习(RL)代理被广泛用于解决复杂的顺序决策任务,但仍然表现出难以推广到训练过程中看不到的场景。虽然先前的在线方法表明,使用奖励函数之外的额外信号可以在RL代理中产生更好的泛化能力,即使用自监督学习(SSL),但它们在离线RL设置中挣扎,即从静态数据集学习。我们发现,在RL的泛化在线算法的性能可能会受到阻碍,由于观察之间的相似性估计不良的离线设置。我们提出了一个新的理论动机的框架,称为广义相似性函数(GSF),它使用对比学习训练离线RL代理聚合观察的基础上,他们的预期未来行为的相似性,在那里我们量化这种相似性使用\emph{generalized value functions}。我们表明,GSF是一般的,足以恢复现有的SSL目标,同时也提高了zero-shot泛化性能的一个复杂的离线RL基准测试,离线Procgen。
2021-11-29 cs.AI cs.LG
Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable Edge Computing Systems
Kyung Hee University(庆熙大学);The University of Sydney(悉尼大学);Virginia Tech(弗吉尼亚理工大学)
移动边缘计算(MEC)应用和功能的严格要求,使MEC主机在即将到来的无线网络中的高容量和密集部署更加深入。然而,操作这样的高容量MEC主机会显著增加能耗。因此,基站(BS)单元可以充当自供电BS。研究了一种有效的自供电无线网络边缘计算能量调度机制。首先,一个两阶段的线性随机规划问题制定的目标是最小化的总能源消耗成本的系统,同时满足能源需求。其次,提出了一种半分布式数据驱动的解决方案,通过开发一种新的多智能体Meta强化学习(MAMRL)框架来解决制定的问题。特别是,每个BS扮演一个本地代理的角色,探索一个马尔可夫行为的能源消耗和发电,而每个BS转移时变功能的元代理。依次地,元代理优化(即,通过仅接受来自具有其自身状态信息的每个本地代理的观测来利用)能量调度决策。同时,每个BS代理估计自己的能量调度策略,通过应用从元代理学习的参数。最后,建议MAMRL框架基准分析确定性,非对称性和随机环境中的不可再生能源的使用,能源成本和准确性。实验结果表明,所提出的MAMRL模型可以减少高达11%的不可再生能源的使用和22.4%的能源成本(95.8%的预测精度),与其他基线方法相比。
2021-02-10 cs.LG cs.MA eess.SP
Similarity-based Knowledge Transfer for Cross-Domain Reinforcement Learning
Instituto Nacional de Astrofísica, Óptica y Electrónica(墨西哥国立天体物理、光学与电子研究所);University of Bristol(布里斯托大学)
本文针对跨域强化学习的源任务选择问题,提出基于编码器-解码器与半监督对齐损失的任务相似性度量方法,可在无配对或专家数据条件下实现鲁棒的知识选择与策略迁移。
2023-12-05 cs.AI cs.LG
Towards Similarity Graphs Constructed by Deep Reinforcement Learning
Yandex;Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);National Research University Higher School of Economics(高等经济研究大学)
相似图是最近邻搜索(NNS)问题的一个活跃的研究方向。新的相似图构造算法不断被理论家和实践者提出和分析。然而,现有的构造算法大多基于算法,并且没有显式地最大化目标性能度量,即,搜索召回。因此,目前还不清楚相似图的性能是否已经稳定,或者可以用更有理论基础的方法来构建更有效的图。在本文中,我们介绍了一个新的原则算法,邻接矩阵优化的基础上,显式地最大化搜索效率。也就是说,我们提出了一个概率模型的相似性图定义的边缘概率,并显示如何学习这些概率从数据作为一个强化学习任务。实验结果表明,该方法可以用于改进现有的相似度图,在相同的距离计算次数下获得更高的召回率。此外,我们分析了学习的图,并揭示了负责更有效的搜索的结构特性。
2020-02-13 cs.AI cs.LG stat.ML
Lifelong Reinforcement Learning with Similarity-Driven Weighting by Large Models
Qiyuan Lab(启元实验室)
本文提出 SDW 框架,利用大模型离线生成任务相似性与权重计算函数,动态调控回放数据比例和策略一致性权重,在 Atari 与 MiniHack 上显著优于现有 LRL 方法。
2025-03-17 cs.LG cs.SI
ChartMaster: Advancing Chart-to-Code Generation with Real-World Charts and Chart Similarity Reinforcement Learning
South China University of Technology(华南理工大学);JD Future Academy(京东未来学院);Wuhan University(武汉大学)
针对图表到代码生成中的数据同质化与视觉一致性难题,本文提出 ReChartPrompt-240K 数据集和基于图表相似性奖励的 ChartSimRL,构建 ChartMaster,在 7B 模型中达到 SOTA。
2025-09-28 cs.LG
Cognitive Radio Network Throughput Maximization with Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学)
射频驱动的认知无线电网络(RF-CRN)很可能成为物联网(IoT)等即将到来的现代网络的眼睛和耳朵,需要增加分散和自主操作。为了被认为是自主的,RF供电的网络实体需要在本地做出决策,以在任何网络环境的不确定性下最大化网络吞吐量。然而,在复杂的大规模网络中,状态和动作空间通常很大,现有的表格强化学习技术无法快速找到最优的状态-动作策略。在本文中,提出了深度强化学习来克服上述缺点,并允许无线网关导出最佳策略以最大化网络吞吐量。当以先进的DQN技术为基准时,我们提出的DQN配置提供了高达1.8倍的性能加速,具有良好的整体性能。
2020-07-07 cs.LG cs.NI eess.SP
Target-Aligned Bellman Backup for Cross-domain Offline Reinforcement Learning
School of Artificial Intelligence(人工智能学院);Jilin University(吉林大学)
本文提出了一种基于目标域贝尔曼目标对齐的跨域离线强化学习方法,旨在通过评估源域过渡与目标域贝尔曼目标的一致性来提升策略学习性能。
2026-05-21 cs.LG
ProtoX: Explaining a Reinforcement Learning Agent via Prototyping
University of Iowa(爱荷华大学)
虽然深度强化学习已被证明在解决控制任务方面是成功的,但智能体的“黑箱”性质已受到越来越多的关注。我们提出了一个基于原型的事后策略解释器,Protox,解释了一个黑盒代理的原型代理的行为到场景中,每个代表一个原型状态。在学习原型时,Protox同时考虑视觉相似性和场景相似性。后者是强化学习环境所独有的,因为它解释了为什么在视觉上不同的状态下采取相同的动作。为了教Protox关于视觉相似性,我们通过自监督学习使用对比学习来预训练编码器,以识别状态相似,如果它们在时间上靠近并从黑盒代理接收相同的动作。然后,我们添加一个等距层,以允许Protox适应场景相似性的下游任务。Protox是通过使用行为克隆的模仿学习进行训练的,因此不需要访问环境或代理。除了解释保真度,我们设计了不同的原型塑造的目标函数,以鼓励更好的可解释性。我们进行各种实验来测试Protox。结果表明,Protox实现了对原始黑盒代理的高度保真度,同时提供了有意义和可理解的解释。
2022-11-06 cs.CV cs.LG
TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning
AGH University of Krakow(克拉科夫AGH大学);American University(美国美国大学)
本文提出TSN-Affinity方法,通过基于TinySubNetworks和Decision Transformer的策略,实现任务特定参数化和受控知识共享,提升连续离线强化学习中的多任务性能。
2026-04-28 cs.AI cs.LG
Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning
研究基于偏好的强化学习中对标注错误的鲁棒性问题,提出简单对比框架SARA,通过学习潜在表示计算奖励。在连续控制离线RL基准测试中性能有竞争力且更稳定,计算的奖励与环境奖励相关性更高。
2026-07-17 cs.AI cs.LG stat.ML
QSIM: Mitigating Overestimation in Multi-Agent Reinforcement Learning via Action Similarity Weighted Q-Learning
QSIM通过动作相似性加权Q学习缓解多智能体强化学习中的过估计问题,提升学习稳定性与性能。
2026-02-26 cs.AI cs.LG cs.MA
Learning Generalizable Representations for Reinforcement Learning via Adaptive Meta-learner of Behavioral Similarities
Nanyang Technological University(南洋理工大学)
如何从高层视觉观察中学习有效的基于强化学习的控制任务模型是一个实用且具有挑战性的问题。解决这个问题的关键是从观测中学习低维状态表示,从中可以学习有效的策略。为了促进状态编码的学习,最近的工作集中在捕获状态表示之间的行为相似性或对视觉观察应用数据增强。在本文中,我们提出了一种新的基于元学习者的框架表示学习行为相似性的强化学习。具体来说,我们的框架编码的高维观测到两个分解的嵌入在马尔可夫决策过程(MDP)的奖励和动态。一对元学习器的开发,其中一个量化的奖励相似性和其他量化的动态相似性在相应的分解嵌入。元学习器通过对策略互模拟度量中两个不相交项的近似来自学习更新状态嵌入。为了将奖励和动力学条款,我们进一步开发了一种策略,以适应性地平衡他们的影响,根据不同的任务或环境。我们的经验表明,我们提出的框架优于国家的最先进的基线上的几个基准,包括传统的DM控制套件,分散DM控制套件和自动驾驶任务CARLA。
2022-12-26 cs.LG
Hybrid Transfer in Deep Reinforcement Learning for Ads Allocation
Meituan(美团)
广告分配是指将广告和有机项目分配到Feed中的有限位置,以最大化平台收入为目的,已成为研究热点。请注意,电子商务平台通常有多个入口用于不同的类别,有些入口的访问量很少。来自这些入口的数据覆盖率很低,这使得代理很难学习。为了应对这一挑战,我们提出了基于相似性的广告分配混合传输(SHTAA),它有效地将样本和知识从数据丰富的入口转移到数据贫乏的入口。具体来说,我们定义了一个不确定性感知的相似性MDP估计不同入口的MDP的相似性。基于这种相似性,我们设计了一种混合迁移方法,包括实例迁移和策略迁移,有效地将样本和知识从一个入口转移到另一个入口。在美团外卖平台上进行的线下和线上实验表明,该方法能够在数据贫乏的入口上获得更好的性能,并增加平台的收入。
2022-08-11 cs.IR cs.LG
RIDER: 3D RNA Inverse Design with Reinforcement Learning-Guided Diffusion
University of Exeter(埃克塞特大学);Central South University(中南大学)
RIDER通过强化学习引导扩散模型直接优化3D结构相似性,提升RNA逆向设计的结构准确性与多样性。
2026-05-07 cs.LG
Human-Centric Aware UAV Trajectory Planning in Search and Rescue Missions Employing Multi-Objective Reinforcement Learning with AHP and Similarity-Based Experience Replay
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg(卢森堡大学安全、可靠性与信任跨学科中心);University of Luxembourg(卢森堡大学)
本文提出融合AHP与基于相似性经验回放的多目标强化学习框架,以兼顾作业、舒适与安全来规划搜救无人机轨迹,并调查性别线索和拟人化设计对公众接受与信任的影响。
2024-02-28 cs.AI cs.HC cs.LG
Adapting Auxiliary Losses Using Gradient Similarity
Washington State University(华盛顿州立大学);DeepMind(深度思维);Google Research(谷歌研究院)
处理神经网络统计效率低下的一种方法是依赖于辅助损失来帮助构建有用的表示。然而,要知道辅助任务是否对主任务有帮助,以及它何时会开始受到伤害,这并不总是微不足道的。我们建议使用余弦相似度梯度的任务作为自适应的权重来检测时,辅助损失是有帮助的主要损失。我们证明了我们的方法可以保证收敛到主要任务的临界点,并证明了所提出的算法在几个领域的实际用途:ImageNet子集上的多任务监督学习,网格世界上的强化学习和Atari游戏上的强化学习。
2020-11-25 cs.LG stat.ML
Reinforcement Learning for Personalized Drug Discovery and Design for Complex Diseases: A Systems Pharmacology Perspective
Hunter College, The City University of New York(纽约城市大学亨特学院);The Graduate Center, The City University of New York(纽约城市大学研究生中心);Weill Cornell Medicine, Cornell University(康奈尔大学威尔康奈尔医学院)
许多多基因系统性疾病,如神经系统疾病,炎症性疾病和大多数癌症尚未得到有效的治疗。强化学习动力系统药理学是为无法治疗的复杂疾病设计个性化疗法的潜在有效方法。本文综述了强化学习方法及其在药物设计中的最新应用。利用强化学习的系统药理学和个性化医疗的挑战进行了讨论。提出了克服这些挑战的潜在解决方案。尽管先进的强化学习技术已成功应用于靶向药物发现,但仍需要新的强化学习策略来解决面向系统药理学的个性化从头药物设计。
2022-02-23 cs.LG q-bio.BM
How to Find and Reuse Policies for Continuous Adaptation in Lifelong Reinforcement Learning
Loughborough University(拉夫堡大学);University of Pisa(比萨大学)
本研究提出AMSC方法,利用Wasserstein任务嵌入估计相似性并组合先前策略,在终身强化学习中实现高效迁移,实验显示更高性能且无遗忘。
2026-10-05 cs.AI cs.LG cs.RO
Autodiscover: A reinforcement learning recommendation system for the cold-start imbalance challenge in active learning, powered by graph-aware thompson sampling
University of Luxembourg(卢森堡大学);Luxembourg Institute of Science and Technology(卢森堡科学技术研究所)
AutoDiscover通过图感知的强化学习方法,解决主动学习中的冷启动问题,提升文献综述的筛选效率。
2026-02-04 cs.AI cs.HC cs.IR
State Representation Learning for Goal-Conditioned Reinforcement Learning
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出了一种新的无报酬马尔可夫决策过程的状态表示。其思想是以自我监督的方式学习嵌入空间,其中嵌入状态对之间的距离对应于在它们之间转换所需的最小动作数量。与以前的方法相比,我们的方法不需要任何领域知识,从离线和未标记的数据中学习。我们展示了如何利用这种表示来学习目标条件策略,提供了状态和目标之间的相似性的概念,并提供了一个有用的启发式距离来指导规划和强化学习算法。最后,我们在经典控制域和多目标环境中实证验证了我们的方法,证明我们的方法可以成功地学习大型和/或连续域中的表示。
2022-05-04 cs.LG
Reinforcement Learning Foundation Models Should Already Be A Thing
École normale supérieure de Paris, PSL University, Paris, France(巴黎高等师范学院,PSL大学,法国巴黎);Soda team, Inria Saclay, Palaiseau, France(Soda团队,法国国家信息与自动化研究所萨克雷中心,法国帕莱索)
提出通过合成MDP构建强化学习基础模型,利用固定大小的充分统计量使注意力架构适用,在线和离线实验均优于传统算法。
2026-06-19 cs.AI cs.LG
CLEANER: Self-Purified Trajectories Boost Agentic Reinforcement Learning
Peking University(北京大学);NTU, Singapore(新加坡国立大学)
研究参数受限模型探索阶段因执行失败产生噪声轨迹影响策略优化的问题,提出CLEANER,利用模型自我纠错能力净化轨迹,其SAAR机制提升平均准确率,减少训练步骤。
2026-07-07 cs.LG
ACES -- Automatic Configuration of Energy Harvesting Sensors with Reinforcement Learning
University of California, San Diego(加利福尼亚大学圣迭戈分校);Amazon(亚马逊);Carnegie Mellon University(卡内基梅隆大学)
物联网是现代建筑应用的支柱。无线传感器因其灵活性和降低的部署成本而越来越多地被采用。然而,目前大多数无线传感器都是由电池供电的,手动更换电池会抑制大规模部署。能量收集传感器提供了一种有吸引力的替代方案,但它们需要为给定不确定能源可用性的应用提供足够的服务质量。我们建议使用强化学习来优化能量收集传感器的操作,以最大限度地提高可用能量的感知质量。我们提出了我们的系统ACES,该系统使用强化学习进行周期性和事件驱动的室内感知,并收集环境光能量。我们的定制板使用超级电容器临时存储能量,感知光线,运动事件并使用蓝牙低功耗中继它们。通过模拟和实际部署,我们证明了我们的传感器节点能够适应其照明条件,并在夜间和周末连续发送测量结果和事件。我们使用部署数据来不断调整感知以适应不断变化的环境模式,并转移学习以减少实际部署中的培训时间。在我们持续两周的60个节点部署中,我们观察到0.1%的死区时间。测量亮度的周期性传感器的平均采样周期为90秒,与电池供电的节点相比,使用PIR检测运动的事件传感器平均捕获86%的事件。
2020-08-03 cs.LG cs.SY eess.SY
REPAINT: Knowledge Transfer in Deep Reinforcement Learning
Amazon Web Services(亚马逊云科技)
通过利用先前学习的任务来加速复杂任务的学习过程一直是强化学习中最具挑战性的问题之一,特别是当源任务和目标任务之间的相似性较低时。本文提出了一种用于深度强化学习中知识转移的REPresentation And Instance Transfer(REPAINT)算法。REPAINT不仅将预先训练好的教师策略的表征转移到同策略学习中,而且使用基于经验选择的方法将遵循教师策略收集的有用样本转移到离策略学习中。我们对几个基准任务的实验结果表明,REPAINT显着减少了任务相似性的一般情况下的总训练时间。特别是,当源任务与目标任务不相似或子任务时,REPAINT在训练时间减少和返回分数的渐近性能方面都优于其他基线。
2021-05-26 cs.AI cs.LG cs.RO
Self-timed Reinforcement Learning using Tsetlin Machine
Newcastle University(纽卡斯尔大学)
我们提出了一个硬件设计的学习数据路径的Tsetlin机算法,以及延迟分析的推理数据路径。为了生成一个低能耗的硬件,这是适合于普及的人工智能应用程序,我们使用的异步设计技术的混合物-包括Petri网,信号转换图,双轨和并行数据。这项工作建立在以前的设计推理硬件,并包括深入的故障的自动机反馈,概率生成和Tsetlin自动机。结果说明了异步设计在个性化医疗保健和电池供电的物联网设备等应用中的优势,这些应用中能源有限,延迟是一个重要的品质因数。异步电路中的静态时序分析的挑战也得到解决。
2021-09-02 cs.LG eess.SP
Deep Reinforcement Learning for Join Order Enumeration
Brandeis University(布兰迪斯大学)
连接顺序选择在查询性能中起着重要的作用。但是,现代查询优化器通常使用静态连接枚举算法,这些算法不会接收有关结果计划质量的任何反馈。因此,优化者经常重复选择相同的坏计划,因为他们没有“从错误中学习”的机制。在本文中,我们认为现有的深度强化学习技术可以应用于解决这一挑战。这些技术由人工神经网络驱动,可以通过整合成功和失败的反馈来自动改进决策。为了实现这一目标,我们提出了ReJOIN,一个概念验证连接枚举器,并提出了初步的结果表明,ReJOIN可以匹配或优于PostgreSQL优化器的计划质量和连接枚举效率。
2018-03-12 cs.DB cs.LG
Metrics and continuity in reinforcement learning
Google(谷歌)
在强化学习的大多数实际应用中,维护单个状态的直接估计是站不住脚的;在连续状态系统中,这是不可能的。相反,研究人员经常利用状态相似性(无论是显式还是隐式)来构建模型,这些模型可以从有限的样本集中很好地推广。因此,所使用的状态相似性的概念以及它们所诱导的邻域和拓扑结构是至关重要的,因为它将直接影响算法的性能。事实上,一些最近的作品介绍算法假设存在的“行为良好”的邻里,但离开完整的规范,这样的拓扑结构为未来的工作。在本文中,我们介绍了一个统一的形式主义,通过度量的镜头定义这些拓扑结构。我们建立了一个层次之间的这些指标,并证明其理论意义上的马尔可夫决策过程指定的强化学习问题。我们补充我们的理论结果与实证评估显示所考虑的指标之间的差异。
2021-02-02 cs.AI cs.LG stat.ML
Personalized Path Recourse for Reinforcement Learning Agents
Yale University, School of Management(耶鲁大学管理学院)
本研究提出面向强化学习智能体的个性化路径追索方法,通过兼顾目标、相似性与个性化的奖励函数训练智能体生成适配不同行为模式的追索路径,可用于多场景下的序列修正优化以实现预期目标。
2024-11-03 cs.AI cs.LG
Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models
VECTOR Labs(VECTOR实验室)
PGSRM通过嵌入相似度生成语义奖励,为变换器语言模型强化学习提供无需人工标注的替代方案。
2025-12-07 cs.LG
SAVGO: Learning State-Action Value Geometry with Cosine Similarity for Continuous Control
Delft University of Technology(代尔夫特理工大学)
SAVGO通过在动作空间中显式融入值的相似性,统一了表示学习、值估计和策略优化,提升了连续控制任务的性能。
2026-05-01 cs.LG
STRAPPER: Preference-based Reinforcement Learning via Self-training Augmentation and Peer Regularization
Zhejiang University(浙江大学);Westlake University(西湖大学)
针对基于偏好的强化学习中人类标注成本高、一致性正则化受相似性陷阱影响失效的问题,提出结合同伴正则化的自训练方法,可高效学习多种运动与机器人操作行为。
2023-07-19 cs.AI cs.LG
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University(斯坦福大学)
我们提出了一个新的深度Meta强化学习器,我们称之为深度情节值迭代(DEVI)。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练,我们表明,DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化,即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Self-Organizing Maps as a Storage and Transfer Mechanism in Reinforcement Learning
Singapore University of Technology and Design(新加坡科技设计大学)
重用来自先前学习的任务(源任务)的信息用于学习新任务(目标任务)的想法具有显著提高样本效率的潜力强化学习代理。在这项工作中,我们描述了一种方法来简洁地存储和表示学习的任务知识,并通过允许它引导探索的代理,而它学习新的任务,并重用它。为了做到这一点,我们使用的相似性的措施,直接定义在空间的参数化表示的价值函数。这种相似性度量也被用来作为一个不断增长的自组织地图算法,这是同时用于使以前获得的任务知识的存储在一个自适应和可扩展的方式的一个变体的基础上,我们经验验证我们的方法在模拟导航环境中,并讨论这种方法可能的扩展以及潜在的应用,它可能是特别有用的。
2018-07-19 cs.AI cs.LG stat.ML
Constrained Deep Reinforcement Learning for Energy Sustainable Multi-UAV based Random Access IoT Networks with NOMA
Illinois Institute of Technology(伊利诺伊理工学院);Argonne National Laboratory(阿贡国家实验室)
在本文中,我们应用非正交多址(NOMA)技术来改善无线物联网网络的大规模信道接入,其中太阳能无人机(UAV)将数据从物联网设备中继到远程服务器。具体地,IoT设备使用自适应$p$ -持久时隙Aloha协议来竞争接入共享无线信道;并且太阳能无人机采用连续干扰消除(SIC)来解码来自IoT设备的多个接收数据以提高接入效率。为了实现能量可持续的容量优化网络,我们研究了动态多无人机高度控制和物联网设备的多小区无线信道接入管理的联合问题,作为具有多个能量约束的随机控制问题。为了学习最优控制策略,我们首先将此问题表示为约束马尔可夫决策过程(CMDP),并提出一种基于拉格朗日原对偶策略优化的在线无模型约束深度强化学习(CDRL)算法来求解CMDP。大量的仿真结果表明,我们提出的算法学习无人机之间的合作策略,其中无人机的高度和物联网设备的信道接入概率是动态和联合控制,以获得最大的长期网络容量,同时保持能量的可持续性的无人机。所提出的算法优于基于深度RL的解决方案与奖励塑造占能源成本,并实现了时间平均系统容量,这是$82.4\%$高于一个可行的基于DRL的解决方案,只有$6.47\%$低于能量约束的系统。
2020-02-05 cs.LG cs.NI eess.SP
PAMD: Structured Adaptive Distances for Bisimulation Representations in Visual Reinforcement Learning
针对视觉强化学习中潜在距离选择影响性能的问题,提出PAMD(成对自适应马氏距离),它为测量潜在状态相似性参数化正定成对条件度量,是现有双模拟方法的简单插件,在视觉MuJoCo任务中显著提升了相关算法性能。
2026-07-21 cs.AI cs.LG
RLINK: Deep Reinforcement Learning for User Identity Linkage
University of Chinese Academy of Sciences(中国科学院大学);National Computer network Emergency Response technical Team(国家计算机网络应急技术处理协调中心)
用户身份链接是识别跨不同社交网络(SN)的同一用户的身份的任务。以前的工作通过估计来自不同SN的身份之间的成对相似性,预测身份对的标签或基于相似性得分选择最相关的身份对来解决这个问题。然而,这些方法中的大多数忽略了先前匹配身份的结果,这可能有助于在随后的匹配步骤中的链接。为了解决这个问题,我们将用户身份链接转化为一个序列决策问题,并提出了一个强化学习模型,从全局的角度优化链接策略。我们的方法充分利用了社会网络结构和历史匹配的身份,并探讨了长期的影响,目前的匹配对后续的决策。我们在不同类型的数据集上进行了实验,结果表明,我们的方法取得了更好的性能比其他国家的最先进的方法。
2019-10-31 cs.CY cs.LG cs.SI
Rethinking Adversarial Attacks in Reinforcement Learning from Policy Distribution Perspective
The University of Hong Kong(香港大学);Fudan University(复旦大学)
针对现有强化学习攻击仅作用于单个采样动作、难以影响整体策略分布的问题,本文提出基于 Bhattacharyya 距离的 DAPGD,利用完整策略分布生成扰动,并在机器人导航任务中取得 SOTA 攻击效果。
2025-01-08 cs.AI cs.LG
MICo: Improved representations via sampling-based state similarity for Markov decision processes
Google Research, Brain Team(谷歌研究院大脑团队);McGill University(麦吉尔大学);DeepMind
我们提出了一个新的行为距离的马尔可夫决策过程的状态空间,并证明了使用这种距离作为一种有效的手段,塑造学习表示的深度强化学习代理。虽然由于高计算成本和缺乏基于样本的算法,现有的状态相似性概念通常难以大规模学习,但我们新提出的距离解决了这两个问题。除了提供详细的理论分析,我们提供的经验证据表明,学习这个距离旁边的价值函数产生结构化和信息表示,包括强大的结果街机学习环境基准。
2022-01-21 cs.AI cs.LG
History Rhymes: Accelerating LLM Reinforcement Learning with RhymeRL
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究所,上海交通大学);ByteDance(字节跳动)
针对当前LLM强化学习系统GPU利用率不足的问题,提出RhymeRL,通过HistoSpec投机解码和HistoPipe两层调度利用历史rollout相似性,在真实环境中实现2.6倍性能提升且不损失准确性。
2025-08-26 cs.DC cs.LG
Implicit Distributional Reinforcement Learning
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
为了提高基于策略梯度的强化学习算法的样本效率,我们提出了隐式分布式行动者-批评者(IDAC),它由一个建立在两个深度生成器网络(DGN)上的分布式批评者和一个由灵活的策略分布提供动力的半隐式行动者(SIA)组成。我们采用了一个分布的角度来看,贴现的累积收益和模型,它与状态-动作相关的隐式分布,这是近似的DGNS,采取状态-动作对和随机噪声作为其输入。此外,我们使用的SIA提供一个半隐式的政策分布,混合的政策参数与重新参数化的分布,不受解析密度函数的约束。通过这种方式,策略的边际分布是隐含的,提供了对协方差结构和偏度等复杂属性建模的可能性,但其参数和熵仍然可以估计。我们将这些功能与非策略算法框架相结合,以解决具有连续动作空间的问题,并将IDAC与代表性OpenAI Gym环境中的最先进算法进行比较。我们观察到,IDAC在大多数任务中的表现优于这些基线。提供了Python代码。
2020-10-19 cs.LG stat.ML
MARCO: Multi-Round Agentic Reinforcement for Conditional Molecular Optimization
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Soochow University(苏州大学);Southeast University(东南大学);East China Normal University(华东师范大学)
MARCO提出了一种基于评估器的多轮强化学习框架,通过提议-反馈-修订轨迹训练分子编辑器,在MuMOInstruct基准上实现了性质成功率和相似性的最佳平衡。
2026-09-30 cs.CL cs.LG
Efficient Deep Reinforcement Learning via Adaptive Policy Transfer
Tianjin University(天津大学);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室);Nanjing University(南京大学);Fuxi AI Lab in Netease(网易伏羲人工智能实验室);JD Digits(京东数字科技)
迁移学习(TL)通过利用相关任务的过去学习策略中的先验知识,在加速强化学习(RL)方面显示出巨大的潜力。现有的迁移方法要么显式地计算任务之间的相似性,要么选择适当的源策略来为目标任务提供指导性的探索。然而,如何直接优化目标策略,通过交替利用知识,从适当的源策略,而不显式地测量的相似性是目前缺少的。在本文中,我们提出了一种新的策略转移框架(PTF),以加速RL利用这一思想。我们的框架学习什么时候,哪一个源策略是最好的目标策略重用,什么时候终止它通过建模多策略传输的选项学习问题。PTF可以很容易地与现有的深度RL方法相结合。实验结果表明,它显着加快了学习过程,并超越了国家的最先进的政策转移方法的学习效率和最终性能在离散和连续的行动空间。
2020-05-25 cs.AI cs.LG stat.ML
Efficient Embedding of Semantic Similarity in Control Policies via Entangled Bisimulation
Duke University(杜克大学);Apple(苹果公司)
在视觉干扰存在的情况下从视觉输入中学习可推广的策略是强化学习中具有挑战性的问题。最近,人们重新对互模拟度量作为解决这个问题的工具产生了兴趣;这些度量可以用来学习表示,原则上,通过测量状态之间的行为相似性,这些表示对不相关的干扰是不变的。在连续状态和动作场景中,这些指标的准确、无偏和可扩展的估计已被证明是难以实现的。我们提出了纠缠互模拟,互模拟度量,允许状态之间的距离函数的规格,并可以估计没有偏见的连续状态和动作空间。我们展示了纠缠互模拟如何在干扰控制套件(DCS)上比以前的方法有意义地改进,即使添加在数据增强技术之上也是如此。
2022-01-28 cs.LG stat.ML
We Should Identify and Mitigate Third-Party Safety Risks in MCP-Powered Agent Systems
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
该研究指出MCP作为LLM智能体与外部服务交互的事实标准会引入第三方安全风险,构建了相关测试框架并通过先导实验验证风险真实性,提出了构建安全MCP驱动智能体系统的研究路线图。
2025-06-16 cs.AI cs.LG
EVOM: Agentic Meta-Evolution of Actor-Critic Architectures for Reinforcement Learning
Xidian University(西安电子科技大学)
提出EVOM框架,通过双层优化(内环低保真PPO训练权重,外环LLM设计智能体驱动元进化)自动搜索高性能演员-评论家架构,在Ant-v4和HalfCheetah-v4上超越基线方法。
2026-06-26 cs.AI cs.LG
Rule-Bottleneck Reinforcement Learning: Joint Explanation and Decision Optimization for Resource Allocation with Language Agents
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);Google DeepMind(谷歌DeepMind)
针对深度RL策略缺乏透明度、语言智能体决策有效性不足的问题,提出RBRL框架,联合优化决策与解释,在真实场景中性能媲美深度RL且效率优于LLM微调,解释质量获提升。
2025-02-15 cs.AI cs.LG
Optimization of Molecules via Deep Reinforcement Learning
Stanford University(斯坦福大学);Google AI Applied Science(谷歌人工智能应用科学部)
我们提出了一个框架,我们称之为分子深度$Q$网络(MolDQN),通过结合化学领域知识和最先进的强化学习技术(双$Q$学习和随机价值函数)进行分子优化。我们直接定义分子上的修饰,从而确保100%的化学有效性。此外,我们在没有对任何数据集进行预训练的情况下进行操作,以避免该集合的选择可能产生的偏差。受药物化学铅优化过程中面临的问题的启发,我们用多目标强化学习扩展了我们的模型,该模型在保持与原始分子相似性的同时最大化了药物相似性。我们进一步展示了通过化学空间实现分子优化的路径,以了解模型是如何工作的。
2019-03-01 cs.AI cs.LG stat.ML
MagBotSim: Physics-Based Simulation and Reinforcement Learning Environments for Magnetic Robotics
Bielefeld University(比勒菲尔德大学);Fraunhofer IOSB-INA(弗劳恩霍夫研究所)
MagBotSim通过将运输与操作结合为磁力机器人群,为磁悬浮系统提供基于物理的仿真环境,以提升制造系统的效率和适应性。
2025-11-20 cs.LG cs.RO