GeMPO: Generalized Measure Matching for Online Diffusion Reinforcement Learning
Harvard University(哈佛大学);Georgia Institute of Technology(佐治亚理工学院)
提出GeMPO框架,通过将扩散RL中的重加权从softmax推广到一般单调函数,并引入负重加权机制,以解决过贪策略和负样本利用不足的问题。
2026-05-24 cs.LG
Max-Entropy Reinforcement Learning with Flow Matching and A Case Study on LQR
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);Harvard University(哈佛大学);College of Computing, Georgia Institute of Technology(佐治亚理工学院计算机学院)
本文提出了一种基于流模型的SAC变体,通过重要性采样流匹配技术提升策略更新效率,并在LQR问题中验证了其学习最优动作分布的能力。
2025-12-29 cs.LG
Enhancing Online Reinforcement Learning with Meta-Learned Objective from Offline Data
University of Electronic Science and Technology of China(电子科技大学);Sichuan Artificial Intelligence Research Institute(四川省人工智能研究院);Duke Kunshan University(昆山杜克大学)
针对稀疏奖励下在线强化学习难学最优策略的问题,提出可适配多种离策略RL的GILD模块,从离线数据元学习目标以注入内在动机,在MuJoCo稀疏奖励任务上性能超越现有最优方法。
2025-01-13 cs.LG
Reinforcement Learning for Flow-Matching Policies
Department of Electrical Engineering and Computer Sciences University of California, Berkeley(电气工程与计算机科学系 加州大学伯克利分校)
本文研究如何用强化学习训练流匹配策略以超越次优演示,提出RWFM和GRPO两种方法,并在模拟独轮车任务中验证其相比模仿学习流匹配可降低50%至85%成本。
2025-07-20 cs.LG
Enhancing Control Policy Smoothness by Aligning Actions with Predictions from Preceding States
本文提出ASAP方法,通过与前一状态预测对齐来增强控制策略的平滑性,有效抑制动作振荡并提升策略性能。
2026-01-26 cs.LG
Enhancing RLHF with Human Gaze Modeling
Innopolis University(因诺波利斯大学);University of Edinburgh(爱丁堡大学)
本文探索利用人类注视建模增强RLHF,提出注视感知奖励模型和token级稀疏奖励分布两种方法,实验表明该方法能加快收敛并降低计算成本。
2025-07-16 cs.LG
FM-IRL: Flow-Matching for Reward Modeling and Policy Regularization in Reinforcement Learning
提出利用流匹配(FM)模型作为教师,通过奖励建模和策略正则化,指导简单MLP结构的学生策略进行在线强化学习,从而解决FM策略在线交互不稳定和效率低的问题。
2026-06-01 cs.LG
Flow Matching Policy Gradients
UC Berkeley(伯克利大学);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
本研究提出流策略优化算法FPO,将流匹配引入策略梯度框架,兼容PPO-clip,无需精确似然计算,不绑定采样方法,可从零训练扩散风格策略,在连续控制任务中性能优于高斯策略,尤其在欠条件设置下表现突出。
2025-08-01 cs.LG cs.RO
Imitation Learning via Off-Policy Distribution Matching
Google Research(谷歌研究院);NYU(纽约大学)
当从专家演示中执行模仿学习时,分布匹配是一种流行的方法,其中在估计分布比率和然后在标准强化学习(RL)算法中使用这些比率作为奖励之间交替。传统上,分配率的估计需要在政策上的数据,这导致以前的工作要么是过度的数据效率低下,或改变原始目标的方式,可以大大改变其最佳。在这项工作中,我们将展示如何在原则上转换原始的分配比率估计目标,以产生一个完全关闭的政策目标。除了数据效率,这提供了,我们能够证明,这个目标也使得使用一个单独的强化学习优化是不必要的。相反,模仿策略可以直接从这个目标学习,而不使用显式奖励。我们将所得到的算法称为ValueDICE,并在一套流行的模仿学习基准上对其进行评估,发现它可以实现最先进的样本效率和性能。
2019-12-10 cs.LG stat.ML
Efficient Online Reinforcement Learning for Diffusion Policy
Harvard University(哈佛大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出重加权分数匹配(RSM)方法,通过重新加权损失函数解决在线强化学习中扩散策略训练无法从最优策略采样及反向传播成本高的问题,并基于此提出DPMD和SDAC算法,在MuJoCo基准上表现优异。
2025-06-30 cs.LG
QAMM: Adjoint MeanFlow Matching for Few-Step Offline Reinforcement Learning
Fudan University(复旦大学);ShanghaiTech University(上海科技大学);Shanghai Innovation Institute(上海创新研究院)
QAMM将评论家伴随信号转化为对MeanFlow平均速度的监督,实现少步离线强化学习,在HumanoidMaze任务上两步生成动作并达到竞争性能。
2026-09-29 cs.LG
Enhancing Safety in Reinforcement Learning with Human Feedback via Rectified Policy Optimization
ShanghaiTech University(上海科技大学);SenseTime Research(商汤科技研究院);Washington State University(华盛顿州立大学)
针对LLM对齐中期望安全约束导致的安全补偿问题,提出修正策略优化(RePO),通过修正策略梯度惩罚每个提示的严格违规,显著提升安全性并优于强基线。
2025-02-27 cs.AI cs.CY cs.LG
Hybrid Group Relative Policy Optimization: A Multi-Sample Approach to Enhancing Policy Optimization
Collins Aerospace(柯林斯航空航天公司)
本文提出Hybrid GRPO框架,通过结合经验多样本动作采样与自举价值估计来改进PPO和GRPO,在提升样本效率与学习稳定性的同时缓解方差放大问题,并展示其在LLM与真实世界智能体决策中的潜在应用。
2025-01-30 cs.AI cs.LG
TOM: Learning Policy-Aware Models for Model-Based Reinforcement Learning via Transition Occupancy Matching
University of Pennsylvania(宾夕法尼亚大学)
针对标准MBRL浪费模型容量拟合无关数据的问题,提出转移占用匹配(TOM)目标,通过重要性加权最大似然估计聚焦策略相关经验,兼容任意主干算法,在Mujoco任务上更快达到更高奖励。
2023-05-22 cs.AI cs.LG
Towards Robust Policy: Enhancing Offline Reinforcement Learning with Adversarial Attacks and Defenses
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
针对离线强化学习策略鲁棒性不足、易受观测扰动和攻击影响的问题,提出一种结合对抗攻击与防御的框架,通过训练时扰动观测并以防御为正则项增强策略,在D4RL基准上验证了防御的有效性。
2024-05-18 cs.AI cs.LG cs.RO
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology(东京工业大学);Mitsubishi Electric Corporation(三菱电机株式会社)
逆强化学习(IRL)在奖励工程可能很乏味的情况下很有吸引力。然而,先前的IRL算法使用策略上的转换,这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序,其中环境交互可能变得非常昂贵。为了解决这个问题,我们提出了Off-Policy Inverse强化学习(OPIRL),它(1)采用off-policy数据分布而不是on-policy,并能够显着减少与环境的交互次数,(2)学习一个固定的奖励函数,该函数在动态变化时具有高度的泛化能力,(3)利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果,并且交互明显减少。此外,我们的经验表明,恢复的奖励函数一般化到不同的任务,现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
Reflective Preference Optimization (RPO): Enhancing On-Policy Alignment via Hint-Guided Reflection
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Alibaba Group(阿里巴巴集团)
RPO通过提示引导的反思增强策略对齐,减少幻觉并提升多模态基准性能。
2025-12-15 cs.AI cs.LG
RNA Design via Conditioned Flow Matching and Finite-Policy Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Nanjing University(南京大学);Anhui University(安徽大学)
提出RNA-IFlow和RNA-IFlow-RL两阶段框架,通过条件流匹配建模协同变异并利用热力学反馈优化有限策略,在Rfam-27上达到85.19%的Pass@1,实现RNA设计新范式。
2026-09-30 cs.LG q-bio.BM
LLM-Driven Policy Diffusion: Enhancing Generalization in Offline Reinforcement Learning
针对离线强化学习泛化难的问题,提出结合文本与轨迹提示的LLMDPD方法,用LLM和transformer分别编码两类提示作为策略扩散模型条件,在未见任务上超越了现有最优离线RL方法。
2025-08-30 cs.AI cs.LG
Policy Distillation and Value Matching in Multiagent Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院)
多智能体强化学习算法(MARL)已经在需要多个智能体团队协调才能完成的复杂任务上得到了证明。现有的作品集中在代理之间共享信息,通过集中的批评,以稳定学习或通过沟通,以提高性能,但一般不看如何在代理之间共享信息,以解决在MARL的维数灾难。我们认为,多智能体问题可以分解成一个多任务的问题,每个代理探索状态空间的一个子集,而不是探索整个状态空间。本文介绍了一种多智能体行动者-批评者算法和方法,用于通过蒸馏和值匹配来组合来自同质智能体的知识,其性能优于单独的策略蒸馏,并允许在离散和连续动作空间中进一步学习。
2019-03-15 cs.AI cs.LG stat.ML
Off-Policy Imitation Learning from Observations
Michigan State University(密歇根州立大学);Google Research(谷歌研究院)
从观察中学习(LfO)是一种实用的强化学习场景,许多应用程序可以通过重用不完整的资源而受益。与传统的模仿学习(IL)相比,LfO由于缺乏专家的行动指导而更具挑战性。在传统IL和LfO中,分布匹配是其基础的核心。传统的分布匹配方法依赖于基于策略的转换来进行策略学习,样本开销大。为了提高样本效率,一些政策外的解决方案已经被提出,然而,这些解决方案要么缺乏全面的理论依据,要么依赖于专家行动的指导。在这项工作中,我们提出了一种样本高效的LfO方法,可以以原则性的方式实现政策外优化。为了进一步加快学习过程,我们用一个逆动作模型来调节策略更新,从模式覆盖的角度来辅助分布匹配。具有挑战性的运动任务的广泛的实证结果表明,我们的方法是与国家的最先进的采样效率和渐近性能。
2021-02-25 cs.AI cs.LG
Q-MMR: Off-Policy Evaluation via Recursive Reweighting and Moment Matching
Nanjing University(南京大学)
Q-MMR提出了一种新的理论框架,用于有限时间 horizon MDPs 的非策略评估,通过递归加权和矩匹配目标函数学习权重,实现目标策略下的预期回报近似,并在无样本条件下提供函数逼近的有限样本保证。
2026-10-26 cs.AI cs.LG stat.ML
Unsupervised Behavioral Compression: Learning Low-Dimensional Policy Manifolds through State-Occupancy Matching
本文提出Occupancy-based Policy Compression方法,通过改进策略压缩框架,以长周期状态空间覆盖替代即时动作匹配,提升行为表示的鲁棒性和泛化能力。
2026-07-07 cs.AI cs.LG
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.(Preferred Networks 公司)
为了让机器人执行关键任务,它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而,现有方法通常仅采用单个策略。这可能会限制适应性,因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题,我们提出了基于地图的多策略强化学习(MMPRL),其目的是搜索和存储编码不同行为特征的多个策略,同时在环境变化之前最大化期望奖励。由于这些政策,这是存储到一个多维的离散地图,根据其行为特征,适应可以在合理的时间内进行,而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明,MMPRL使机器人能够快速适应大的变化,而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到:https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
Discrete Flow Matching Policy Optimization
Northwestern University(西北大学);National Taiwan University(国立台湾大学)
本文提出DoMinO框架,将离散流匹配模型的采样过程视为多步马尔可夫决策过程,通过统一强化学习方法优化奖励最大化,避免偏差估计器,提升DNA序列设计效果。
2026-04-07 cs.AI cs.CE cs.LG
Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization
TikTok(字节跳动);The Pennsylvania State University(宾夕法尼亚州立大学)
该研究针对现有在线策略自蒸馏的训练不稳定、推理性能下降等问题,提出PBSD方法,经实验验证其在数学推理等基准上性能更优且训练稳定。
2026-08-24 cs.AI cs.LG
Enhancing Sample Efficiency and Exploration in Reinforcement Learning through the Integration of Diffusion Models and Proximal Policy Optimization
Bauman Moscow State Technical University(鲍曼莫斯科国立技术大学)
本文提出PPO-DAP方法,通过整合扩散模型和近端策略优化,提升强化学习的样本效率和探索能力,有效改进了连续控制任务中的学习效率和性能。
2025-12-14 cs.LG cs.RO
WPO: Enhancing RLHF with Weighted Preference Optimization
Zoom Video Communications(Zoom视频通讯公司)
本文提出加权偏好优化(WPO),通过对离线偏好数据按当前策略概率重新加权来模拟在线策略学习,缩小分布差距,在Alpaca Eval 2和MT-bench上超越DPO并取得对GPT-4-turbo的76.7%长度控制胜率。
2024-10-03 cs.AI cs.CL cs.LG
OPTS-TTPO: Enhancing Finite-Sample Policy-Gradient Learning with Tree Search
Beijing Institute of Technology, Zhuhai(北京理工大学(珠海));Dobot Robotics(越疆机器人);Zhejiang University(浙江大学);Fudan University(复旦大学);Osaka University(大阪大学)
本文提出OPTS-TTPO,利用同策略并行树搜索增强有限样本策略梯度学习,通过分支聚合引理控制梯度偏差,在MuJoCo、Atari-57和Qwen3上显著提升性能。
2026-10-01 cs.CL cs.LG
GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning
Tsinghua University(清华大学);Shenzhen University(深圳大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出GRPO-VPS,通过在推理轨迹中探测模型对正确答案的信心,改进GRPO的轨迹级反馈,实现更精准高效的策略更新,实验显示在数学和通用领域任务中均取得显著提升。
2026-04-22 cs.AI cs.LG
Reinforcement Learning for Flow-Matching Policies with Density Transport
University of Pennsylvania(宾夕法尼亚大学)
提出在线强化学习算法RLDT,利用Stein变分梯度下降构建传输场,微调预训练流匹配策略,通过期望目标估计稳定训练,在连续控制任务中优于基线方法。
2026-06-07 cs.AI cs.LG
Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning
Kyung Hee University(庆熙大学);Aalborg University(奥尔堡大学);Virginia Tech(弗吉尼亚理工大学);University of Houston(休斯顿大学)
本文提出一种基于GAIL与异步联邦逆强化学习(MA-AFIRL)的方法,结合多对一匹配理论和鲸鱼优化算法,自动学习奖励函数以优化6G卫星网络的波束赋形、频谱分配和用户关联,仿真显示其收敛性和奖励值较传统RL提升14.6%。
2024-09-27 cs.LG cs.NI
Trust Region Q Adjoint Matching
KAIST AI(韩国科学技术院人工智能);Seoul National University(首尔国立大学);RLWRLD
针对预训练流策略的离策略强化学习不稳定性,提出信任区域Q伴随匹配方法,通过投影对偶下降自适应控制路径空间KL散度,实现稳定微调,在50个OGBench任务中离线RL成功率达68%。
2026-10-09 cs.AI cs.LG cs.RO
Enhancing Generative Auto-bidding with Offline Reward Evaluation and Policy Search
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团);Department of Automation, Tsinghua University(清华大学自动化系)
针对现有生成式自动出价方法无法超越静态数据集进行探索的性能瓶颈,提出AIGB-Pearl方法,通过轨迹评估器和KL-Lipschitz约束的分数最大化方案实现安全高效探索,在模拟和真实广告系统中取得最优性能。
2026-06-19 cs.AI cs.LG
Online Matching via Reinforcement Learning: An Expert Policy Orchestration Strategy
Université Paris-Saclay, CNRS, Inria, Laboratoire de mathématiques d’Orsay(巴黎-萨克雷大学、国家科学研究中心、法国国家信息与自动化研究所、奥赛数学实验室);LAAS, Université de Toulouse, CNRS(拉劳斯研究所、图卢兹大学、国家科学研究中心)
针对在线匹配问题,提出一种基于强化学习的专家策略编排方法,通过优势加权结合专家决策,实现更快收敛和更高系统效率。
2025-10-07 cs.LG stat.ML
Safety Modulation: Enhancing Safety in Reinforcement Learning through Cost-Modulated Rewards
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
提出安全调制策略优化(SMPO)方法,通过代价感知加权函数调制奖励并引入Q代价函数作为安全评论家,在标准策略优化框架内学习安全策略,实验证明其在整体安全RL性能上优于现有方法。
2025-04-03 cs.AI cs.LG
Training Transition Policies via Distribution Matching for Complex Tasks
The Ohio State University(俄亥俄州立大学)
人类将新的复杂任务分解为更简单的任务,以利用先前学到的技能。类似地,分层强化学习试图利用简单任务的低层策略来解决复杂任务。然而,由于每个较低级别的策略引起不同的状态分布,因此从一个较低级别的策略转换到另一个较低级别的策略可能会由于意外的起始状态而失败。我们引入了过渡政策,通过产生与下一个政策所期望的相匹配的状态和动作的分布来平滑地连接较低级别的政策。训练过渡策略具有挑战性,因为自然奖励信号-下一个策略是否可以成功执行其子任务-是稀疏的。通过对抗性逆强化学习训练转换策略来匹配预期状态和动作的分布,我们避免了依赖基于任务的奖励。为了进一步提高性能,我们使用带有二进制动作空间的深度Q学习来确定何时从过渡策略切换到下一个预先训练的策略,并使用下一个子任务的成功或失败作为奖励。虽然奖励仍然稀疏,但由于简单的二元动作空间,问题不那么严重。我们展示了我们的方法,连续双足运动和手臂操作任务,需要不同的技能。我们表明,它平滑地连接较低级别的政策,实现更高的成功率比以前的方法,搜索成功的轨迹的基础上的奖励函数,但不匹配的状态分布。
2022-03-11 cs.AI cs.LG
Enhancing LLM-based Search Agents via Contribution Weighted Group Relative Policy Optimization
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Key Laboratory of Intelligent Information Processing(上海智能信息处理关键实验室)
本文提出CW-GRPO框架,通过整合过程监督与群体相对策略优化,提升搜索代理的信用分配效率,实验表明其在多个知识密集型基准上表现优异。
2026-04-20 cs.AI cs.LG
Q-Learning with Scalar Adjoint Matching
KAIST(韩国科学技术院);RLWRLD
针对流策略微调中伴随匹配计算成本高的问题,提出标量伴随匹配的Q学习(SQAM),利用速度雅可比对角化特性简化计算,并在多个难任务及真实机器人上显著提升性能。
2026-10-08 cs.AI cs.LG cs.RO
Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning
The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
Scaf-GRPO通过渐进式训练框架,在模型学习停滞时提供分层提示,有效提升大语言模型的数学推理能力。
2026-02-28 cs.AI cs.CL cs.LG
Flow Matching with Injected Noise for Offline-to-Online Reinforcement Learning
KAIST(韩国科学技术院)
本文提出FINO方法,通过注入噪声的流匹配提升离线到在线强化学习的样本效率,结合熵引导采样平衡探索与利用,实现更高效的策略优化。
2026-02-20 cs.AI cs.LG
Q-learning with Adjoint Matching
UC Berkeley(加州大学伯克利分校)
本文提出了一种基于时序差分的强化学习算法QAM,解决了连续动作强化学习中的长期挑战:高效优化表达性强的扩散或流匹配策略相对于参数化的Q函数。通过利用批评者的首阶信息进行有效优化,但直接通过反向传播其多步去噪过程进行梯度优化在数值上不稳定。现有方法通过仅使用价值和丢弃梯度信息或依赖近似方法牺牲策略的表达性或偏置学习策略。QAM通过利用生成建模中最近提出的技术伴随匹配,将批评者的动作梯度转换为逐步目标函数,避免了不稳定反向传播,同时在最优时提供无偏且表达性强的策略。结合时序差分备份进行批评者学习,QAM在离线和离线到在线强化学习的硬稀疏奖励任务中一致优于先前方法。
2026-05-18 cs.AI cs.LG cs.RO
A State-Distribution Matching Approach to Non-Episodic Reinforcement Learning
Stanford University(斯坦福大学)
虽然强化学习(RL)提供了一个通过试错进行学习的框架,但将RL算法转化为现实世界仍然具有挑战性。现实世界应用的一个主要障碍来自于在情景设置中开发算法,在情景设置中,每次试验后环境都会重置,与人类和机器人等具体代理遇到的现实世界的连续性和非情景性相反。以前的作品已经考虑了一种交替的方法,其中向前的政策学习解决任务和向后的政策学习重置环境,但什么样的初始状态分布应该向后的政策重置代理?假设访问几个示范,我们提出了一个新的方法,MEDAL,培训落后的政策,以配合国家分布在提供的示范。这使代理接近任务相关的状态,允许向前策略的简单和困难的起始状态的混合。我们的实验表明,MEDAL在EARL基准测试中的三个稀疏奖励连续控制任务上匹配或优于先前的方法,在最困难的任务上获得了40%的收益,同时比先前的工作做出了更少的假设。
2022-05-11 cs.AI cs.LG cs.RO
DM$^2$: Decentralized Multi-Agent Reinforcement Learning for Distribution Matching
The University of Texas at Austin(德克萨斯大学奥斯汀分校);SparkCognition Research(SparkCognition研究院);Sony AI(索尼AI)
本文提出去中心化多智能体算法DM$^2$,通过让各智能体独立匹配联合专家策略的目标分布,在不依赖集中式机制或显式通信的条件下实现协调,并在星际争霸任务中验证其优于朴素分布式基线。
2023-03-13 cs.AI cs.LG cs.MA
Speech Driven Backchannel Generation using Deep Q-Network for Enhancing Engagement in Human-Robot Interaction
Koç University(科奇大学);College of Engineering, Koç University(科奇大学工程学院)
我们提出了一种新的方法来训练社会机器人在人机交互过程中产生反向通道。我们在一个非策略强化学习框架内解决了这个问题,并展示了机器人如何学习产生非语言的反向通道,如笑声,当被训练以最大限度地提高用户的参与度和注意力时。这项工作的一个主要贡献是制定的问题作为一个马尔可夫决策过程(MDP)的状态定义的语音活动的用户和量化的参与水平产生的奖励。我们解决的问题属于不可能与环境进行无限制交互的应用程序(我们的环境是人类),因为它可能是耗时的,昂贵的,不切实际的,甚至是危险的,如果执行一个坏的策略。因此,我们在批处理强化学习框架中引入深度Q网络(DQN),其中使用更受控的策略从收集的批处理数据中学习最优策略。我们建议使用人与人的二元交互数据集作为一批轨迹来训练参与交互的代理。我们的实验表明,我们的方法训练的机器人从事行为在离线的方式。
2019-08-05 cs.AI cs.LG cs.RO
LASER: Latent Space Adjoint Matching for Support-Constrained Entropy-Regularized Offline RL
MIT(麻省理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
LASER通过潜空间伴随匹配实现熵正则化的离线RL,避免时间反向传播,在40个OGBench任务上以固定超参数达到最先进性能。
2026-10-16 cs.AI cs.LG cs.RO
Flow Matching Policy Optimization with Mirror Descent and Entropy Constraints
针对在线强化学习中策略表达性与探索-利用平衡的挑战,提出基于ODE流匹配的框架FMER,通过免模拟策略优化和可计算熵目标,结合动态温度调节,在稀疏奖励任务中取得优越性能。
2026-10-22 cs.LG
Enhancing Interactive Voting-Based Map Matching: Improving Efficiency and Robustness for Heterogeneous GPS Trajectories
Cuebiq Group, LLC(Cuebiq集团);MOX Laboratory(MOX实验室);Department of Mathematics, Politecnico di Milano(米兰理工学院数学系)
本文提出增强版的Interactive Voting-Based Map Matching算法,通过集成轨迹插补、距离受限投票策略及OpenStreetMap定制资产,提升了异构GPS轨迹匹配的效率、鲁棒性和普适性。
2025-08-15 cs.LG
SoftDICE for Imitation Learning: Rethinking Off-policy Distribution Matching
University of Oxford(牛津大学);Microsoft Research(微软研究院)
我们提出了SoftDICE,它实现了模仿学习的最先进的性能。SoftDICE修复了ValueDICE中的几个关键问题,ValueDICE是一种用于样本有效模仿学习的非策略分布匹配方法。具体来说,ValueDICE的目标包含期望的多项式和指数,对于这些期望,小批量梯度估计总是有偏的。其次,ValueDICE规则化的目标与重放缓冲区样本时,专家演示的数量有限,但改变了原来的分布匹配问题。第三,用于导出政策外目标的重新参数化技巧依赖于一个在训练中很少成立的隐含假设。我们利用一种新的配方的分布匹配,并考虑熵正则化的关闭政策的目标,这产生了一个完全离线的算法称为SoftDICE。我们的实证结果表明,SoftDICE恢复专家政策,只有一个演示轨迹,没有进一步的政策/政策外的样本。SoftDICE在Mujoco基准测试任务的样本效率方面也稳定地优于ValueDICE和其他基准。
2021-06-06 cs.AI cs.LG
XMatch: Enhancing Covariate-Aware Time Series Forecasting through Tree-Structured Exogenous Matching
East China Normal University(华东师范大学)
针对协变量感知时间序列预测,提出XMatch模型,通过树结构匹配外生与内生模式,自适应选择匹配条件,利用历史对应增强预测,在12个数据集上超越现有方法。
2026-09-29 cs.LG
Efficient and Accurate Co-Visible Region Localization with Matching Key-Points Crop (MKPC): A Two-Stage Pipeline for Enhancing Image Matching Performance
图像匹配是计算机视觉中的一项经典而又基本的任务。在本文中,假设的共同可见区域以外的区域携带的信息很少,我们提出了一个匹配的关键点裁剪(MKPC)算法。MKPC定位,建议和作物的关键区域,这是具有很高的效率和准确性的共同可见的区域。此外,在MKPC的基础上,我们提出了一个通用的两阶段图像匹配流水线,它兼容任何图像匹配模型或组合。我们尝试将SuperPoint + SuperGlue插入到两阶段管道中,其结果表明,我们的方法增强了户外姿态估计的性能。更重要的是,在一个公平的比较条件下,我们的方法优于SOTA的图像匹配挑战2022基准,这是目前最难的户外基准的图像匹配。
2023-03-24 cs.CV cs.LG
Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching
Stanford University(斯坦福大学);NVIDIA(英伟达)
离线模仿学习(IL)承诺能够从预先收集的演示中学习性能策略,而无需与环境交互。然而,完全离线模仿行为通常需要大量的专家数据。为了解决这个问题,我们研究的设置,我们有有限的专家数据和补充次优数据。在这种情况下,一个众所周知的问题是学习策略和收集离线数据的行为策略之间的分布偏移。先前的工作通过正则化学习策略和行为策略的静态状态-动作分布之间的KL分歧来缓解这个问题。我们认为,这种基于精确分布匹配的约束可能过于保守,并妨碍策略学习,特别是当不完美的离线数据是高度次优的。为了解决这个问题,我们提出了RelaxDICE,它采用了非对称放松的f-发散显式支持正则化。具体来说,不是驱动学习的策略与行为策略完全匹配,而是只要它们的静态状态-动作分布之间的密度比由一个常数上界,我们就施加很少的惩罚。注意,这样的公式化导致嵌套的最小-最大优化问题,这在实践中导致不稳定性。RelaxDICE通过支持内部最大化问题的封闭形式解决方案来解决这一挑战。广泛的实证研究表明,我们的方法显着优于最好的先验离线IL方法在六个标准的连续控制环境中,平均超过30%的性能增益,在22个设置中,不完美的数据集是高度次优的。
2023-03-05 cs.LG
Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models
Xi’an Jiaotong University(西安交通大学);Tencent Hunyuan(腾讯混元);National University of Singapore(新加坡国立大学)
针对流匹配模型中PPO比率裁剪的结构性缺陷,提出Flow-DPPO方法,利用高斯策略的精确KL散度计算实现散度近端约束,提升奖励和训练稳定性。
2026-06-27 cs.LG
ScoreMatchingRiesz: Score Matching for Debiased Machine Learning and Policy Path Estimation
ScoreMatchingRiesz通过分数匹配方法实现去偏机器学习和政策路径估计,提升政策效应的可解释性。
2026-01-29 cs.LG econ.EM math.ST