Learning Multi-Task Transferable Rewards via Variational Inverse Reinforcement Learning
Seoul National University(首尔国立大学)
在高度复杂的环境中,许多机器人任务是由许多时间相关的子任务组成的。重要的是通过仔细考虑时间抽象来发现情境意图和适当的行动,以有效地解决问题。为了理解与不断变化的任务动态分离的意图,我们将基于授权的正则化技术扩展到基于生成对抗网络框架的多任务情况。在动态未知的多任务环境下,我们专注于从未标记的专家样本中学习奖励和策略。在本研究中,我们将情境授权定义为互信息的最大值,它代表了以特定状态和子任务为条件的行为如何影响未来。该方法通过推导情境互信息的变分下界来优化情境互信息,并通过在目标函数中加入诱导项来同时学习可转移的多任务奖励函数和策略.通过这样做,多任务奖励函数有助于学习针对环境变化的稳健政策。我们验证了我们的方法在多任务学习和多任务迁移学习上的优势。我们证明了我们提出的方法具有鲁棒性的随机性和不断变化的任务动态。最后,我们证明了我们的方法具有显着更好的性能和数据效率比现有的模仿学习方法在各种基准。
2022-06-19 cs.AI cs.LG cs.RO
Learning Transferable Policies from Action-free Time Series Through Dynamical Embeddings
Hector Institute for AI in Psychiatry (HITKIP)(赫克托人工智能精神病学研究所);Central Institute of Mental Health (CIMH)(中央精神健康研究所);Heidelberg University(海德堡大学);Interdisciplinary Center for Scientific Computing (IWR)(跨学科科学计算中心);Hertie Institute for AI in Brain Health(赫蒂人工智能脑健康研究所);University of Tübingen(蒂宾根大学)
本文提出层次化模型强化学习框架,利用低维动力学嵌入共享结构,从无动作记录学习可迁移控制策略,在Lorenz-63和双摆系统上验证了提升的迁移性能与机制分析能力。
2026-10-05 cs.LG
Safer Reinforcement Learning through Transferable Instinct Networks
IT University of Copenhagen(哥本哈根信息技术大学)
随机探索是强化学习(RL)发现性能良好的策略的主要机制之一。然而,在安全关键环境中在线学习时,它可能会导致不良或灾难性的结果。事实上,安全学习是现实世界代理在部署过程中学习的主要障碍之一。确保代理遵守硬限制的一种方法是显式配置它们可以操作的边界。虽然这在某些情况下可能有效,但我们并不总是有明确的先验信息,即哪些状态和行为可能导致危险的危险状态。在这里,我们提出了一种方法,其中附加策略可以覆盖主策略并提供更安全的替代操作。在我们的本能调节强化学习(IR^2L)方法中,一个“本能”网络被训练来识别不期望的情况,同时保护学习策略不进入这些情况。本能网络是在一个容易出错的任务上进行预训练的,然后转移到安全学习新任务的环境中。我们在OpenAI Safety gym域中演示了IR^2L,在训练过程中,它收到的安全违规数量明显低于基线RL方法,同时达到类似的任务性能。
2021-07-14 cs.AI cs.LG cs.NE
TEA: Trajectory Encoding Augmentation for Robust and Transferable Policies in Offline Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司)
本文提出轨迹编码增强(TEA)方法,通过整合序列编码器提取的动态潜在表示来扩展状态空间,有效提升了离线强化学习中单一策略在未见动态环境下的鲁棒性与可迁移性。
2025-01-26 cs.LG
EXTRACT: Efficient Policy Learning by Extracting Transferable Robot Skills from Offline Data
University of Southern California(南加州大学);KAIST(韩国科学技术院);CMU(卡内基梅隆大学);Amazon Web Services(亚马逊网络服务)
EXTRACT利用预训练视觉语言模型从离线数据中提取语义技能,无需人工监督,使机器人通过选择技能和调整参数快速学习新任务,在稀疏奖励图像操作环境中显著提升样本效率和性能。
2024-09-19 cs.AI cs.LG cs.RO
Learning Transferable Domain Priors for Safe Exploration in Reinforcement Learning
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所)
事先访问领域知识可以显着提高强化学习代理的性能。特别是,它可以帮助代理避免潜在的灾难性探索行为,否则必须在学习过程中经历。在这项工作中,我们在一组以前学习的任务中识别出一贯不受欢迎的动作,并使用与它们相关的伪奖励来学习先前的策略。除了在域中的后续任务中实现更安全的探索行为外,我们还证明了这些先验知识可以转移到类似的环境中,并且可以在离线策略下学习,并与域中其他任务的学习并行。我们将我们的方法与离散和连续环境中已建立的最先进算法进行比较,并证明它在学习执行域中的任意任务时表现出更安全的探索行为。我们还提出了一个理论分析来支持这些结果,并简要讨论了这种方法的影响和一些替代配方,这也可能是有用的,在某些情况下。
2020-09-13 cs.AI
AnyMorph: Learning Transferable Polices By Inferring Agent Morphology
Carnegie Mellon University(卡内基梅隆大学);Intel AI(英特尔人工智能);Mila(米拉研究所)
强化学习的原型方法涉及针对每种新形态从头开始为特定代理量身定制的训练策略。最近的工作旨在消除重新训练的政策,调查是否形态不可知的政策,训练不同的代理具有类似的任务目标,可以转移到新的代理看不见的形态,而无需重新训练。这是一个具有挑战性的问题,需要以前的方法使用手工设计的新代理的形态描述。我们提出了一种数据驱动的方法,而不是手工设计这种描述,该方法直接从强化学习目标学习形态学的表示。我们的是第一个强化学习算法,可以训练的政策,推广到新的代理形态,而不需要提前描述代理的形态。我们评估我们的方法对代理不可知控制的标准基准,并改善了目前的最先进的zero-shot推广到新的代理。重要的是,我们的方法达到了良好的性能,没有明确的形态描述。
2022-06-17 cs.AI cs.LG cs.RO
How Transferable are the Representations Learned by Deep Q Agents?
Carnegie Mellon University(卡内基梅隆大学);Machine Learning Department(机器学习系)
在本文中,我们考虑了深度强化学习(DRL)的样本复杂度的来源,询问有多少来自学习环境状态的有用表示的需求,有多少是由于学习策略的样本复杂度。虽然对于DRL代理,表示和策略之间的区别可能不清楚,我们通过一组迁移学习实验寻求新的见解。在每个实验中,我们保留了在同一个游戏或相关游戏上训练的一部分层,比较了迁移学习和从头开始学习策略的好处。有趣的是,我们发现,由于转移的好处是高度可变的一般和非对称的任务对。我们的实验表明,也许从更简单的环境中转移可以提高更复杂的下游任务的性能,并且根据环境,学习有用表示的要求可以从忽略不计到样本复杂性的大部分。此外,我们发现微调通常优于冻结传输层的训练,证实了在分类设置中首次注意到的见解。
2020-02-24 cs.LG stat.ML
Transferable Delay-Aware Reinforcement Learning via Implicit Causal Graph Modeling
College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学);Intelligent Game and Decision Lab (IGDL)(智能游戏与决策实验室);Institute of Military Transportation(军事交通运输研究院);School of Artificial Intelligence, Hebei University of Technology(人工智能学院,河北工业大学)
本文提出基于隐式因果图建模的可迁移延迟感知强化学习方法,通过节点级语义编码和消息传递机制学习可迁移的结构表示和环境动态知识,以优化策略并实现跨任务知识迁移。
2026-05-12 cs.AI cs.LG
ChiPFormer: Transferable Chip Placement via Offline Decision Transformer
The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Zhejiang University(浙江大学);Tianjin University(天津大学)
提出基于离线强化学习的ChiPFormer框架,通过Decision Transformer从固定数据学习可迁移芯片布局策略,显著提升布局质量并将运行时间缩短10倍。
2023-08-01 cs.AI cs.LG
ReinforceBug: A Framework to Generate Adversarial Textual Examples
University of Adelaide(阿德莱德大学);CSIROs Data61(澳大利亚联邦科学与工业研究组织数据61)
通过扰动原始训练样本生成的对抗样本(AE)在提高基于深度学习(DL)的模型的鲁棒性方面是有用的。大多数先前的作品,产生AE,要么是不合理的,由于词汇错误或语义或功能偏离原来的例子。在本文中,我们提出了ReinforceBug,一个强化学习框架,它学习一个在看不见的数据集上可转移的策略,并生成效用保持和可转移(在其他模型上)的AE。我们的研究结果表明,我们的方法是平均10%以上的成功相比,最先进的攻击文本字体。此外,目标模型在错误预测中的平均置信度为73.64%,生成的AE与原始对应物保持功能等效性和语义相似性(83.38%),并且可以在其他模型上转移,平均成功率为46%。
2021-03-11 cs.AI cs.LG
Towards the Transferability of Rewards Recovered via Regularized Inverse Reinforcement Learning
EPFL(洛桑联邦理工学院)
本文研究逆强化学习所得奖励的可迁移性问题,提出用主角度度量转移律差异,并给出多专家和单专家场景下的可迁移性充分条件及PAC学习算法。
2025-02-03 cs.AI cs.LG stat.ML
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin(柏林工业大学)
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明,非确定性的政策改进可以稳定的方法,如LSPI通过控制改进的随机性。此外,我们表明,一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单,也应该很容易转移到更复杂的算法,如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
Learning Transferable Graph Exploration
DeepMind(深度思维);Georgia Institute of Technology(佐治亚理工学院);Google Brain(谷歌大脑);University of Washington(华盛顿大学)
本文考虑了有效探索未知环境的问题,这是人工智能的一个关键挑战。我们提出了一个“学习探索”的框架,我们从环境的分布中学习政策。在测试时,呈现来自相同分布的看不见的环境,该策略旨在将探索策略概括为在有限数量的步骤中访问最大数量的唯一状态。我们特别关注的环境中遇到的许多重要的现实世界中的应用程序,如软件测试和地图建设的图形结构的状态空间。我们制定这个任务作为一个强化学习的问题,“探索”代理的奖励过渡到以前看不见的环境状态,并采用图形结构的内存编码代理的过去轨迹。实验结果表明,我们的方法是非常有效的空间地图的探索,并应用于具有挑战性的问题,覆盖率引导的软件测试领域特定的程序和现实世界的移动应用程序,它优于人工设计的方法,由人类专家。
2019-10-28 cs.LG stat.ML
A Transferable Approach for Partitioning Machine Learning Models on Multi-Chip-Modules
Google(谷歌);School of Electrical and Computer Engineering, University of California, Santa Barbara(加州大学圣塔芭芭拉分校电气与计算机工程学院)
多芯片模块(MCM)降低了机器学习(ML)加速器的设计和制造成本,同时提供与单片大型芯片相当的性能和能效。然而,针对MCM的ML编译器需要最佳和有效地解决复杂的优化问题,以实现这种高性能。一个这样的问题是多芯片划分问题,其中编译器确定MCM中的小芯片上的张量计算图中的操作的最佳划分和放置。划分MCM的ML图特别困难,因为搜索空间随着可用小芯片的数量和神经网络中的节点数量呈指数增长。此外,由底层硬件施加的约束产生有效解极其稀疏的搜索空间。在本文中,我们提出了一种策略,使用深度强化学习(RL)框架发出一个可能无效的候选分区,然后由约束求解器纠正。使用约束求解器确保RL在稀疏空间中足够频繁地遇到有效的解决方案,以便与非学习策略相比以更少的样本收敛。我们为策略网络所做的架构选择允许我们在不同的ML图中进行泛化。我们的生产规模的模型,BERT,在真实的硬件上的评估表明,使用RL策略生成的分区实现6.11%和5.85%的吞吐量比随机搜索和模拟退火。此外,微调预训练的RL策略将搜索时间从3小时减少到仅9分钟,同时实现与从头开始训练RL策略相同的吞吐量。
2021-12-07 cs.AR cs.LG
Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
主动学习(AL)的目标是通过预测未标记实例的哪个子集最有利于标记来训练具有低标注成本的高性能分类器。人工智能的重要性激发了广泛的研究,提出了各种各样的人工设计的人工智能算法与不同的理论和直观的动机。与此相反,我们建议将主动学习算法设计视为一个元学习问题,并从数据中学习最佳标准。我们将主动学习算法建模为深度神经网络,该网络输入基本学习者状态和未标记的点集,并预测接下来要注释的最佳点。用强化学习训练这个主动查询策略网络,为给定的数据集产生最佳的非近视策略。实现AL的通用解决方案的关键挑战就变成了学习者的泛化,特别是在异构数据集之间。我们提出了一个多任务的嵌入式方法,允许嵌入式不可知的主动学习者进行培训。我们的评估表明,以这种方式训练的AL算法可以直接概括各种问题。
2018-06-12 cs.LG stat.ML
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology(史蒂文斯理工学院);Xiaohongshu Inc(小红书公司)
我们研究了具有集中训练和分散执行的多智能体强化学习(MARL)。在训练期间,新的代理可以加入,并且现有代理可以意外地离开训练。在这种情况下,标准的深度MARL模型必须从头开始重新训练,这非常耗时。为了解决这个问题,我们提出了一个特殊的网络架构与少样本学习算法,允许代理的数量在集中训练过程中变化。特别是,当一个新的代理加入集中训练,我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练,其余的代理的训练过程不受影响。我们的实验表明,使用所提出的网络架构和算法,当新代理加入时,模型自适应可以比基线快100倍以上。我们的工作适用于任何环境,包括合作,竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
Learn Dynamic-Aware State Embedding for Transfer Learning
University College London(伦敦大学学院)
迁移强化学习旨在通过利用从先前任务中获得的经验来提高解决看不见的新任务的样本效率。我们考虑的设置中,所有的任务(MDP)共享相同的环境动态的奖励功能。在这种情况下,MDP动态是一个很好的知识转移,这可以推断出均匀随机策略。然而,均匀随机策略产生的轨迹对策略改进没有帮助,严重影响了样本效率。相反,我们观察到,二进制MDP动态可以推断出任何政策,避免了需要统一的随机政策的轨迹。由于二进制MDP动态包含在所有任务上共享的状态结构,因此我们认为它适合传输。基于这一观察,我们引入了一种方法来推断二进制MDP动态在线,并在同一时间利用它来指导状态嵌入学习,然后转移到新的任务。我们将状态嵌入学习和策略学习分开。因此,学习状态嵌入是任务和策略不可知的,这使得它非常适合迁移学习。此外,为了便于探索的状态空间,我们提出了一种新的内在奖励的基础上推断的二进制MDP动态。我们的方法可以与无模型RL算法结合使用。我们在\algo{DQN}和\algo{A2C}的基础上给出了两个实例。大量实验结果表明,该方法在各种迁移学习任务中具有优势。
2021-01-06 cs.AI cs.LG
CtrlFormer: Learning Transferable State Representation for Visual Control via Transformer
the University of Hong Kong(香港大学);Tsinghua University(清华大学)
Transformer在学习视觉和语言表达方面取得了巨大的成功,这在各种下游任务中是普遍的。在视觉控制中,学习能够在不同控制任务之间转移的可转移状态表示对于减少训练样本量是很重要的。然而,将Transformer移植到样本高效的视觉控制仍然是一个具有挑战性且未解决的问题。为此,我们提出了一种新的控制Transformer(CtrlFormer),具有许多吸引人的好处,现有技术没有。首先,CtrlFormer联合学习不同控制任务之间视觉令牌和策略令牌之间的自我注意力机制,其中多任务表示可以在没有灾难性遗忘的情况下学习和转移。其次,我们精心设计了一个对比强化学习范式来训练CtrlFormer,使其能够实现高样本效率,这在控制问题中是很重要的。例如,在DMControl基准测试中,与最近的高级方法不同,这些方法在使用10万个样本进行迁移学习后,在“Cartpole”任务中产生零分,而CtrlFormer可以在保持先前任务性能的同时,仅使用10万个样本就获得最先进的分数。代码和模型发布在我们的项目主页上。
2022-06-17 cs.AI cs.CV cs.LG
Fast Adaptation via Policy-Dynamics Value Functions
New York University(纽约大学);Facebook AI Research(Facebook AI研究院)
标准RL算法假设固定的环境动态,并需要大量的交互来适应新环境。我们引入了策略动态价值函数(PD-VF),这是一种新的方法,用于快速适应与以前在训练中看到的动态不同的动态。PD-VF明确估计了政策和环境空间中的累积回报。传统RL策略的集合用于收集训练环境的经验,从中可以学习策略和环境的嵌入。然后,训练以两个嵌入为条件的价值函数。在测试时,几个动作就足以推断环境嵌入,从而通过最大化学习到的价值函数(不需要额外的环境交互)来选择策略。我们表明,我们的方法可以快速适应一组MuJoCo域上的新动态。代码可在https://github.com/rraileanu/policy-dynamics-value-functions获得。
2020-07-06 cs.AI cs.LG
Hierarchical and Permutation-Invariant Feature Transformation Learning via Policy-Guided Embedding Search
University of Kansas(堪萨斯大学);Southwest University of Finance and Economics(西南财经大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Auckland(奥克兰大学);Arizona State University(亚利桑那州立大学);Northeast Normal University(东北师范大学)
针对表格数据特征变换中的层次关系缺失、置换不变性偏差及梯度搜索不适配问题,提出置换不变分层模块与策略引导多目标强化学习框架,提升预测性能与效率。
2026-09-10 cs.AI cs.LG
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology(东京工业大学);Mitsubishi Electric Corporation(三菱电机株式会社)
逆强化学习(IRL)在奖励工程可能很乏味的情况下很有吸引力。然而,先前的IRL算法使用策略上的转换,这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序,其中环境交互可能变得非常昂贵。为了解决这个问题,我们提出了Off-Policy Inverse强化学习(OPIRL),它(1)采用off-policy数据分布而不是on-policy,并能够显着减少与环境的交互次数,(2)学习一个固定的奖励函数,该函数在动态变化时具有高度的泛化能力,(3)利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果,并且交互明显减少。此外,我们的经验表明,恢复的奖励函数一般化到不同的任务,现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
Know Thyself: Transferable Visual Control Policies Through Robot-Awareness
University of Pennsylvania(宾夕法尼亚大学)
在新机器人上从头开始训练视觉控制策略通常需要生成大量特定于机器人的数据。我们如何利用以前在另一个机器人上收集的数据来减少甚至完全消除对机器人特定数据的需求?我们提出了一个“机器人感知控制”的范例,实现这一目标,利用现成的知识机器人。然后,我们通过训练模块化动力学模型,将可转移的,机器人感知的世界动力学模块与机器人特定的,潜在的分析,机器人动力学模块耦合,在机器人感知的基于模型的RL策略中实例化。这也使我们能够设置视觉规划成本,分别考虑机器人代理和世界。我们在模拟和真实机器人的桌面操作任务上的实验表明,这些插件的改进大大提高了基于视觉模型的RL策略的可转移性,甚至允许视觉操作技能zero-shot转移到新的机器人上。项目网址:https://www.seas.upenn.edu/~hued/rac
2022-10-17 cs.CV cs.LG cs.RO
Policy Regret for Embedding Model Routing: Contextual Bandits with Low-Rank Experts
Operations Research Center, MIT(麻省理工学院运筹学研究中心);Sloan School of Management, MIT(麻省理工学院斯隆管理学院);Department of EECS, MIT(麻省理工学院电气工程与计算机科学系)
针对推荐系统中嵌入模型路由问题,形式化为具有低秩专家的对抗性上下文线性赌博机,提出Hypentropy策略梯度算法,实现$\tilde{\mathcal O}(s\sqrt{M T})$线性化策略遗憾。
2026-09-28 cs.AI cs.LG stat.ML
Off-Policy Evaluation for Large Action Spaces via Embeddings
Cornell University(康奈尔大学)
上下文强盗中的离线策略评估(OPE)在现实世界的系统中得到了迅速的采用,因为它可以仅使用历史日志数据对新策略进行离线评估。不幸的是,当行动的数量很大,现有的OPE估计-其中大部分是基于逆倾向得分加权-严重退化,并可能遭受极端的偏见和方差。这使得OPE在从推荐系统到语言模型的许多应用中无法使用。为了克服这个问题,我们提出了一个新的OPE估计,利用边缘化的重要性权重时,动作嵌入提供结构的动作空间。我们的特点的偏差,方差和均方误差的估计和分析的条件下,行动嵌入提供了统计效益,传统的估计。除了理论分析,我们发现,经验性能的改善可以是实质性的,即使现有的估计崩溃,由于大量的行动,使可靠的OPE。
2022-06-16 cs.AI cs.LG stat.ML
Off-Policy Meta-Reinforcement Learning Based on Feature Embedding Spaces
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);NEC Central Research Laboratories(NEC中央研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Tokyo(东京大学)
Meta-强化学习(RL)通过使用在过去的任务中获得的经验来解决深度RL中的样本效率低下的问题。然而,大多数元RL方法需要部分或全部的策略数据,即,它们不能重用过去策略收集的数据,这阻碍了样本效率的提高。为了缓解这个问题,我们提出了一种新的非策略元RL方法,嵌入式学习和不确定性评估(ELUE)。一个ELUE代理的特点是学习的任务之间共享的特征嵌入空间。它学习嵌入空间上的信念模型和信念条件策略和Q函数。然后,对于一个新的任务,它通过预训练的策略收集数据,并根据信念模型更新其信念。由于信念更新,性能可以用少量的数据来提高。此外,当有足够的数据时,它更新神经网络的参数以调整预训练的关系。我们证明了ELUE优于国家的最先进的Meta RL方法,通过实验元RL基准。
2021-01-06 cs.AI
Self-Improving Large Language Models via Progressive Experience Evolution
本研究提出统一后训练框架SPEE,通过显式经验演化与隐式策略优化结合,在五种数学推理基准上提升了大语言模型的自我改进能力,优于现有基线方法。
2026-08-05 cs.AI cs.CL cs.LG
Meta Reinforcement Learning with Task Embedding and Shared Policy
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tsinghua University(清华大学)
尽管取得了重大进展,但深度强化学习(RL)仍存在数据效率低下和泛化能力有限的问题。最近的努力应用元学习从一组RL任务中学习元学习者,以便可以快速解决新的但相关的任务。虽然在某些方面是特定的,但元强化学习中的不同任务在高层次上通常是相似的。然而,大多数元强化学习方法没有明确和充分地建模不同任务之间的特定和共享信息,这限制了它们学习训练任务和推广到新任务的能力。在本文中,我们建议一方面捕获共享信息,另一方面元学习如何快速提取有关任务的特定信息。在方法上,我们训练SGD元学习器来快速优化每个任务的任务编码器,该任务编码器基于过去的经验生成任务嵌入。同时,我们学习了一个策略,该策略在所有任务之间共享,并以任务嵌入为条件。在四个模拟任务上的实验结果表明,我们的方法在训练和新任务上都具有更好的学习能力,并且与基线相比,获得了高达3到4倍的回报。
2019-06-04 cs.AI cs.LG stat.ML
Beyond Imitation: Reflective On-Policy Self-Distillation for LLM Reasoning
The Hong Kong Polytechnic University(香港理工大学);Baidu Inc.(百度公司);Shandong University(山东大学);Leiden University(莱顿大学)
提出反思式同策略自蒸馏(ROSD)框架,通过反思引导的错误定位蒸馏将参考解模仿转为针对性推理修正,提升领域内推理和跨领域泛化能力。
2026-09-29 cs.CL cs.LG
On The Presence of Double-Descent in Deep Reinforcement Learning
Rug(鲁日大学)
本文在深度强化学习中系统验证了双重下降现象,发现过参数化会通过降低策略熵引导策略进入更平坦的损失极小值,从而提升泛化性与鲁棒性。
2025-11-10 cs.AI cs.LG stat.ML
Transferable Deep Reinforcement Learning Framework for Autonomous Vehicles with Joint Radar-Data Communications
University of Technology Sydney(悉尼科技大学);Nanyang Technological University(南洋理工大学);York University(约克大学);Sungkyunkwan University(成均馆大学);Singapore University of Technology and Design(新加坡科技设计大学)
自动驾驶汽车(AV)需要在动态环境中安全有效地运行。为此,配备了联合雷达通信(JRC)功能的AV可以通过利用雷达检测和数据通信功能来提高驾驶安全性。然而,优化的AV系统的性能与两个不同的功能下的不确定性和动态的周围环境是非常具有挑战性的。在这项工作中,我们首先提出了一个基于马尔可夫决策过程(MDP)的智能优化框架,以帮助AV在周围环境的动态和不确定性下选择JRC操作功能时做出最优决策。然后,我们开发了一种有效的学习算法,利用深度强化学习技术的最新进展,在不需要任何有关周围环境的先验信息的情况下找到AV的最佳策略。此外,为了使我们提出的框架更具可扩展性,我们开发了一个迁移学习(TL)机制,使AV能够利用宝贵的经验,加快培训过程中,当它移动到一个新的环境。大量的模拟表明,与其他传统的深度强化学习方法相比,所提出的可转移深度强化学习框架将AV的障碍物漏检概率降低了67%。
2022-06-11 cs.LG cs.RO
Silhouette: Toward Performance-Conscious and Transferable CPU Embeddings
Boston University(波士顿大学);Intel Labs(英特尔实验室)
学习嵌入被广泛用于获得简洁的数据表示,并实现不同数据集和任务之间的迁移学习。在本文中,我们提出了Silhouette,我们的方法,利用公开的性能数据集来学习CPU嵌入。我们展示了这些嵌入如何在不同类型和大小的数据集之间实现迁移学习。这些方案中的每一个都导致目标数据集的准确性的提高。
2022-12-15 cs.LG
Beyond Policy Rollouts: Embedding-Space Directional Exploration with Anchored Noise for LLM RLVR
University of New South Wales (UNSW Sydney)(新南威尔士大学(新南威尔士大学悉尼分校))
针对RLVR中回滚轨迹相似导致优势信号弱的问题,提出EDEN方法,通过锚定噪声扰动回滚源提升探索性,在数学推理基准上优于GRPO等方法。
2026-10-14 cs.LG
Vector-Valued Distributional Reinforcement Learning Policy Evaluation: A Hilbert Space Embedding Approach
Department of Statistics, University of Illinois Urbana-Champaign(统计系,伊利诺伊大学厄巴纳-香槟分校);Department of Bioinformatics and Biostatistics, University of Louisville(生物信息学与生物统计学系,路易斯维尔大学)
本文提出了一种基于希尔伯特空间嵌入的多维分布式强化学习框架,通过核均值嵌入估计价值分布,解决了多维状态-动作空间中瓦瑟斯坦距离计算的计算挑战。
2026-09-22 cs.LG stat.ME stat.ML
Modelling transition dynamics in MDPs with RKHS embeddings
University College London(伦敦大学学院)
我们提出了一种新的,非参数的方法来学习和表示马尔可夫决策过程(MDP),它可以很容易地结合动态规划方法的政策优化和价值估计的过渡动态。这种方法利用最近开发的再生核希尔伯特空间(RKHS)中的条件分布表示为\emph{embeddings}。这样的表示绕过了估计转移概率或密度的需要,并且适用于可以定义内核的任何域。这避免了需要计算棘手的积分,因为期望值被表示为RKHS内积,其计算在用于表示嵌入的点数中具有线性复杂度。我们提供的MDP中的应用程序的建议的保证:在一个值迭代算法的上下文中,我们证明收敛到最优策略,或最接近的投影的最优策略在我们的模型类(RKHS),在合理的假设。在实验中,我们研究了一个学习任务,在一个典型的经典控制设置(欠驱动摆),并在导航问题,只有从传感器的图像进行观察。对于政策优化,我们比较最小二乘政策迭代高斯过程用于价值函数估计。对于值估计,我们也比较了NPDP方法。我们的方法在所有实验中取得了更好的性能。
2012-06-18 cs.LG
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models
研究针对大语言模型训练后优化信号耦合问题,提出PUST框架,通过代理模型探索、提取并传输相对改进信号,解耦更新信号探索与分布对齐,减少计算开销,支持异步处理与跨模型转移,提升训练后范式的模块化、可重用性与效率。
2026-11-17 cs.AI cs.LG
Graph Policy Network for Transferable Active Learning on Graphs
Tsinghua University(清华大学);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Microsoft Research(微软研究院);HEC Montreal(蒙特利尔高等商学院);Université de Montréal(蒙特利尔大学)
图神经网络(GNN)由于其在各种领域中的简单性和有效性而越来越受欢迎。然而,通常需要大量的标记数据来训练这些网络,这在某些领域中可能是非常昂贵的。在本文中,我们研究了GNN的主动学习,即,如何有效地标记图上的节点,以减少训练GNN的注释成本。我们制定的问题作为一个顺序的决策过程图和训练一个基于GNN的政策网络与强化学习学习最佳的查询策略。通过在多个具有完整标签的源图上进行联合训练,我们学习了一种可转移的主动学习策略,该策略可以直接推广到未标记的目标图。在不同领域的多个数据集上的实验结果证明了该学习策略在同一领域和不同领域的图之间传输的情况下都能有效地提高主动学习性能。
2020-10-23 cs.AI cs.LG stat.ML
Policy-Induced Self-Supervision Improves Representation Finetuning in Visual RL
University of Southern California(南加利福尼亚大学);Google Research(谷歌研究院)
本文研究了在基于视觉感知的强化学习中,如何将源任务的表征训练转移到目标任务。我们分析了两种流行的方法:冻结或微调预训练的表示。对一组流行任务的实证研究揭示了预训练表征的几个属性。首先,即使预先训练的表示完美地捕获了解决目标任务所需的信息,也需要进行微调。其次,微调表示提高了可学习性,对噪声更具鲁棒性。第三,预训练的底层是任务不可知的,并且很容易转移到新任务,而顶层编码特定于任务的信息,需要适应。在这些见解的基础上,我们提出了一个自我监督的目标,集群表示根据他们诱导的政策,而不是传统的表示相似性措施,这是政策不可知的(如欧几里德范数,余弦相似性)。再加上冻结底层,这一目标在广泛的基准上比冻结,微调和自我监督的替代方案有更好的表现。
2023-02-12 cs.CV cs.LG
Off-Policy Evaluation of Ranking Policies via Embedding-Space User Behavior Modeling
Chuo University(中央大学)
针对大排序动作空间离线策略评估的高方差问题,提出基于嵌入空间用户行为假设的GMIPS及MRIPS估计器,有效平衡偏差与方差并实现最低MSE。
2025-05-31 cs.LG stat.ML
Learning Transferable Reward for Query Object Localization with Policy Adaptation
NEC Labs America(美国NEC实验室);Rutgers University(罗格斯大学)
我们提出了一种基于强化学习的方法来查询对象定位,其中代理被训练来定位由一个小的示例集指定的感兴趣的对象。我们学习一个可转移的奖励信号制定使用的示范性的顺序度量学习。我们提出的方法使测试时的政策适应新的环境中的奖励信号是不容易获得的,并优于微调方法,仅限于注释的图像。此外,可转移的奖励允许将经过训练的代理从一个特定类别重新用于另一个类别。在MNIST、CU-Birds和COCO数据集上的实验证明了该方法的有效性。
2022-03-15 cs.CV cs.LG
GPC: Large-Scale Generative Pretraining for Transferable Motor Control
提出生成式预训练控制器(GPC),通过令牌化和下一令牌建模从大规模运动数据集中学习通用控制器,结合有限标量量化(FSQ)和自回归Transformer,实现高成功率运动复现和鲁棒的下游适应。
2026-06-28 cs.AI cs.CV cs.GR
Transferable Graphical MARL for Real-Time Estimation in Dynamic Wireless Networks
Department of Electrical and Computer Engineering, Rutgers University(罗格斯大学电气与计算机工程系);Department of Biostatistics and Bioinformatics, Duke University(杜克大学生物统计与生物信息学系);Department of Electrical and Systems Engineering, University of Pennsylvania(宾夕法尼亚大学电气与系统工程系)
本文提出了一种可迁移的图形MARL框架,用于动态无线网络中的实时估计,通过统一的多智能体强化学习方法,实现去中心化策略下的估计误差和信息年龄最小化,同时具备良好的迁移性和鲁棒性。
2026-01-19 cs.LG eess.SP
Embedding Information in Policy Randomness: Distribution-Preserving Implicit Communication in MDPs
Imperial College London(帝国理工学院)
本文提出PRAM编码方案,在不改变规定动作分布的前提下,通过调节随机策略的动作实现隐式通信,可渐近可靠解码消息,在多比特策略水印等应用中有效。
2026-10-14 cs.AI cs.IT math.IT
Plan-Space State Embeddings for Improved Reinforcement Learning
University of Southern California(南加州大学)
机器人控制问题通常是用一个策略函数来构造的,该策略函数将状态值映射到控制值,但是在许多动态问题中,观察到的状态可能难以表征与有用的策略动作的关系。在本文中,我们提出了一种新的方法学习状态嵌入计划或其他形式的演示,使嵌入空间具有特定的几何关系的演示。我们提出了一种新的变分框架来学习这些嵌入,试图优化学习的嵌入空间中的轨迹线性。我们展示了如何将这些嵌入空间用作强化学习问题中机器人状态的增强。我们使用kinodynamic规划来生成一些示例环境的训练轨迹,然后为这些环境训练嵌入空间。我们的经验表明,在学习的嵌入空间中观察系统可以提高策略梯度强化学习算法的性能,特别是通过减少训练运行之间的方差。我们的技术仅限于演示数据可用的环境,但对如何收集数据没有限制。我们的嵌入技术提供了一种方法来转移领域知识从现有的技术,如规划和控制算法,到更灵活的策略学习算法,通过创建一个抽象的机器人状态表示有意义的几何形状。
2020-04-30 cs.LG cs.RO stat.ML
Distributional Successor Features Enable Zero-Shot Policy Optimization
University of Washington(华盛顿大学)
本文提出分布性后继特征(DiSPOs)模型,通过建模数据集行为策略的后继特征分布,实现跨奖励函数的零样本策略优化,避免复合误差,并在模拟机器人任务中验证了其有效性。
2025-01-17 cs.LG
Cyclic Policy Distillation: Sample-Efficient Sim-to-Real Reinforcement Learning with Domain Randomization
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
针对域随机化强化学习中因参数范围大导致样本需求大的问题,提出循环策略蒸馏(CPD)方法,通过划分子域学习局部策略并蒸馏为全局策略,显著提升了样本效率与仿真到现实的迁移效果。
2023-04-10 cs.LG cs.RO
VPE: Variational Policy Embedding for Transfer Reinforcement Learning
Royal Institute of Technology(皇家理工学院)
强化学习方法能够解决复杂的问题,但即使在略有不同的环境中,所产生的策略也可能表现不佳。特别是在机器人领域,训练和部署条件经常变化,数据汇集成本高昂,因此不希望进行再培训。模拟训练允许可行的训练时间,但另一方面,当应用于现实世界的设置时,遭受现实差距。这就需要有效调整在新环境中采取行动的政策。我们认为这是一个问题,在一个家庭的类似马尔可夫决策过程的知识转移。为此,我们假设Q函数是由某些低维潜变量生成的。给定这样一个Q函数,我们可以找到一个主策略,它可以适应给定的这个潜在变量的不同值。我们的方法学习生成映射和潜在变量的近似后验,通过仅在潜在空间而不是所有策略的空间中搜索来识别新任务的策略。通过我们的方法发现的低维空间和主策略使策略能够快速适应新的环境。我们证明了摆摆在模拟任务的方法,并为模拟到真正的推动任务的转移。
2018-09-14 cs.LG stat.ML
Few-Shot Cross-Lingual TTS Using Transferable Phoneme Embedding
National Taiwan University(台湾大学)
本文研究了一种可转移音素嵌入框架,旨在解决Few-Shot环境下的跨语言文本到语音转换问题。迁移学习是Few-Shot学习的常用方法,因为在Few-Shot训练数据上从头开始训练必然会过拟合。尽管如此,我们发现,在提供不到8分钟的数据的极Few-Shot设置下,朴素的迁移学习方法无法适应看不见的语言。我们处理的问题,提出了一个框架,该框架由一个基于音素的TTS模型和一个码本模块从不同的语言到一个学习的潜在空间的项目音素。此外,通过利用音素级平均的自监督学习特征,我们有效地提高了合成语音的质量。实验表明,使用我们的框架,当适应一种看不见的语言时,使用4个话语(大约30秒的数据)就足以合成可理解的语音。
2022-08-03 cs.AI cs.LG eess.AS
Embedding Safety into RL: A New Take on Trust Region Methods
Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Center for Scalable Data Analytics and Artificial Intelligence(可扩展数据分析与人工智能中心)
针对强化学习智能体的不安全行为,提出C-TRPO方法,通过重塑策略空间几何确保信任域仅含安全策略,在保证训练全程满足安全约束的同时维持具竞争力的回报。
2025-08-15 cs.LG cs.SY eess.SY
Transferable Embedding Inversion Attack: Uncovering Privacy Risks in Text Embeddings without Model Queries
National Taiwan University(台湾大学)
本研究针对攻击者无法访问原始嵌入模型的现实场景,提出基于代理模型的可迁移嵌入反演攻击,在多模型与临床数据集上验证其性能优于传统方法,揭示文本嵌入的隐私漏洞并呼吁加强安全防护。
2024-06-12 cs.CL cs.CR cs.LG
Black-Box Adversarial Attack with Transferable Model-based Embedding
The Hong Kong University of Science and Technology(香港科技大学)
提出了一种新的黑盒对抗攻击方法。与以前通过使用梯度或代理白盒模型的初始化将基于转移和基于评分的方法结合起来的方法不同,这种新方法尝试使用预训练模型学习低维嵌入,然后在嵌入空间内执行有效搜索以攻击未知目标网络。该方法产生对抗扰动与高层次的语义模式,很容易转移。我们表明,这种方法可以大大提高查询效率的黑盒对抗攻击在不同的目标网络架构。我们在MNIST,ImageNet和Google Cloud Vision API上评估了我们的方法,从而显着减少了查询数量。我们还在CIFAR10和ImageNet上攻击了对抗防御网络,我们的方法不仅减少了查询次数,还提高了攻击成功率。
2020-01-05 cs.LG stat.ML
GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院);Google, Inc.(谷歌公司);New York University(纽约大学)
现代深度迁移学习方法主要集中在从一个任务中学习可转移到其他任务的通用特征向量,例如语言中的词嵌入和视觉中的预训练卷积特征。然而,这些方法通常转移一元特征,并在很大程度上忽略了更结构化的图形表示。这项工作探索了学习通用潜在关系图的可能性,这些图捕获了数据单元对之间的依赖关系(例如,字或像素),并将图形传输到下游任务。我们提出的迁移学习框架提高了各种任务的性能,包括问答,自然语言推理,情感分析和图像分类。我们还表明,学习的图是通用的,足以被转移到不同的嵌入上,图还没有被训练(包括GloVe嵌入,ELMo嵌入,和特定于任务的RNN隐藏单元),或嵌入免费的单位,如图像像素。
2018-07-02 cs.CL cs.CV cs.LG
DANE: Domain Adaptive Network Embedding
Peking University(北京大学)
最近的工作表明,网络嵌入技术使许多机器学习模型能够处理图结构数据上的各种下游任务。然而,由于以前的方法通常专注于学习单个网络的嵌入,它们不能学习在多个网络上可转移的表示。因此,设计一种网络嵌入算法来支持不同网络上的下游模型传输,称为领域自适应,是非常重要的。本文提出了一种新的域自适应网络嵌入框架,该框架利用图卷积网络学习可转移的嵌入。在DANE中,来自多个网络的节点通过一组共享的可学习参数编码为向量,以便向量共享对齐的嵌入空间。不同网络上的嵌入分布通过对抗学习正则化进一步对齐。此外,DANE在学习可迁移网络嵌入方面的优势也得到了理论上的保证。大量的实验表明,该框架在跨网络领域自适应任务中优于其他最先进的网络嵌入基线。
2019-08-19 cs.LG cs.SI stat.ML
Transferable Adversarial Robustness for Categorical Data via Universal Robust Embeddings
EPFL(洛桑联邦理工学院)
针对表格类别数据对抗鲁棒性的两大挑战,提出基于双层交替最小化的通用鲁棒嵌入方法,可训练鲁棒深度网络并将鲁棒性迁移至提升树等非深度分类器,在实用威胁模型下性能优于现有技术。
2023-12-13 cs.LG