Unveiling Invariant and Transferable Latent Factors Across Heterogeneous Environments via ATLAS
Harvard University(哈佛大学)
研究异构环境下多环境因素模型,提出ATLAS方法,利用不变性原理和辅助标签监督,分离不变与异构因素,用于潜在因素回归,在新环境中实现可转移预测,还建立了相关非渐近误差界。
2026-07-21 cs.LG math.ST stat.ME
Blockchain as an Enabler for Transfer Learning in Smart Environments
Lero – the Irish Software Research Centre(Lero——爱尔兰软件研究中心);National University of Ireland(爱尔兰国立大学)
体现在智能系统的机器学习模型中的知识通常与耗时且昂贵的过程相关联,例如大规模数据汇集、数据标签、网络训练和模型的微调。在部署在不同环境中的智能系统之间共享和重用这些精心设计的模型,这被称为迁移学习,将促进用户采用服务,并加速智能系统在智能建筑和智能城市应用等环境中的应用。在这种情况下,人工智能环境之间的通信和知识交换依赖于复杂的系统网络、系统系统、数字资产及其依赖关系链,这些依赖关系链几乎不遵循传统信息系统的集中模式。相反,它需要一个自适应的去中心化系统架构,该架构由数据来源、工作流透明性和流程参与者验证等功能授权。在这项研究中,我们提出了一个基于区块链和知识图谱技术的去中心化和自适应软件框架,以透明和可信的方式支持物联网环境之间的知识交换和互操作性。
2022-04-11 cs.AI cs.LG
Imitation Learning for Generalizable Self-driving Policy with Sim-to-real Transfer
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
模仿学习使用专家的演示来发现最优策略,它也适用于现实世界的机器人任务。然而,在这种情况下,由于安全、经济和时间的限制,代理的训练在模拟环境中进行。然后,将该智能体应用于现实生活中的领域,使用模拟到真实的方法。在本文中,我们应用模仿学习方法在模拟环境中解决机器人任务,并使用迁移学习将这些解决方案应用于现实环境中。我们的任务设置在Duckietown环境中,机器人代理必须根据单个前向摄像头的输入图像沿着正确的车道行驶。我们提出了三个模仿学习和两个模拟到真实的方法能够实现这一任务。对这些技术进行了详细的比较,以突出它们的优点和缺点。
2022-06-22 cs.CV cs.LG cs.RO
Transfer Learning for Performance Modeling of Deep Neural Network Systems
University of South Carolina(南卡罗来纳大学);University of Wyoming(怀俄明大学)
现代深度神经网络(DNN)系统是高度可配置的,具有大量显著影响其非功能行为的选项,例如推理时间和能耗。性能模型允许理解和预测这样的配置选项对系统行为的影响,但由于配置空间大,构建成本高。一个环境中的性能模型不能直接转移到另一个环境中;通常模型是针对不同的环境(例如不同的硬件)从头开始重建的。最近,迁移学习方法已被应用于从在一个环境中训练的性能模型在另一个环境中重用知识。在本文中,我们进行了一项实证研究,以了解不同的迁移学习策略的有效性,建立DNN系统的性能模型。我们的研究结果表明,最有影响力的配置选项及其相互作用的信息传输是一种有效的方法,降低成本,建立性能模型在新的环境中。
2019-04-04 cs.DC cs.LG
IIns-VAE+: A Robust Transfer Learning Framework for Environmental Identification in Wireless Sensing
Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心);College of Semiconductor (College of Integrated Circuits), Hunan University(湖南大学半导体学院(集成电路学院));College of Computer Science, Beijing Information Science and Technology University(北京信息科技大学计算机学院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Shanghai AI Laboratory(上海人工智能实验室)
本文提出IIns-VAE+,结合IIns-VAE与极小极大风险分类器,提升无线感知环境识别在迁移学习中的鲁棒性,实验验证其显著优于基线。
2026-09-09 cs.AI cs.LG
Multi-Source Transfer Learning for Non-Stationary Environments
University of Leicester(莱斯特大学);University of Birmingham(伯明翰大学)
在数据流挖掘中,预测模型通常会由于概念漂移而导致预测性能下降。由于必须收集表示新概念的足够数据以使新概念被很好地学习,因此现有模型的预测性能通常需要一些时间来从概念漂移中恢复。为了提高数据流挖掘中概念漂移的恢复速度和预测性能,提出了一种新的非静态环境下的多源在线迁移学习方法(Melanie)。Melanie是第一种能够在非静态环境中的多个数据流源之间传输知识的方法。它创建了几个子分类器,随着时间的推移从不同的源和目标概念中学习不同的方面。识别与当前目标概念匹配良好的子分类器,并将其用于组成用于从目标概念预测示例的集成。我们评估梅兰妮几个合成数据流包含不同类型的概念漂移和现实世界的数据流。实验结果表明,Melanie算法能够处理多种数据流漂移,并通过利用多个数据源提高预测性能。
2019-03-22 cs.LG stat.ML
Few-Shot Transfer Learning for Device-Free Fingerprinting Indoor Localization
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
无设备无线室内定位是物联网(IoT)的关键技术,基于指纹的方法被广泛使用。基于指纹的方法面临的一个共同挑战是数据收集和标记。本文提出了一种Few-Shot迁移学习系统,该系统仅使用来自当前环境的少量标记数据,并重用先前在其他环境中收集的大量现有标记数据,从而显著降低了每个新环境中本地化的数据收集和标记成本。其核心方法是基于图神经网络(GNN)的Few-Shot迁移学习及其改进。在真实世界环境中进行的实验结果表明,该系统实现了与卷积神经网络(CNN)模型相当的性能,标记数据减少了40倍。
2022-01-29 cs.LG eess.SP
Deep Transfer Learning Based Downlink Channel Prediction for FDD Massive MIMO Systems
State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Department of Automation, Tsinghua University(清华大学自动化系);State Key Laboratory of Rail Traffic Control and Safety, Beijing Jiaotong University(北京交通大学轨道交通控制与安全国家重点实验室)
基于人工智能的频分复用(FDD)大规模多输入多输出(MIMO)系统下行链路信道状态信息(CSI)预测近年来受到广泛关注。然而,现有的工作集中在下行链路CSI预测的用户在给定的环境下,很难适应用户在新的环境中,特别是当标记的数据是有限的。为了解决这个问题,我们将下行链路信道预测公式化为深度迁移学习(DTL)问题,其中每个学习任务旨在针对一个单一环境从上行链路CSI预测下行链路CSI。具体来说,我们开发了基于全连接神经网络架构的直接传输算法,其中网络以经典深度学习的方式对来自所有先前环境的数据进行训练,然后针对新环境进行微调。为了进一步提高传输效率,我们提出了Meta学习算法,该算法通过交替进行任务内和跨任务更新来训练网络,然后适应具有少量标记数据的新环境。仿真结果表明,直接迁移算法的性能优于深度学习算法,表明迁移学习有利于新环境下的下行信道预测。此外,Meta学习算法在预测精度和稳定性方面均明显优于直接传递算法,验证了其有效性和优越性。
2020-09-07 cs.IT cs.LG eess.SP
An Imitation from Observation Approach to Transfer Learning with Dynamics Mismatch
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室);The University of Edinburgh(爱丁堡大学);Sony AI(索尼人工智能)
我们研究的问题,在源环境中学习到的政策转移到目标环境与不同的动态,特别是在这种情况下,它是至关重要的,以减少与目标环境的相互作用,在学习过程中。这个问题在仿真到现实迁移中尤为重要,因为仿真器不可避免地对现实世界的动态建模不完美。在本文中,我们表明,一个现有的解决方案,这个转移问题-接地动作变换-是密切相关的问题,从观察模仿(IfO):学习行为,模仿行为演示的观察。在建立这种关系之后,我们假设IfO文献中最新的方法可以有效地重新用于接地迁移学习。为了验证我们的假设,我们推导出一种新的算法-生成对抗增强动作转换(GARAT)-基于对抗模仿观察技术。我们在几个动态不匹配的领域进行了实验,发现与现有的黑盒转移方法相比,用GARAT训练的代理在目标环境中获得了更高的回报
2020-11-16 cs.AI cs.LG
Generalized Adaptive Transfer Network: Enhancing Transfer Learning in Reinforcement Learning Across Domains
Indian Institute of Technology, Madras, Tamil Nadu, India(印度理工学院马德拉斯分校,塔米尔纳德)
本文提出广义自适应迁移网络(GATN),通过领域无关表示、鲁棒性策略适配和高效迁移调度,解决强化学习跨领域迁移中的泛化、环境鲁棒性与计算效率问题,并在多个基准上验证其优越性。
2025-07-02 cs.AI cs.LG
A Unified Deep Transfer Learning Model for Accurate IoT Localization in Diverse Environments
College of Computing, Mohammed VI Polytechnic University (UM6P)(穆罕默德六世理工大学计算机学院);University of Engineering and Technology, Taxila(塔克西拉工程技术大学)
本文针对物联网定位中多环境需多模型导致成本高、复杂度大的问题,提出基于迁移学习的统一室内外定位深度学习模型,实验显示室内外定位性能分别提升约17.18%和9.79%。
2024-05-16 cs.LG cs.NI eess.SP
Transfer Learning via $\ell_1$ Regularization
Toshiba Corporation(东芝公司);The Institute of Statistical Mathematics(统计数理研究所)
机器学习算法通常需要在静止环境下的大量数据。然而,在许多实际应用中,环境是非平稳的。关键问题在于如何在不断变化的环境下有效地调整模型。我们提出了一种通过$\ell_1$正则化将知识从源域转移到目标域的方法。除了普通的$\ell_1$正则化之外,我们还将源参数和目标参数之间的差异的$\ell_1$正则化。因此,我们的方法产生稀疏的估计本身和估计的变化。该方法在平稳环境下具有严格的估计误差界,且在小残差下估计值与源估计值保持不变。此外,估计是一致的基本功能,即使源估计是错误的,由于非平稳性。实验结果表明,该方法有效地平衡了稳定性和塑性。
2020-06-26 cs.LG stat.ML
Transfer Learning for VLC-based indoor Localization: Addressing Environmental Variability
Institut Supérieur d’Electronique de Paris (ISEP)(巴黎电子高等学院);Sorbonne University(索邦大学);University Paris-Saclay(巴黎-萨克雷大学);LISV, France(法国LISV实验室);Robert Bosch GmbH(罗伯特·博世集团)
针对基于可见光通信(VLC)的室内定位受环境波动影响的问题,提出集成DNN的迁移学习框架,在博世工厂真实数据上实现精度、能效、算力的显著提升,仅需少量数据即可适配多变环境,适配工业4.0需求。
2025-07-02 cs.LG eess.SP
Transfer Meta-Learning: Information-Theoretic Bounds and Information Meta-Risk Minimization
King’s College London(伦敦国王学院);Chalmers Institute of Technology(查尔姆斯理工大学)
元学习通过观察来自多个相关任务的数据来自动推断归纳偏差。归纳偏差由确定模型类或训练算法的方面的超参数编码,例如初始化或学习率。元学习假设学习任务属于一个任务环境,并且在元训练和元测试期间任务都是从同一个任务环境中提取的。然而,这在实践中可能不成立。在本文中,我们介绍了迁移元学习的问题,其中任务是从目标任务环境中提取的元测试过程中,可能不同于元训练过程中观察到的源任务环境。新的信息理论上界获得的转移元泛化差距,衡量元训练损失之间的差异,在元学习者,和Meta测试数据的平均损失从一个新的,随机选择的,在目标任务环境中的任务。第一个界限,在平均传输元泛化差距,通过源和目标数据分布之间的KL分歧捕获源和目标任务环境之间的元环境转移。第二,PAC贝叶斯界,和第三,单次抽奖界,占这种转变通过源和目标任务分布之间的对数似然比。此外,介绍了两种迁移元学习解决方案。对于第一个,称为经验元风险最小化(EMRM),我们得出的平均最优差距的界限。第二,称为信息元风险最小化(IMRM),是通过最小化PAC贝叶斯界。通过实验表明,IMRM可能优于EMRM。
2020-11-06 cs.IT cs.LG eess.SP
Efficient transfer learning and online adaptation with latent variable models for continuous control
Uber AI Labs(优步人工智能实验室)
传统的基于模型的强化学习依赖于手工指定或学习的环境过渡动态模型。这些方法是样本有效的,并且促进了在现实世界中的学习,但是不能推广到底层动态中的细微变化,例如,这是由于机器人代理或时间上的质量、摩擦或致动器的差异。我们建议使用变分推理来学习未知环境属性的显式潜在表示,以加速学习并促进测试时对新环境的泛化。我们使用这些学习到的潜在的在线贝叶斯推理,以快速适应在线环境的变化,而无需保留最近数据的大型重放缓冲区。结合一个神经网络合奏,模型动态和捕捉动态的不确定性,我们的方法表明,在训练和在线适应的连续控制任务HalfCheetah的正迁移。
2018-12-08 cs.LG stat.ML
Edge Caching Optimization with PPO and Transfer Learning for Dynamic Environments
Lassonde School of Engineering at York University(约克大学拉松德工程学院)
针对动态环境下边缘缓存策略易失效的问题,提出基于PPO并融合文件属性的缓存策略,结合变化检测机制与迁移学习加速策略适应,仿真证明其优于现有DRL方法。
2024-11-14 cs.LG cs.NI cs.SY
MARLINE: Multi-Source Mapping Transfer Learning for Non-Stationary Environments
School of Informatics University of Leicester(信息学院 利兹大学);School of Computer Science University of Birmingham(计算机科学学院 氏伯明翰大学)
针对概念漂移中源目标概念不匹配问题,提出MARLINE方法,通过将目标概念投影至各源概念空间,集成多源子分类器预测,在合成和真实数据集上优于现有方法。
2025-09-09 cs.AI cs.LG
Transfer Learning for Performance Modeling of Configurable Systems: A Causal Analysis
University of South Carolina(南卡罗来纳大学)
现代系统(例如,深度神经网络、大数据分析和编译器)是高度可配置的,这意味着它们在不同的配置下暴露不同的性能行为。根本的挑战是,由于配置空间的庞大规模,人们无法简单地测量所有配置。迁移学习通过跨环境迁移有关系统性能行为的知识来减少测量工作。此前,研究表明,统计模型确实可以跨环境转移。在这项工作中,我们调查的因果关系和统计关系在高度可配置的系统的可识别性和可移植性。我们的因果分析与之前的探索性分析\cite{Jamshidi17}一致,并确认配置选项的因果影响可以在高置信度的环境中进行。我们期望,能够结转因果关系将使高配置系统的有效性能分析。
2019-02-26 cs.AI cs.LG
LEAPER: Fast and Accurate FPGA-based System Performance Prediction via Transfer Learning
ETH Zürich(苏黎世联邦理工学院);IBM Research Europe Zurich(IBM欧洲苏黎世研究院);Eindhoven University of Technology(埃因霍温理工大学)
机器学习最近获得了牵引力,作为克服FPGA上缓慢的加速器生成和实现过程的一种方式。它可用于构建性能和资源使用模型,从而实现快速的早期设计空间探索。首先,训练需要大量的数据(从设计综合和实现工具中提取的特征),由于加速器设计和实现过程耗时,这是成本效率低下的。其次,针对特定环境训练的模型无法预测新的未知环境的性能或资源使用情况。在云系统中,租用数据汇集平台来构建ML模型可以显著增加系统的总拥有成本(TCO)。第三,使用有限数量的样本训练的基于ML的模型容易过拟合。为了克服这些限制,我们提出了LEAPER,一个基于迁移学习的方法,用于预测基于FPGA的系统的性能和资源使用。LEAPER的核心思想是将针对低端边缘环境训练的基于ML的性能和资源使用模型转移到新的高端云环境,为加速器实施提供快速准确的预测。实验结果表明,LEAPER(1)在六个工作负载和五个FPGA上,当我们使用我们的转移模型在云环境中进行预测时,平均准确率为85%,并且(2)将FPGA上加速器实现的设计空间探索时间减少了10倍,从几天到几个小时。
2022-10-02 cs.AI cs.AR cs.LG
Multi-Environment based Meta-Learning with CSI Fingerprints for Radio Based Positioning
Huawei Technologies Duesseldorf GmbH(华为技术杜塞尔多夫有限公司);Technische Universität Ilmenau(伊尔默瑙工业大学)
基于使用信道状态信息(CSI)指纹的深度学习(DL)方法的用户设备(UE)的基于无线电的定位已经显示出有希望的结果。DL模型能够捕获嵌入在CSI中的关于特定环境的复杂属性,并将UE的CSI映射到UE的位置。然而,CSI指纹和在这样的指纹上训练的DL模型高度依赖于特定的传播环境,这通常限制了DL模型的知识从一个环境到另一个环境的转移。在本文中,我们提出了一个DL模型由两部分组成:第一部分的目的是学习环境无关的功能,而第二部分结合这些功能取决于特定的环境。为了改进迁移学习,我们提出了一种Meta学习方案,用于在多个环境中训练第一部分。我们表明,对于在新环境中的定位,与从一个环境到新环境的常规转移学习相比,或者与仅使用来自新环境的指纹从头开始训练DL模型相比,使用Meta学习的环境独立函数初始化DL模型可以实现更高的UE定位精度。我们提出的方案是能够创建一个环境独立的功能,可以嵌入知识从多个环境中,更有效地从一个新的环境中学习。
2022-10-26 cs.AI cs.LG eess.SP
Protective Policy Transfer
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
在训练机器人在不可预测的现实世界环境中操作时,能够将现有技能转移到新的情况是一个关键能力。一个成功的转移算法不仅要尽量减少机器人在新环境中需要收集的样本数量,还要防止机器人在转移过程中损坏自身或周围环境。在这项工作中,我们引入了一个政策转移算法,以适应机器人运动技能,以新的情况下,同时尽量减少严重的故障。我们的算法在训练环境中训练两种控制策略:一种是优化的任务策略,以完成感兴趣的任务,另一种是专门用于防止机器人发生不安全事件(例如摔倒在地)的保护策略。为了决定在执行过程中使用哪个策略,我们在训练环境中学习了一个安全估计器模型,该模型估计机器人的连续安全级别。当与一组阈值一起使用时,安全估计器变成用于在保护策略和任务策略之间切换的分类器。我们评估我们的方法上四个模拟机器人运动问题和二维导航问题,并表明我们的方法可以实现成功的转移到显着不同的环境,同时考虑到机器人的安全性。
2020-12-11 cs.LG cs.RO
Kinematic Morphing Networks for Manipulation Skill Transfer
University of Stuttgart(斯图加特大学)
机器人技能在不同几何环境之间的转移是重要的,因为存在各种各样的环境,传感器观察以及机器人运动是高维的,并且环境可能仅被部分观察到。我们考虑的问题提取低维描述的操纵环境中的运动模型的形式。这允许我们通过在原型模型上定义策略并将观察到的环境变形为该原型来转移技能。深度神经网络用于将环境的深度图像观测映射到变形参数,变形参数包括原型模型的变换和配置参数。使用仿射变换的级联属性和将点云转换为深度图像的能力允许以迭代方式应用网络。该网络在模拟器中生成的数据和通过使用网络预测创建的增强数据上进行训练。该算法在不同的任务,它表明,迭代预测导致更高的准确性比一步预测。
2018-03-05 cs.LG cs.RO
Learning from Imperfect Demonstrations via Adversarial Confidence Transfer
Stanford University(斯坦福大学)
现有的示教学习算法通常假设访问专家演示。然而,这种假设在许多现实世界的应用中是有限的,因为收集的演示可能是次优的,甚至包括失败的情况。因此,我们研究的问题,从不完美的示范学习的信心预测。具体来说,我们依赖于来自不同对应环境(源环境)的演示及其置信度值来学习我们旨在学习策略的环境(目标环境-其中我们只有未标记的演示)的置信度预测器。我们通过多长度部分轨迹的对抗性分布匹配来学习一个共同的潜在空间,以实现跨源和目标环境的置信度转移。学习的信心重新加权的示范,使学习更多的信息演示和丢弃不相关的。我们在三个模拟环境和一个真正的机器人达到任务的实验表明,我们的方法学习的政策具有最高的预期回报。
2022-03-02 cs.LG cs.RO
Policy Transfer across Visual and Dynamics Domain Gaps via Iterative Grounding
USC(南加州大学);NAVER AI Lab(NAVER人工智能实验室)
将策略从一个环境转移到另一个环境的能力是在任务监督不可用的现实环境中进行有效机器人学习的有希望的途径。这可以让我们利用非常适合训练的环境,例如模拟器或实验室,来学习家庭或办公室中真正机器人的策略。为了成功,这种策略转移必须克服源环境和目标环境之间的视觉域间隙(例如,不同的照明或背景)和动态域间隙(例如,不同的机器人校准或建模误差)。然而,现有的策略转移方法要么不能处理大的域间隙,要么一次只能解决一种类型的域间隙。在本文中,我们提出了一种新的政策转移方法与迭代的“环境接地”,IDAPT,交替(1)直接最小化视觉和动态域之间的差距接地源环境在目标环境域,(2)训练接地源环境的政策。这种迭代训练逐步调整两个环境之间的域,并使策略适应目标环境。一旦经过训练,该策略就可以直接在目标环境中执行。运动和机器人操作任务的实证结果表明,我们的方法可以有效地转移政策的视觉和动力学领域的差距,最小的监督和与目标环境的互动。视频和代码可在https://clvrai.com/idapt上获得。
2021-07-01 cs.AI cs.LG cs.RO
Learning Representations that Support Robust Transfer of Predictors
Massachusetts Institute of Technology(麻省理工学院)
确保推广到看不见的环境仍然是一个挑战。领域转移可能导致性能大幅下降,除非转移是在可用的训练环境中得到很好的锻炼。我们介绍了一个简单的鲁棒性估计标准-转移风险-这是专门面向优化转移到新的环境。实际上,该标准相当于找到一种表示,该表示将在一个环境中训练的任何最佳预测器应用于另一个环境的风险最小化。转移风险基本上分解成两个方面,一个直接转移项和加权梯度匹配项所产生的每环境预测的最优性。虽然受到了ESTA的启发,我们表明,转移风险作为一个更好的分布外泛化标准,无论是理论上还是经验上。我们进一步展示了优化这种转移风险对两个受控设置的影响,每个设置代表不同的环境变化模式,以及两个真实世界的数据集。实验上,该方法在各种分布外泛化任务中优于基线。代码可在\url{https://github.com/Newbeeer/TRM}上获得。
2021-10-19 cs.LG
A New Representation of Successor Features for Transfer across Dissimilar Environments
Applied Artificial Intelligence Institute ( A 2I 2 ), Deakin Uni-versity, Geelong, Australia
强化学习中的迁移通常是通过跨任务的泛化来实现的。虽然许多研究调查了奖励函数变化时的知识转移,但他们假设环境的动态保持一致。许多现实世界的RL问题需要在具有不同动态的环境之间进行转移。为了解决这个问题,我们提出了一种方法的基础上的继任者的功能,在该方法中,我们模型的继任者的特征函数与高斯过程允许源继任者的功能被视为噪声测量的目标继任者的特征函数。我们的理论分析证明了这种方法的收敛性以及在具有不同动态和奖励的环境中用高斯过程建模后继特征函数的有界误差。我们在基准数据集上演示了我们的方法,并表明它优于当前的基线。
2021-07-18 cs.LG
Transferable Deep Reinforcement Learning Framework for Autonomous Vehicles with Joint Radar-Data Communications
University of Technology Sydney(悉尼科技大学);Nanyang Technological University(南洋理工大学);York University(约克大学);Sungkyunkwan University(成均馆大学);Singapore University of Technology and Design(新加坡科技设计大学)
自动驾驶汽车(AV)需要在动态环境中安全有效地运行。为此,配备了联合雷达通信(JRC)功能的AV可以通过利用雷达检测和数据通信功能来提高驾驶安全性。然而,优化的AV系统的性能与两个不同的功能下的不确定性和动态的周围环境是非常具有挑战性的。在这项工作中,我们首先提出了一个基于马尔可夫决策过程(MDP)的智能优化框架,以帮助AV在周围环境的动态和不确定性下选择JRC操作功能时做出最优决策。然后,我们开发了一种有效的学习算法,利用深度强化学习技术的最新进展,在不需要任何有关周围环境的先验信息的情况下找到AV的最佳策略。此外,为了使我们提出的框架更具可扩展性,我们开发了一个迁移学习(TL)机制,使AV能够利用宝贵的经验,加快培训过程中,当它移动到一个新的环境。大量的模拟表明,与其他传统的深度强化学习方法相比,所提出的可转移深度强化学习框架将AV的障碍物漏检概率降低了67%。
2022-06-11 cs.LG cs.RO
A Controlled Study of Double DQN and Dueling DQN Under Cross-Environment Transfer
Dhanani School of Science and Engineering(丹尼尼科学与工程学院)
本文通过对比DDQN和对战DQN在跨环境迁移中的表现,发现DDQN在迁移中更稳定,而对战DQN则易出现负迁移。
2026-02-11 cs.AI cs.LG
Environment Transfer for Distributed Systems
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
收集足够数量的数据,可以代表各种声学环境属性是分布式声学机器学习的关键问题。已经引入了几种音频数据增强技术来解决这个问题,但是它们往往停留在对现有数据的简单操纵中,并且不足以覆盖环境的可变性。我们提出了一种方法来扩展已用于在音频数据之间传输声学风格纹理的技术。该方法在用于分布式声学数据增强的环境之间传送音频签名。本文设计的指标来评估生成的声学数据,分类精度和内容保存的基础上。使用UrbanSound8K数据集进行了一系列实验,结果表明,该方法在保留内容特征的同时,生成了更好的音频数据。
2021-01-06 cs.LG cs.SD eess.AS
An advantage based policy transfer algorithm for reinforcement learning with measures of transferability
The Ohio State University(俄亥俄州立大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
提出离策略优势迁移算法APT-RL,利用优势正则化权衡源与目标知识,并引入迁移性度量,在连续控制任务中优于现有迁移算法且对抗任务不逊于从头学习。
2024-12-15 cs.AI cs.LG
Emergent Complexity and Zero-shot Transfer via Unsupervised Environment Design
University of California Berkeley(加州大学伯克利分校);Berkeley AI Research (BAIR)(伯克利人工智能研究院(BAIR));Google Research(谷歌研究院)
广泛的强化学习(RL)问题-包括鲁棒性,迁移学习,无监督RL和紧急复杂性-需要指定任务或环境的分布,其中将训练策略。然而,创建一个有用的环境分布是容易出错的,并且需要开发人员花费大量的时间和精力。我们提出无监督环境设计(UED)作为一种替代范式,开发人员提供未知参数的环境,这些参数用于自动生成有效的,可解决的环境分布。现有的方法来自动生成环境遭受常见的故障模式:域随机化不能生成结构或适应环境的难度,以代理的学习进度,和极大极小对抗训练导致最坏情况下的环境,往往是无法解决的。为了生成结构化的,可解决的环境,我们的主角代理,我们引入了第二个,拮抗剂代理,与环境生成对手结盟。对手的动机是产生环境,最大限度地后悔,定义为主角和拮抗剂的回报之间的差异。我们把这种技术称为“主角-拮抗剂-后悔-环境设计”(PAIRED)。我们的实验表明,PAIRED产生一个自然的课程越来越复杂的环境,和PAIRED代理实现更高的zero-shot传输性能时,在高度新颖的环境中进行测试。
2021-02-04 cs.AI cs.LG cs.MA
EnvBridge: Bridging Diverse Environments with Cross-Environment Knowledge Transfer for Embodied AI
Panasonic Connect Co., Ltd.(松下连接有限公司);National University of Singapore(新加坡国立大学);Panasonic R&D Center Singapore(松下新加坡研发中心);Panasonic R&D Center Germany(松下德国研发中心)
本文提出EnvBridge方法,通过将成功的机器人控制代码从源环境迁移到目标环境,并利用多环境知识,提升LLM智能体在机器人操作中的跨环境适应性与泛化能力,在RLBench、MetaWorld和CALVIN基准上验证了有效性。
2024-10-22 cs.AI cs.CL cs.LG
Synthesized Policies for Transfer and Adaptation across Tasks and Environments
University of Southern California(南加州大学);Tencent AI Lab(腾讯人工智能实验室);Netflix(奈飞)
强化学习中的迁移能力是构建通用人工智能代理的关键。在本文中,我们考虑了学习同时跨环境(ENV)和任务(ASK)迁移的问题,可能更重要的是,通过从所有可能的组合中只学习稀疏(ENV,ASK)对。我们提出了一种新的组合神经网络架构,描述了一个Meta规则组成的环境和任务嵌入的政策。值得注意的是,主要的挑战之一是学习嵌入与Meta规则。我们进一步提出了新的训练方法来解开嵌入,使它们既成为环境和任务的独特签名,又成为组成策略的有效构建块。GridWorld和雷神,其中代理作为输入的自我中心的观点,实验表明,我们的方法产生了很高的成功率对所有(ENV,任务)对学习后,只有40%。
2021-05-26 cs.LG stat.ML
Transfer Learning in Latent Contextual Bandits with Covariate Shift Through Causal Transportability
Aalto University(阿尔托大学)
本文针对潜在上下文赌博机在协变量偏移下的迁移学习问题,利用因果可迁移性理论设计算法,避免负迁移,并通过变分自编码器处理高维代理,实验证明其学习效率优于基线。
2025-02-27 cs.LG
TEA: Trajectory Encoding Augmentation for Robust and Transferable Policies in Offline Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司)
本文提出轨迹编码增强(TEA)方法,通过整合序列编码器提取的动态潜在表示来扩展状态空间,有效提升了离线强化学习中单一策略在未见动态环境下的鲁棒性与可迁移性。
2025-01-26 cs.LG
MULTIPOLAR: Multi-Source Policy Aggregation for Transfer Reinforcement Learning between Diverse Environmental Dynamics
OMRON SINIC X(欧姆龙SINIC X);Technical University of Munich(慕尼黑工业大学)
迁移强化学习(RL)旨在通过利用在相关任务上训练的其他源代理的知识来提高代理的学习效率。然而,在无法进入源环境的情况下,在不同的环境动态之间转移知识仍然具有挑战性。在这项工作中,我们探索了一个新的挑战,在转移强化学习,只有一组源政策收集下不同的未知动态是有效地学习目标任务。为了解决这个问题,所提出的方法,多源策略聚集拒绝(MULTIPOLAR),包括两个关键技术。我们学习自适应地聚合源策略提供的操作,以最大化目标任务性能。同时,我们学习了一个辅助网络,该网络预测聚合动作周围的残差,即使在一些源策略表现不佳的情况下,也能确保目标策略的表达能力。我们通过在六个模拟环境中进行广泛的实验评估,从经典的控制问题到具有挑战性的机器人模拟,在连续和离散的动作空间下,证明了多极的有效性。演示视频和代码可以在项目网页上找到:https://omron-sinicx.github.io/multipolar/。
2020-12-10 cs.LG stat.ML
Multi-Environment Pretraining Enables Transfer to Action Limited Datasets
University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑);McGill University(麦吉尔大学);Mila(米拉人工智能研究院);DeepMind(深度思维)
使用大规模数据集来训练大规模模型已经成为自然语言和视觉应用中广泛泛化的主要方法。然而,在强化学习中,一个关键的挑战是顺序决策的可用数据通常没有用动作来注释-例如,玩游戏的视频比与其记录的游戏控制配对的帧序列更可用。我们建议规避这一挑战相结合的大型,但稀疏注释的数据集从\emph{target}环境的利益与完全注释的数据集从各种其他\emph{source}环境。我们的方法,行动有限预训练(ALPT),利用逆动力学建模(IDM)的泛化能力,在目标环境中标记缺失的动作数据。我们表明,在IDM预训练过程中,即使利用一个额外的环境数据集的标记数据,也会在生成未注释序列的动作标签方面产生实质性的改进。我们评估我们的方法在基准游戏环境,并表明,我们可以显着提高游戏性能和泛化能力相比,其他方法,使用注释数据集相当于只有$12$分钟的游戏。突出IDM的力量,我们表明,即使目标和源环境没有共同的行动,这些好处仍然存在。
2022-12-05 cs.LG
From Video Game to Real Robot: The Transfer between Action Spaces
Karelics Oy(卡雷利茨公司);School of Computing, University of Eastern Finland(东芬兰大学计算机学院);School of Electrical Engineering, Aalto University(阿尔托大学电气工程学院)
深度强化学习已被证明在模拟环境中的学习任务是成功的,但将相同的技术应用于现实世界领域的机器人更具挑战性,因为它们需要数小时的训练。为了解决这个问题,迁移学习可以被用来训练的政策,首先在一个模拟的环境中,然后将其转移到物理代理。由于模拟永远不会完美地匹配现实,因此这些环境之间的物理,视觉和动作空间必然会在一定程度上有所不同。在这项工作中,我们研究如何一般的视频游戏可以直接使用,而不是微调模拟的仿真到现实迁移。特别是,我们研究了如何智能体可以学习新的动作空间自主,当游戏动作不匹配的机器人动作。我们的研究结果表明,不同的动作空间可以通过重新训练只有部分的神经网络,我们获得了90%以上的平均成功率在仿真和机器人实验。
2020-03-23 cs.AI cs.LG cs.RO
Crossing the Cyber Divide: Sim-to-Sim and Sim-to-Real Transfer for RL Agents
The University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
本研究提出一个将状态对齐与动作转换分离的框架,实现网络攻击智能体在多个模拟器间及模拟器到真实环境的零样本策略迁移,无需重新训练,并在实验中验证了其可行性与行为相似性。
2026-10-02 cs.CR cs.LG
Zero-Shot Reinforcement Learning on Graphs for Autonomous Exploration Under Uncertainty
Stevens Institute of Technology(斯蒂文斯理工学院);Massachusetts Institute of Technology(麻省理工学院);Wing, Alphabet Inc.(Alphabet公司Wing部门)
研究了具有三维距离感知的移动机器人在定位不确定条件下的自主探测问题。我们提出了一个框架,用于在单个仿真环境中自学习高性能的探索策略,并将其转移到其他环境中,这些环境可以是物理的或虚拟的。最近的工作在迁移学习取得了令人鼓舞的性能领域自适应和域随机化暴露代理的情况下,填补了固有的差距,在sim2sim和sim2real的方法。然而,它是低效的训练代理在环境中的随机条件下学习其当前状态的重要特征。智能体可以使用人类专家提供的领域知识来有效地学习。我们提出了一种新的方法,使用图神经网络结合深度强化学习,使决策的图形包含相关的探索信息提供的人类专家来预测机器人的最佳感知动作的信念空间。该策略仅在单个仿真环境中训练,提供了一种实时、可扩展和可转移的决策策略,导致zero-shot转移到其他仿真环境甚至真实世界环境。
2021-05-11 cs.AI cs.LG cs.RO
A Conservative Approach for Few-Shot Transfer in Off-Dynamics Reinforcement Learning
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);GIPSA Lab(GIPSA实验室);Criteo AI Lab(Criteo人工智能实验室)
针对离线动力学强化学习少样本迁移中源策略在目标环境表现差的问题,提出一种带惩罚项调节源策略轨迹的保守方法,在多类有限访问目标的环境中优于现有基线。
2024-07-15 cs.LG stat.ML
Provable Sim-to-real Transfer in Continuous Domain with Partial Observations
Peking University(北京大学);Princeton University(普林斯顿大学);Beijing Institute of Big Data Research(北京大数据研究院)
仿真到现实迁移在仿真环境中训练RL代理,然后将其部署到现实世界中。仿真到现实迁移由于在仿真环境中采集样本比在现实世界中采集样本更便宜、更安全、更快速,因此在实践中得到了广泛的应用。尽管仿真到现实迁移在经验上取得了成功,但其理论基础却鲜为人知。本文研究了部分观测下连续域中的仿真到现实迁移问题,其中模拟环境和现实环境均采用线性二次高斯(LQG)系统建模。我们证明了一种流行的鲁棒对抗训练算法能够从模拟环境中学习一种策略,该策略与现实环境中的最优策略具有竞争力。为了实现我们的结果,我们设计了一个新的算法无限地平线的平均成本LQG和建立一个遗憾界,依赖于模型类的内在复杂性。我们的算法关键依赖于一个新的历史剪辑方案,这可能是独立的利益。
2023-03-02 cs.AI cs.LG stat.ML
Emulating Radiative Transfer in Astrophysical Environments
Interdisciplinary Center for Scientific Computing, Heidelberg University(海德堡大学跨学科科学计算中心)
针对天体物理中辐射传输方程数值求解计算成本高的问题,提出一种结合傅里叶神经算子与U-Nets的替代模型,可在保持高精度的同时将辐射传输计算加速两个数量级以上,有望整合到先进流体动力学模拟中。
2025-11-11 astro-ph.GA astro-ph.IM cs.LG
Query-based Knowledge Transfer for Heterogeneous Learning Environments
KAUST(阿卜杜拉国王科技大学);Queen Mary University of London(伦敦玛丽女王大学)
针对异构学习环境中客户端本地数据表示有限的问题,提出基于查询的知识迁移(QKT)框架,通过无数据掩蔽策略实现定制化知识获取,在标准和临床基准上平均优于现有方法20.91%(单类查询)和14.32%(多类查询)。
2025-04-12 cs.LG
Transferable Curricula through Difficulty Conditioned Generators
Singapore Management University(新加坡管理大学)
本文提出参数化环境响应模型(PERM),通过直接建模环境难度与智能体能力,在最近发展区内生成匹配课程,实现RL智能体的高效训练及学生间的可迁移性。
2023-06-22 cs.AI cs.LG
Improved Reinforcement Learning in Cooperative Multi-agent Environments Using Knowledge Transfer
K. N. Toosi University of Technology(K. N. 图西理工大学);Polytechnique Montréal(蒙特利尔理工学院);Shahid Beheshti University(沙希德·贝赫什提大学)
目前,协作多智能体系统被用来学习如何在大规模动态环境中实现目标。然而,在这些环境中的学习是具有挑战性的:从搜索空间大小对学习时间的影响到代理之间的低效合作。此外,强化学习算法在这样的环境中可能遭受长时间的收敛。本文介绍了一种通信框架。在提出的通信框架中,智能体学会有效地合作,并通过引入一种新的状态计算方法,状态空间的大小将大大下降。此外,知识转移算法,提出了不同的代理之间共享所获得的经验,并开发了一个有效的知识融合机制,利用代理的经验与其他团队成员的知识融合学习。最后,仿真结果表明,该方法在复杂的学习任务的有效性。我们已经评估了我们的方法上的牧羊人问题,结果表明,学习过程加速,利用知识转移机制和状态空间的大小已经下降,通过产生类似的状态的基础上状态抽象概念。
2022-01-17 cs.AI cs.LG cs.MA
Can We Transfer Noise Patterns? A Multi-environment Spectrum Analysis Model Using Generated Cases
Harbin Institute of Technology(哈尔滨工业大学);Insight Centre for Data Analytics(洞察数据分析中心)
针对多环境水质光谱中的复杂噪声问题,提出利用生成的样本到样本案例库学习并迁移环境噪声模式的模型,实验表明其优于小波去噪、深度神经网络和生成模型基线。
2023-08-14 cs.AI cs.LG eess.SP
Environment-Aware Transfer Reinforcement Learning for Sustainable Beam Selection
Nokia Bell Labs(诺基亚贝尔实验室);Nokia Standards(诺基亚标准)
针对传统RL波束选择模型在多样环境中训练耗时、资源消耗大的问题,提出将环境建模为点云并通过Chamfer距离识别相似环境,复用预训练模型实现迁移学习,减少16倍训练开销,提升能效与部署效率。
2025-11-10 cs.AI cs.IT cs.LG
Actor-Mimic: Deep Multitask and Transfer Reinforcement Learning
University of Toronto(多伦多大学)
在多个环境中行动并将先前的知识转移到新情况的能力可以被认为是任何智能代理的关键方面。为了实现这一目标,我们定义了一种新的方法,多任务和迁移学习,使一个自主智能体学习如何同时在多个任务中的行为,然后将其知识推广到新的领域。这种方法被称为“Actor-Mimic”,利用深度强化学习和模型压缩技术来训练单个策略网络,该策略网络通过使用多个专家教师的指导来学习如何在一组不同的任务中采取行动。然后,我们证明了深度策略网络学习的表示能够在没有事先专家指导的情况下推广到新任务,从而加快了在新环境中的学习。虽然我们的方法可以在一般情况下适用于广泛的问题,我们使用Atari游戏作为测试环境来演示这些方法。
2016-02-22 cs.LG
Structure Mapping for Transferability of Causal Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);Amazon(亚马逊)
人类学习因果模型,并不断使用它们在相似的环境之间转移知识。我们使用这种直觉来设计一个迁移学习框架,使用面向对象的表示来学习对象之间的因果关系。学习的因果动态模型可以用于在具有对象之间的可交换感知特征但具有相同的潜在因果动态的环境的变体之间转移。我们适应结构学习技术的持续优化,明确学习的原因和影响的行动在一个互动的环境和转移到目标域的对象的分类的基础上的因果知识。我们证明了我们的方法的优势,在网格世界设置结合因果模型为基础的方法与无模型的方法在强化学习。
2020-07-18 cs.AI cs.LG stat.ML
Relative Policy-Transition Optimization for Fast Policy Transfer
Tencent Robotics X(腾讯机器人X实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对两个 MDP 间的快速策略迁移问题,提出 RPTO 框架,通过 RPO 优化跨环境策略、RTO 缩小动力学差距,并在 MuJoCo 任务上验证有效性。
2024-01-24 cs.AI cs.LG
ExTra: Transfer-guided Exploration
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校);Google Research(谷歌研究院)
在这项工作中,我们提出了一种新的方法,用于强化学习中的转移引导探索,该方法的灵感来自人类在导航新任务时利用过去类似遭遇的经验的倾向。给定一个最优策略在相关的任务环境中,我们表明,它的互模拟距离从当前的任务环境给出了一个下界的最优优势的状态-动作对在当前的任务环境。Transfer-guided Exploration(ExTra)在这些下限上从Softmax分布中采样动作。通过这种方式,具有潜在更高最优优势的动作被更频繁地采样。在我们的实验网格世界环境中,我们证明,在相关的任务环境中,获得最佳的政策,ExTra可以优于流行的特定领域的探索策略,即贪婪,基于模型的区间估计-探索奖金(MBIE-EB),追求和玻尔兹曼的收敛速度。我们进一步表明,ExTra是强大的源任务的选择,并显示出一个优雅的性能退化的源任务的不同增加。我们还证明了ExTra,当与传统的探索算法一起使用时,提高了它们的收敛速度。因此,它是能够补充传统的勘探算法的功效。
2020-05-27 cs.LG stat.ML
How Transferable are the Representations Learned by Deep Q Agents?
Carnegie Mellon University(卡内基梅隆大学);Machine Learning Department(机器学习系)
在本文中,我们考虑了深度强化学习(DRL)的样本复杂度的来源,询问有多少来自学习环境状态的有用表示的需求,有多少是由于学习策略的样本复杂度。虽然对于DRL代理,表示和策略之间的区别可能不清楚,我们通过一组迁移学习实验寻求新的见解。在每个实验中,我们保留了在同一个游戏或相关游戏上训练的一部分层,比较了迁移学习和从头开始学习策略的好处。有趣的是,我们发现,由于转移的好处是高度可变的一般和非对称的任务对。我们的实验表明,也许从更简单的环境中转移可以提高更复杂的下游任务的性能,并且根据环境,学习有用表示的要求可以从忽略不计到样本复杂性的大部分。此外,我们发现微调通常优于冻结传输层的训练,证实了在分类设置中首次注意到的见解。
2020-02-24 cs.LG stat.ML
Few-Shot Image-to-Semantics Translation for Policy Transfer in Reinforcement Learning
University of Tsukuba(筑波大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
我们调查的政策转移使用图像到语义翻译,以减轻学习困难,基于视觉的机器人控制代理。这个问题假设两个环境:一个模拟器环境的语义,即低维和基本的信息,作为状态空间,和一个现实世界的环境中的图像作为状态空间。通过学习从图像到语义的映射,我们可以将在模拟器中预先训练的策略转移到现实世界中,从而消除了现实世界中的策略代理交互学习,这是昂贵且有风险的。此外,使用图像到语义映射在训练策略的计算效率和所获得的策略的可解释性方面优于其他类型的仿真到现实迁移策略。为了解决学习图像到语义映射的主要困难,即产生训练数据集的人类注释成本,我们提出了两种技术:在模拟器环境中使用转换函数的对增强和主动学习。我们观察到的注释成本的降低,而不会下降的传输性能,所提出的方法优于现有的方法没有注释。
2023-01-31 cs.AI cs.CV cs.LG