p-Meta: Towards On-device Deep Model Adaptation
ETH Zurich(苏黎世联邦理工学院);Singapore Management University(新加坡管理大学);Beihang University(北京航空航天大学)
物联网设备收集的数据通常是私有的,并且在用户之间具有很大的多样性。因此,学习需要使用可用的代表性数据样本预训练模型,在物联网设备上部署预训练模型,并使用本地数据调整设备上部署的模型。这种针对深度学习授权应用的设备上适配要求数据和存储器效率。然而,现有的基于梯度的元学习方案不能支持记忆高效的适应。为此,我们提出了p-Meta,这是一种新的元学习方法,它可以强制执行结构方面的部分参数更新,同时确保快速泛化到看不见的任务。对Few-Shot图像分类和强化学习任务的评估表明,与最先进的Few-Shot自适应方法相比,p-Meta不仅提高了准确性,而且将峰值动态记忆平均降低了2.5倍。
2022-06-25 cs.CV cs.LG
Fast Adaptation with Meta-Reinforcement Learning for Trust Modelling in Human-Robot Interaction
Uppsala University(乌普萨拉大学);KTH Royal Institute of Technology(KTH皇家理工学院)
在社会辅助机器人中,一个重要的研究领域是适应技术的发展及其对人机交互的影响。我们提出了一个基于元学习的策略梯度方法,用于解决人与机器人交互中的适应问题,并研究其作为信任建模机制的作用。通过在混合现实中与机器人建立一个逃生室场景,我们测试了我们的假设,即双向信任可以受到不同的适应算法的影响。我们发现,我们提出的模型增加了机器人的感知可信度,并影响了获得人类信任的动态。此外,参与者评价说,机器人认为他们更值得信赖的互动过程中与元学习为基础的适应相比,以前研究的统计适应模型。
2019-08-12 cs.HC cs.LG cs.RO
Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation
University of California, Los Angeles(加州大学洛杉矶分校);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Helixon Ltd.(Helixon有限公司);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
从几次试验中学习新的特定任务技能是人工智能面临的根本挑战。Meta强化学习(meta-RL)通过学习可转移的策略来解决这个问题,这些策略支持对看不见的任务的Few-Shot适应。尽管元强化学习最近取得了进展,但大多数现有方法都需要访问新任务的环境奖励函数来推断任务目标,这在许多实际应用中并不现实。为了弥合这一差距,我们研究了在人在回路强化学习的背景下的Few-Shot适应问题。我们开发了一种元RL算法,可以通过基于偏好的反馈实现快速策略自适应。智能体可以通过查询人类行为轨迹之间的偏好来适应新的任务,而不是使用每步的数字奖励。通过扩展技术从信息论,我们的方法可以设计查询序列,以最大限度地提高信息增益从人类的互动,同时容忍的固有错误的非专家的人类预言。在实验中,我们广泛地评估我们的方法,适应与噪声的甲骨文(ANOLE),在各种元RL基准任务,并展示了大幅改善基线算法的反馈效率和容错性。
2022-11-20 cs.AI cs.LG
Boosting Hierarchical Reinforcement Learning with Meta-Learning for Complex Task Adaptation
Iran University of Science and Technology(伊朗科技大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);University of Zurich(苏黎世大学)
本文提出将基于梯度的元学习、课程学习与内在动机融入HRL,使智能体在网格环境中更快适应复杂任务,并取得更高奖励与成功率。
2025-03-14 cs.AI cs.LG
Linear Representation Meta-Reinforcement Learning for Instant Adaptation
University of California, Berkeley(加州大学伯克利分校)
本文介绍了快速线性化自适应策略(FLAP),这是一种新的Meta强化学习(元RL)方法,能够很好地外推到分布外的任务,而不需要重用训练数据,并且在测试过程中只需要少量样本就可以几乎立即适应。FLAP建立在学习策略的共享线性表示的思想之上,以便在适应新任务时,预测一组线性权重就足够了。一个单独的适配器网络与策略同时训练,这样在适配过程中,我们可以直接使用适配器网络来预测这些线性权重,而不是通过梯度下降来更新元策略,例如在MAML等现有的元RL方法中,以获得新策略。单独的前馈网络的应用不仅显著加快了自适应运行时间,而且还非常好地推广到以前的Meta-RL方法无法推广的非常不同的任务。在标准连续控制元RL基准测试上的实验表明,与现有方法相比,FLAP在分布外任务上表现出更强的性能,平均回报率高达两倍,自适应运行速度高达8倍。
2021-01-12 cs.AI cs.LG stat.ML
Memory Sequence Length of Data Sampling Impacts the Adaptation of Meta-Reinforcement Learning Agents
Southern University of Science and Technology(南方科技大学)
该研究探究数据采样的记忆序列长度对元强化学习智能体适应性的影响,通过MuJoCo环境下的实验对比两类异策略算法,发现贝叶斯最优算法适应性更优,证实采样策略对未知环境表征的重要性。
2024-06-18 cs.AI cs.LG
Hypothesis Network Planned Exploration for Rapid Meta-Reinforcement Learning Adaptation
针对元强化学习中被动探索适配速度慢的问题,提出HyPE方法,通过潜在空间主动规划动作序列快速识别相似任务,可即插即用改进多数基于模型的元强化学习算法,在稀疏信息场景下失败概率指数级降低,在Alchemy游戏中适配表现远超基线。
2025-08-30 cs.AI cs.LG
Meta Reinforcement Learning with Task Embedding and Shared Policy
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tsinghua University(清华大学)
尽管取得了重大进展,但深度强化学习(RL)仍存在数据效率低下和泛化能力有限的问题。最近的努力应用元学习从一组RL任务中学习元学习者,以便可以快速解决新的但相关的任务。虽然在某些方面是特定的,但元强化学习中的不同任务在高层次上通常是相似的。然而,大多数元强化学习方法没有明确和充分地建模不同任务之间的特定和共享信息,这限制了它们学习训练任务和推广到新任务的能力。在本文中,我们建议一方面捕获共享信息,另一方面元学习如何快速提取有关任务的特定信息。在方法上,我们训练SGD元学习器来快速优化每个任务的任务编码器,该任务编码器基于过去的经验生成任务嵌入。同时,我们学习了一个策略,该策略在所有任务之间共享,并以任务嵌入为条件。在四个模拟任务上的实验结果表明,我们的方法在训练和新任务上都具有更好的学习能力,并且与基线相比,获得了高达3到4倍的回报。
2019-06-04 cs.AI cs.LG stat.ML
Sparse Meta Networks for Sequential Adaptation and its Application to Adaptive Language Modelling
Microsoft Research(微软研究院)
训练深度神经网络需要大量的单任务数据,并且涉及到耗时较长的优化阶段。这无法扩展到具有新的意外更改的复杂、现实环境。人类可以在飞行中进行快速增量学习,大脑中的记忆系统起着关键作用。我们介绍稀疏Meta网络--一种元学习方法,通过使用深度神经网络来学习深度神经网络的在线顺序自适应算法。我们用特定于层的快速权重记忆来增强深度神经网络。快速权重在每个时间步稀疏地生成,并通过时间增量地累积,为在线连续适应提供有用的归纳偏差。我们在各种顺序适应场景中表现出强大的性能,从简单的在线强化学习到大规模自适应语言建模。
2020-09-03 cs.AI cs.CL cs.LG
MESA: Offline Meta-RL for Safe Adaptation and Fault Tolerance
安全探索对于在风险敏感环境中使用强化学习(RL)至关重要。最近的工作学习风险措施,衡量违反约束的概率,然后可以用来实现安全。然而,学习这样的风险措施,需要与环境的显着互动,导致过度的约束违反在学习过程中。此外,这些措施不容易转移到新的环境。我们将安全探索作为离线元RL问题,其目标是利用各种环境中安全和不安全行为的示例,快速将学习到的风险措施适应具有以前看不见的动态的新环境。然后,我们提出了安全适应的元学习(MESA),这是一种元学习安全RL风险度量的方法。跨5个连续控制域的仿真实验表明,MESA可以利用来自一系列不同环境的离线数据,在保持任务性能的同时,将看不见的环境中的约束违反减少到2倍。有关代码和补充材料,请参见https://tinyurl.com/safe-meta-rl。
2021-12-07 cs.AI cs.LG cs.RO
Cross Domain Adaptation by Learning Partially Shared Classifiers and Weighting Source Data Points in the Shared Subspaces
Punjab University College of Information Technology (PUCIT), University of the Punjab(旁遮普大学旁遮普信息技术学院(PUCIT))
迁移学习是一个定义在两个领域的问题。这两个域共享相同的特征空间和类标签空间,但具有显著不同的分布。一个域有足够的标签,命名为源域,另一个域有很少的标签,命名为目标域。问题是学习一个有效的分类器的目标域。在本文中,我们提出了一种新的迁移学习方法,通过学习目标域的部分共享分类器,并加权源域数据点。我们为两个域的数据点学习一些共享子空间,并在共享子空间中学习一个共享分类器。我们希望在共享子空间中,两个域的分布能够很好地匹配,为了匹配分布,我们用不同的权重因子对源域数据点进行加权。此外,我们通过学习不同的自适应函数来适应每个域的共享分类器。为了学习子空间变换矩阵、分类器参数和自适应参数,我们构建了一个具有加权分类误差、参数正则化、局部重建正则化和分布匹配的目标函数。这个目标函数是最小化的迭代算法。实验结果表明,该方法在旅游目的地评论数据集、人脸表情数据集、垃圾邮件数据集等基准数据集上的有效性。
2016-05-21 cs.LG
Tackling Dimensional Collapse toward Comprehensive Universal Domain Adaptation
National Taiwan University(国立台湾大学)
本文针对极端通用域自适应中部分域匹配因目标表示维度坍缩而失效的问题,提出利用自监督去坍缩技术保持目标表示结构,从而持续提升PDM并在更广泛基准上取得最优结果。
2025-07-06 cs.LG
Adaptation-Agnostic Meta-Training
The Hong Kong Polytechnic University(香港理工大学)
许多元学习算法可以被公式化为交错过程,在这个意义上,任务特定的预测器在内部任务自适应期间被学习,并且元参数在元更新期间被更新。常规的元训练策略需要通过任务内自适应过程进行区分,以优化元参数。这导致了一个约束,即内部任务算法应该解析求解。在此约束下,只有简单的算法与解析解可以作为内部任务的算法,限制了模型的表达能力。为了解除限制,我们提出了一个适应不可知的元训练策略。按照我们提出的策略,我们可以应用更强大的算法(例如,不同类型算法的集合)作为内部任务算法,以实现与流行基线相比更优的性能。源代码可在https://github.com/jiaxinchen666/AdaptationAgnosticMetaLearning上获得。
2021-08-24 cs.LG
From Shared Demand Patterns to Local Uncertainty: Probabilistic Load Forecasting by Mixing Compact Adaptations
针对用户级负荷预测的可扩展性挑战,提出共享模型结合紧凑适配组件的概率预测框架,在SMART-DS数据集上优于多种基线并保持低成本。
2026-10-07 cs.AI cs.LG
A Shared Low-Rank Adaptation Approach to Personalized RLHF
University of Virginia(弗吉尼亚大学)
本文提出将低秩自适应(LoRA)应用于个性化RLHF框架,在聚合参数空间中高效学习个性化奖励模型,利用共享结构并允许个体适应,提供样本复杂度保证,实验验证了其有效性。
2025-03-24 cs.AI cs.LG
Multi-task Domain Adaptation for Sequence Tagging
Johns Hopkins University(约翰斯·霍普金斯大学)
许多领域自适应方法依赖于学习跨领域共享表示,以将在一个领域中学习到的知识转移到其他领域。传统的领域自适应只考虑适应一个任务。在本文中,我们探讨了多任务表示学习下的领域自适应的情况。我们提出了一个神经网络框架,支持领域自适应多个任务同时进行,并学习共享表示,更好地概括领域自适应。我们将所提出的框架应用于序列标记问题的领域自适应,考虑两个任务:中文分词和命名实体识别。实验结果表明,对于每个任务,多任务领域自适应都比不相交的领域自适应更有效,并且在社交媒体领域,两种任务都达到了最佳效果。
2017-05-30 cs.CL cs.LG
Arabic Dialect Identification Using BERT-Based Domain Adaptation
Faculty of Engineering, Alexandria University(亚历山大大学工程学院)
阿拉伯语是世界上最重要和发展最快的语言之一。随着Twitter等社交媒体平台的兴起,阿拉伯语方言的使用越来越多。在本文中,我们描述了我们在NADI共享任务1上的方法,该任务要求我们构建一个系统来区分不同的21种阿拉伯语方言,我们介绍了一种深度学习半监督方式以及NADI共享任务1语料库上报告的预处理。我们的系统在NADI的共享任务竞赛中排名第四,实现了23.09%的F1宏观平均得分,采用简单而有效的方法区分21种阿拉伯方言。
2020-11-13 cs.CL cs.LG
Loop Dropout: Regularizing Shared Updates in Looped Language Models
针对循环语言模型中LoRA共享更新的后循环偏差,提出Loop Dropout方法,通过随机掩蔽与逆生存重缩放保持期望更新强度,提升跨循环适配,增强数学推理、指令调优和代码生成性能。
2026-10-06 cs.CL cs.LG
Multi-target Unsupervised Domain Adaptation without Exactly Shared Categories
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
无监督领域自适应(UDA)的目的是通过转移已标记源领域的知识来学习未标记的目标领域。迄今为止,大多数现有的工作集中在一个源域和一个目标域(1 S1 T)的场景,只有少数工作涉及多个源域和一个目标域(mS 1 T)的场景。然而,据我们所知,几乎没有工作涉及一个源域和多个目标域(1 SmT)的场景,其中这些未标记的目标域可能不一定共享相同的类别,因此,与mS 1 T相比,1 SmT更具挑战性。因此,对于这样一个新的UDA场景,我们提出了一个UDA框架,通过模型参数自适应(PA-1 SmT)。PA-1 SmT的一个关键组成部分是通过一个公共模型参数字典的自适应学习来传递知识,这与现有的流行的UDA方法,如子空间对齐,分布匹配等完全不同,并且由于知识仅通过模型参数而不是数据本身传递,因此也可以直接用于隐私保护的DA。最后,我们在三个领域自适应基准数据集上的实验结果证明了我们的框架的优越性。
2018-09-17 cs.AI cs.LG stat.ML
Does Every User Need a Private LoRA? Decoupling Personalization from Per-User Adaptation
Samsung Semiconductor, US(三星半导体(美国));Rice University(莱斯大学)
本研究提出LINEUP框架,通过共享低秩个性化因子库和极小的用户编码(每用户仅8个标量),在12项指标上全面超越私有LoRA,证明个性化可主要依赖可复用共享容量。
2026-10-05 cs.CL cs.LG
LCAP: Population-Informed Latent Chip Adaptation from Few Output Probes for Photonic Neural Networks
City University of Hong Kong(香港城市大学);Sichuan University(四川大学);Nanyang Technological University(南洋理工大学)
LCAP利用群体信息从少量输出探针推断芯片潜在校正,实现光子神经网络免优化的硬件适配,显著提升部署准确率。
2026-09-16 cs.LG
Bayesian Meta-Learning with Expert Feedback for Task-Shift Adaptation through Causal Embeddings
Department of Computer Science, Aalto University, Espoo, Finland(Aalto大学计算机科学系);ELLIS Institute Finland, Espoo, Finland(芬兰ELLIS研究所);Department of Computer Science, University of Manchester, United Kingdom(曼彻斯特大学计算机科学系)
本文提出一种基于因果嵌入的贝叶斯元学习方法,通过专家反馈减少任务转移中的负转移,提升分布外适应性能。
2026-02-23 cs.LG
Meta Learning Shared Hierarchies
Henry M. Gunn High School(亨利·M·冈恩高中);OpenAI;UC Berkeley(加州大学伯克利分校)
我们开发了一个元学习的方法来学习层次结构的政策,提高样本效率看不见的任务,通过使用共享原语-政策,执行大量的时间步长。具体地说,一组原语在任务分布中共享,并通过特定于任务的策略进行切换。我们提供了一个具体的度量标准来衡量这种层次结构的强度,从而导致一个优化问题,以快速达到高回报的看不见的任务。然后,我们提出了一种算法,通过使用任何现成的强化学习方法,通过重复采样新任务和重置特定于任务的策略,端到端地解决这个问题。我们成功地发现有意义的运动原语的方向运动的四条足式机器人,仅通过与分布的迷宫。我们还展示了原始解决长时间尺度稀疏奖励障碍课程的可转移性,我们使3D人形机器人能够稳健地行走和爬行相同的政策。
2017-10-26 cs.LG
Fast Context Adaptation via Meta-Learning
University of Oxford(牛津大学);Latent Logic(潜在逻辑公司);Microsoft Research(微软研究院)
我们提出了CAVIA的元学习,一个简单的扩展MAML,是不太容易元过拟合,更容易并行化,更可解释。CAVIA将模型参数分为两部分:上下文参数,作为模型的额外输入,并根据各个任务进行调整;以及共享参数,经过元训练并在任务之间共享。在测试时,只有上下文参数被更新,导致低维的任务表示。我们的经验表明,CAVIA优于MAML回归,分类,和强化学习。我们的实验还突出了当前基准的弱点,在某些情况下,所需的适应量很小。
2019-06-10 cs.LG stat.ML
One-Class Domain Adaptation via Meta-Learning
Vienna University of Technology(维也纳工业大学);Ludwig Maximilian University of Munich(慕尼黑大学);Siemens AG(西门子公司)
针对一类域适应问题,提出基于元学习的OC-DA MAML算法,通过任务采样策略实现跨域快速适应,在基准和真实数据集上显著优于标准MAML。
2025-01-22 cs.LG
Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments
CMU(卡内基梅隆大学);UMass Amherst(马萨诸塞大学阿默斯特分校);OpenAI(开放人工智能研究中心);UC Berkeley(加利福尼亚大学伯克利分校)
在非平稳环境中从有限的经验中不断学习和适应的能力是通往通用智能道路上的一个重要里程碑。在本文中,我们投的问题,不断适应学习的框架。我们开发了一个简单的基于梯度的元学习算法,适用于适应动态变化和对抗性的情况。此外,我们设计了一个新的多智能体竞争环境,RoboSumo,并定义了迭代适应游戏,用于测试连续适应策略的各个方面。我们证明了元学习比Few-Shot机制中的反应性基线能够实现更有效的适应。我们对一群学习和竞争的代理人的实验表明,元学习者是最合适的。
2018-02-23 cs.AI cs.LG
Towards Adaptive Unknown Authentication for Universal Domain Adaptation by Classifier Paradox
Nanjing University of Posts and Telecommunications(南京邮电大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
通用领域自适应(UniDA)是一种通用的无监督领域自适应设置,其解决自适应中的领域和标签偏移。它的主要挑战在于如何识别非共享或未知类中的目标样本。以前的方法通常致力于描述样本的“置信度”以及用于拒绝未知的阈值,并跨域对齐共享类的特征分布。然而,它仍然很难预先指定一个“信心”的标准和阈值,这是适应各种真实的任务,和未知数的错误预测进一步招致的不对齐的功能在共享类。在本文中,我们提出了一种新的UniDA方法与自适应未知认证的分类器paradigm(UACP),考虑到样本与矛盾的预测可能是未知的不属于源类。在UACP中,复合分类器是由两种类型的预测器联合设计的。也就是说,多类(MC)预测器将样本分类到多个源类中的一个,而二进制一对全(OVA)预测器进一步验证MC预测器的预测。验证失败或悖论的样本被识别为未知数。此外,代替共享类的特征对齐,在输出空间中进行隐式域对齐,使得跨域的样本共享相同的决策边界,尽管具有特征差异。实证结果验证了UACP在开集和通用UDA设置。
2022-07-10 cs.CV cs.LG
Faster Optimization-Based Meta-Learning Adaptation Phase
Dnipro University of Technology(第聂伯罗理工大学)
神经网络需要大量带注释的数据来学习。元学习算法提出了一种将训练样本的数量减少到仅几个的方法。最突出的基于优化的元学习算法之一是模型无关的元学习(MAML)。然而,MAML的关键过程适应新的任务是相当缓慢的。在这项工作中,我们提出了一个改进的MAML元学习算法。我们引入了Lambda模式,通过它我们限制了在适应阶段网络中更新的权重。这使得可以跳过某些梯度计算。给定允许的质量降级阈值参数,选择最快的模式。在某些情况下,通过仔细的模式选择,质量改进是可能的。所进行的实验表明,通过λ自适应模式选择,可以在以下方面显着改善MAML方法:自适应时间减少了3倍,精度损失最小;一步自适应的精度得到了大幅提高。
2022-06-13 cs.CV cs.LG
GDA-HIN: A Generalized Domain Adaptive Model across Heterogeneous Information Networks
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
使用图结构网络的领域自适应通过共享图参数来学习标签区分和网络不变的节点嵌入。现有的研究大多集中在同构网络的领域自适应上。少数研究异构网络情况的工作只考虑共享节点类型,而忽略了单个网络中的私有节点类型。然而,对于给定的源和目标异构网络,它们通常包含共享和私有节点类型,其中私有类型为图领域自适应带来额外的挑战。在本文中,我们研究了异构信息网络(HIN)与共享和私有节点类型,并提出了一个广义域自适应模型跨HIN(GDA-HIN)来处理它们之间的域转移。GDA-HIN不仅可以对齐两个HIN中相同类型的节点和边的分布,而且可以充分利用不同类型的节点和边,以提高知识转移的性能。在多个数据集上进行的大量实验表明,GDA-HIN在异构网络的各种领域自适应任务中的性能优于最先进的方法。
2022-09-25 cs.LG stat.ML
On Enforcing Better Conditioned Meta-Learning for Rapid Few-Shot Adaptation
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
受预处理概念的启发,我们提出了一种新的方法来提高基于梯度的元学习方法的适应速度,而不会产生额外的参数。我们证明,重铸的优化问题的非线性最小二乘制定提供了一个原则性的方法,积极执行$\textit{well-conditioned}$参数空间的元学习模型的基础上的概念的条件数和局部曲率。我们的综合评估表明,该方法显着优于其无约束的对应,特别是在初始适应步骤,同时实现可比或更好的整体效果上几个Few-Shot分类任务-创建的可能性,动态选择的适应步骤的数量在推理时间。
2022-10-15 cs.CV cs.LG
Low-Rank Agent-Specific Adaptation (LoRASA) for Multi-Agent Policy Learning
University of Manchester(曼彻斯特大学)
针对多智能体强化学习中纯参数共享抑制智能体专业化的问题,提出LoRASA方法,通过在共享策略层附加低秩适配矩阵实现参数高效适配,在SMAC和MAMuJoCo基准上匹配或优于基线且降低开销,为MARL策略参数化提供新范式。
2025-02-08 cs.AI cs.LG cs.MA
The effects of negative adaptation in Model-Agnostic Meta-Learning
Mila – Université de Montréal(米拉研究所——蒙特利尔大学)
元学习算法快速适应各种任务的能力,包括它们在元训练期间没有经历过的任务,是这些方法最近在少样本学习问题上取得成功的关键因素。使用元学习优于标准监督学习或强化学习的这种特殊优势只有在假设适应阶段确实提高了我们模型在感兴趣任务上的性能的情况下才有充分的依据。然而,在元学习的经典框架中,这种约束即使没有也只是温和地强制执行,我们只能看到任务分配的平均改善。在本文中,我们证明了MAML算法中的自适应可以显着降低Meta强化学习设置中代理的性能,即使是在一系列元训练任务中。
2018-12-05 cs.LG stat.ML
MoEMeta: Mixture-of-Experts Meta Learning for Few-Shot Relational Learning
The University of Sydney, Australia(悉尼大学);Peking University, China(北京大学)
MoEMeta通过混合专家模型和任务定制适应机制,提升少样本关系学习的泛化与适应能力。
2026-01-12 cs.AI cs.LG
Meta-SAGE: Scale Meta-Learning Scheduled Adaptation with Guided Exploration for Mitigating Scale Shift on Combinatorial Optimization
KAIST(韩国科学技术院)
提出 Meta-SAGE,通过尺度元学习器和带引导探索的调度式自适应,在测试时将组合优化深度强化学习模型迁移到更大规模问题并提升性能。
2023-06-07 cs.LG stat.ML
A Student-Teacher Architecture for Dialog Domain Adaptation under the Meta-Learning Setting
University of California, Davis(加利福尼亚大学戴维斯分校);Google Inc.(谷歌公司)
每天都有许多新的对话域被创建,而收集这些域的数据是非常昂贵的,因为它涉及到人类的交互。因此,在构建数据驱动的对话模型时,开发能够有效地适应不同领域的算法是至关重要的。目前关于领域自适应的研究主要集中在为模型提供一个更好的初始化,而不是优化自适应过程。我们提出了一个有效的域自适应面向任务的对话系统模型,它采用了元教师模型,强调生成的令牌之间的不同影响相对于上下文。我们首先训练我们的基本对话模型和元教师模型在丰富的资源领域的元学习设置对抗。元教师学习在不同领域的不同上下文下量化令牌的重要性。在适配过程中,元教师引导对话模型关注重要的标记,以实现更好的适配效率。我们在两个多域数据集MultiWOZ和Google Schema-Guided Dialogue上评估了我们的模型,并实现了最先进的性能。
2021-04-06 cs.CL cs.LG
Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation
University of Macau(澳门大学)
元学习已被充分验证,对低资源神经机器翻译(NMT)有益。然而,我们发现元训练的NMT未能提高在元训练阶段看不见的域的翻译性能。在本文中,我们的目的是缓解这个问题,提出了一种新的Meta课程学习的领域自适应在NMT。在元训练过程中,NMT首先学习各领域的相似课程,避免过早陷入局部最优,最后学习各领域的个性化课程,提高模型学习领域知识的鲁棒性。在10个不同的低资源领域的实验结果表明,Meta课程学习可以提高熟悉和不熟悉的领域的翻译性能。所有的代码和数据都可以在https://github.com/NLP2CT/Meta-Curriculum上免费获得。
2021-03-03 cs.CL cs.LG
Learning Fast Adaptation with Meta Strategy Optimization
Georgia Institute of Technology(佐治亚理工学院);Robotics at Google(谷歌机器人部门)
在新场景中行走的能力是足式机器人走向现实世界应用道路上的一个关键里程碑。在这项工作中,我们介绍了Meta Strategy Optimization,这是一种元学习算法,用于训练具有潜在变量输入的策略,可以快速适应目标环境中少量试验的新场景。MSO背后的关键思想是在训练和测试阶段暴露相同的适应过程,即策略优化(SO)。这使得MSO能够有效地学习运动技能以及适合快速适应的潜在空间。我们评估我们的方法在一个真正的四足机器人,并证明成功的适应在各种情况下,包括仿真到现实迁移,步行与削弱电机,或爬上斜坡。此外,我们定量地分析了在模拟环境中的训练策略的泛化能力。真实和模拟实验表明,我们的方法优于以前的方法,在适应新的任务。
2020-02-16 cs.LG cs.RO
Meta-Tracker: Fast and Robust Online Adaptation for Visual Object Trackers
Department of Computer Science, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校计算机科学系)
本文改进了使用在线自适应的最先进的视觉对象跟踪器。我们的核心贡献是一种基于离线元学习的方法,用于调整在线自适应跟踪中使用的初始深度网络。Meta学习由深度网络的目标驱动,可以快速适应未来帧中的特定目标。理想情况下,生成的模型将重点放在对未来帧有用的特征上,并避免过度拟合背景杂波、目标的小部分或噪声。通过在元学习过程中强制执行少量的更新迭代,最终的网络训练速度明显更快。我们证明了这种方法的高性能跟踪方法的顶部:跟踪检测为基础的MDNet和相关性为基础的CREST。在标准基准测试OTB 2015和VOT 2016上的实验结果表明,我们的两种跟踪器的元学习版本提高了速度、准确性和鲁棒性。
2018-03-19 cs.CV cs.LG
Blending-target Domain Adaptation by Adversarial Meta-Adaptation Networks
Sun Yat-sen University(中山大学);DarkMatter AI Research(暗物质人工智能研究院)
(无监督)领域自适应(DA)寻求在仅提供源标记和目标未标记的样本用于训练时对目标实例进行分类。学习域不变特征有助于实现这一目标,而它支持从单个或多个显式目标域(多目标DA)提取的未标记样本。在本文中,我们考虑了一个更现实的迁移场景:我们的目标域是由多个子目标隐式地相互混合,使学习者无法识别每个未标记的样本属于哪个子目标。这种混合目标领域自适应(BTDA)场景在实践中经常出现,并威胁到大多数现有DA算法的有效性,这是由于这些隐藏子目标之间存在域间隙和类别失配。为了在这种新的场景中获得传输性能的提升,我们提出了对抗性元适应网络(AMEAN)。AMEAN需要两个对抗性的迁移学习过程。第一种是传统的对抗性转移,以连接我们的源域和混合目标域。为了避免目标类别内的不一致,第二个过程表现为“学习适应”:它部署了一个无监督的元学习器,接收目标数据及其正在进行的特征学习反馈,以发现目标集群作为我们的“元-子目标”域。这些元-子目标自动设计了我们的元-子目标DA损失,这根据经验消除了我们的混合目标中的隐式类别不匹配。我们评估AMEAN和各种DA算法在BTDA设置下的三个基准测试。实验结果表明,BTDA是一个相当具有挑战性的转移设置为大多数现有的DA算法,但AMEAN显着优于这些国家的最先进的基线,并有效地抑制了BTDA的负转移效应。
2019-07-08 cs.LG stat.ML
Online Meta-Learning for Multi-Source and Semi-Supervised Domain Adaptation
Samsung AI Center Cambridge(三星人工智能中心剑桥);The University of Edinburgh(爱丁堡大学)
领域自适应(Domain adaptation,DA)是一个热门的问题,它从标记的源数据集调整模型,使其在只有未标记或部分标记数据的目标数据集上表现良好。已经提出了许多方法来解决这个问题,通过不同的方式来最小化源和目标数据集之间的域偏移。在本文中,我们采取了正交的角度来看,并提出了一个框架,以进一步提高性能的元学习现有DA算法的初始条件。由于所涉及的计算图的长度,与更广泛考虑的Few-Shot元学习的设置相比,这是具有挑战性的。因此,我们提出了一个在线最短路径元学习框架,这是计算上易于处理和实际有效的提高DA性能。我们提出了多源无监督领域自适应(MSDA)和半监督领域自适应(SSDA)的变体。重要的是,我们的方法是不可知的基础适应算法,并可以应用于改善许多技术。在实验中,我们展示了经典(DANN)和最近(MCD和MME)的MSDA和SSDA技术的改进,并最终实现了几个DA基准测试,包括最大规模的DomainNet的最先进的结果。
2020-07-27 cs.CV cs.LG
Localising In Complex Scenes Using Balanced Adversarial Adaptation
ARC Centre of Excellence for Robotic Vision(澳大利亚研究委员会机器人视觉卓越中心);Monash University(莫纳什大学)
领域自适应和生成式建模通过利用模拟环境中丰富的准确标记数据,共同减轻了数据汇集和标记的昂贵性质。在这项工作中,我们研究的性能之间存在的差距表示优化本地化的模拟环境和应用程序的这种表示在现实世界中设置。我们的方法利用模拟和现实世界的环境之间共享的几何相似性,同时保持对视觉差异的不变性。这是通过优化表示提取器来实现的,以将模拟和真实表示投影到共享表示空间中。我们的方法使用了一种对称对抗方法,该方法鼓励表示提取器隐藏从中提取特征的域,同时保留源域和目标域之间有利于本地化的鲁棒属性。我们通过将室内人居模拟环境(Matterport3D和ESTA)优化的表示适应真实世界的室内环境(主动视觉数据集)来评估我们的方法,表明它与完全监督的方法相比是有利的。
2020-11-09 cs.CV cs.LG
On the adaptation of in-context learners for system identification
IDSIA Dalle Molle Institute for Artificial Intelligence(IDSIA达莱·莫尔人工智能研究所);USI-SUPSI(提契诺大学-瑞士南部应用科学与艺术大学)
本文研究上下文系统辨识中的元模型自适应问题,并通过三类现实数值场景表明,自适应可提升预测性能并增强元学习框架的稳健性与通用性。
2023-12-07 cs.LG cs.SY eess.SY
Adaptation of Quadruped Robot Locomotion with Meta-Learning
Russian Quantum Center(俄罗斯量子中心);Moscow Institute of Physics and Technology(莫斯科物理技术学院);University of Oxford(牛津大学)
动物有非凡的能力来适应不同的地形和任务。然而,通过强化学习训练的机器人通常只能解决单个任务,并且转移的策略通常不如从头开始训练的策略。在这项工作中,我们证明了Meta强化学习可以用来成功地训练一个机器人能够解决广泛的运动任务。经过元训练的机器人的性能类似于在单个任务上训练的机器人的性能。
2021-07-08 cs.LG cs.RO
CoLLM: Continuous Adaptation for SLO-Aware LLM Serving on Shared GPU Clusters
Tianjin University(天津大学);King's College London(伦敦大学国王学院);Paiou Cloud Computing (Shanghai) Company, Ltd.(上海帕优云计算有限公司)
CoLLM通过统一联邦参数高效微调与推理,实现LLM服务在共享GPU集群中的连续适应,提升模型质量和效率,实验显示其在吞吐量上表现优异。
2026-05-15 cs.AI cs.DC cs.LG
Context-Aware Self-Adaptation for Domain Generalization
Carleton University(卡尔顿大学);Amii(Amii研究院)
提出用于领域泛化的两阶段方法CASA,利用小批量特征均值等上下文信息自适应调整预训练模型,并通过多模型集成在标准基准上实现最先进性能。
2025-04-03 cs.AI cs.LG
CoRMA: Contrastive RMA for Contact-Rich Meta-Adaptation
Synthoid AI
提出CoRMA框架,通过语义接触上下文和对比学习实现力主导装配任务的元适应,无需演示或梯度更新,在仿真和真实机器人上优于基线。
2026-05-28 cs.LG cs.RO
Queryable LoRA: Instruction-Regularized Routing Over Shared Low-Rank Update Atoms
Department of Computer Science(计算机科学系);Department of Government(政府系);University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Statistics and Data Sciences(统计与数据科学系)
本文提出一种数据自适应的参数高效微调方法,通过共享可查询的记忆体实现动态路由,结合指令正则化提升模型适应性与稳定性。
2026-05-08 cs.CL cs.LG stat.ML
Test-Time Meta-Adaptation with Self-Synthesis
Stanford University(斯坦福大学)
MASS通过自动生成问题特定的合成训练数据,实现大语言模型在测试时的自我适应与优化,提升下游任务性能。
2026-03-08 cs.AI cs.LG
Domain adaptation strategies for cancer-independent detection of lymph node metastases
Nijmegen, the Netherlands
最近,大型高质量的公共数据集导致了卷积神经网络的发展,可以在专家病理学家的水平上检测乳腺癌的淋巴结转移。许多癌症,无论起源部位如何,都可以转移到淋巴结。然而,收集和注释每种癌症类型的高容量,高质量数据集是具有挑战性的。在本文中,我们研究了如何在多任务设置中最有效地利用现有的高质量数据集来执行密切相关的任务。具体来说,我们将探索不同的训练和域适应策略,包括预防灾难性遗忘,用于结肠癌和头颈癌淋巴结转移检测。我们的研究结果显示了两种癌症转移检测任务的最新性能。此外,我们证明了从一种癌症类型到另一种癌症类型的网络重复适应的有效性,以获得多任务转移检测网络。最后,我们证明了利用现有的高质量数据集可以显着提高新目标任务的性能,并且可以使用正则化有效地减轻灾难性遗忘。
2022-07-13 cs.CV cs.LG eess.IV
MetaLoRA: Tensor-Enhanced Adaptive Low-Rank Fine-tuning
City University of Hong Kong(香港城市大学)
针对LoRA固定参数限制动态任务适应的问题,本研究提出MetaLoRA框架,结合元学习与自适应低秩分解生成任务感知参数,首次实现元学习增强的LoRA变体,在保持计算效率的同时提升模型适应能力。
2025-04-01 cs.AI cs.LG
A Simple Yet Effective Strategy to Robustify the Meta Learning Paradigm
College of Science, National University of Defense Technology(国防科技大学理学院);College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院)
针对元学习中部分任务快速适应效果差的问题,提出从分布鲁棒性角度、以期望尾部风险为指标的两阶段启发式策略,提升元学习对任务分布的鲁棒性。
2023-10-01 cs.AI cs.LG
Variable-Shot Adaptation for Online Meta-Learning
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
Few-Shot元学习方法考虑通过跨来自一组先前任务的静态数据的元学习来从小的固定数量的示例学习新任务的问题。然而,在许多现实世界中,更自然的是将问题视为最小化监督总量的问题之一-学习新任务所需的示例数量和元学习所需的数据量。这样的公式可以在顺序学习环境中进行研究,其中任务按顺序呈现。当在这种在线环境中研究元学习时,出现了一个关键问题:当同时考虑元训练和适应时,元学习能否改善标准经验风险最小化方法的样本复杂性和遗憾?对于需要大量Meta训练数据的复杂双层优化的元学习算法,答案尤其不明显。为了回答这个问题,我们扩展了以前的元学习算法,以处理顺序学习中自然出现的可变镜头设置:从开始的多镜头学习到最后的零样本学习。在顺序学习问题上,我们发现,与标准的监督方法相比,元学习用更少的整体标签解决了整个任务集,并实现了更高的累积性能。这些结果表明,元学习是构建学习系统的一个重要组成部分,该系统可以在一系列问题上不断学习和改进。
2020-12-14 cs.AI cs.LG
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft(微软);Oregon State University(俄勒冈州立大学)
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频,通过对比学习来训练双流2D和3D CNN架构,以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应(A3 M)模块,该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务,使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外,与以前的有监督的Few-Shot动作识别方法不同,MetaUVFS既不需要基类标签,也不需要有监督的预训练骨干。因此,我们只需要训练MetaUVFS一次,就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争,有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
Towards Foundation Model for Chemical Reactor Modeling: Meta-Learning with Physics-Informed Adaptation
Department of Chemical and Biomolecular Engineering, National University of Singapore(化学与生物分子工程系,新加坡国立大学);Artificial Intelligence Institute, National University of Singapore(人工智能研究所,新加坡国立大学)
本研究提出结合元学习与物理信息微调的神经网络框架,实现化学反应器模型跨类型泛化与少样本高效适应,为化工基础模型奠定基础。
2025-05-15 cs.CE cs.LG