A Hybrid Approach to Malware Detection: Integrating Few-Shot Model-Agnostic Meta-Learning with Autoencoders
University of North Dakota(北达科他大学);Hassan II University(哈桑二世大学)
本文提出一种结合自编码器特征提取器与模型无关元学习分类器的混合深度学习框架,用于少样本勒索软件检测,在Ransomware Dataset 2024上实现高准确率、F1分数和MCC值,验证了其在数据稀缺场景下的鲁棒性和有效性。
2026-10-02 cs.AI cs.CR cs.LG
Meta-Learning Divergences of Variational Inference
Cornell University(康奈尔大学);Imperial College London(帝国理工学院);Microsoft Research(微软研究院)
变分推理(VI)由于其计算效率和广泛的适用性,在近似贝叶斯推理中起着至关重要的作用。VI的性能的关键是选择相关的分歧措施,因为VI通过最小化这种分歧来近似棘手的分布。在本文中,我们提出了一个元学习算法来学习适合于感兴趣的任务的发散度量,自动化的VI方法的设计。此外,当我们的方法部署在少样本学习场景中时,我们学习变分参数的初始化而不需要额外的成本。我们证明了我们的方法优于标准VI的高斯混合分布近似,贝叶斯神经网络回归,图像生成与变分自编码器和推荐系统与部分变分自编码器。
2021-06-22 cs.LG stat.ML
No-regret Non-convex Online Meta-Learning
University of Minnesota(明尼苏达大学)
在线元学习框架是为持续的终身学习环境而设计的。它连接了两个领域:元学习,它试图从过去的任务中提取先验知识,以便快速学习未来的任务,以及在线学习,它处理问题一个接一个地被揭示的顺序设置。本文将原有的框架从凸环境推广到非凸环境,并引入局部遗憾作为替代性能度量。然后,我们应用这个框架的随机设置,并从理论上表明,它享有对数本地遗憾,是强大的任何超参数初始化。通过对一个真实任务的实证测试,证明了该方法相对于传统方法的优越性。
2020-02-19 cs.LG stat.ML
Online Hyperparameter Meta-Learning with Hypergradient Distillation
KAIST(韩国科学技术院);AITRICS(艾特里克斯);Lunit(鲁尼特);University of Edinburgh(爱丁堡大学);Samsung AI Centre Cambridge(三星剑桥人工智能中心)
许多基于梯度的元学习方法假设一组不参与内部优化的参数,这些参数可以被认为是超参数。尽管可以使用现有的基于梯度的超参数优化(HO)方法来优化这样的超参数,但是它们存在以下问题。展开微分方法不能很好地扩展到高维超参数或时域长度,基于隐函数定理(IFT)的方法对在线优化有限制,并且短时域近似遭受短时域偏差。在这项工作中,我们提出了一种新的HO方法,可以克服这些限制,通过近似的二阶项与知识蒸馏。具体而言,我们为每个HO步骤参数化单个雅可比向量积(JVP),并最小化与真实二阶项的距离。我们的方法允许在线优化,也是可扩展的超参数尺寸和地平线长度。我们在两种不同的元学习方法和三个基准数据集上证明了我们的方法的有效性。
2022-02-12 cs.LG
Accelerating Distributed Online Meta-Learning via Multi-Agent Collaboration under Limited Communication
Arizona State University(亚利桑那州立大学)
在线元学习正在成为物联网生态系统中实现边缘智能的一种使能技术。然而,为了学习一个好的元模型,以实现任务内的快速适应,单个智能体必须单独学习许多任务,这就是所谓的“冷启动”问题。观察到在多智能体网络中,不同智能体之间的学习任务通常具有一些模型相似性,我们提出了以下基本问题:“是否有可能通过有限的通信来加速智能体之间的在线元学习,如果是的话,可以实现多大的好处?为了回答这个问题,我们提出了一个多智能体在线元学习框架,并将其转换为一个等价的两级嵌套在线凸优化(OCO)问题。通过表征代理任务平均遗憾的上界,我们表明,多代理在线元学习的性能在很大程度上取决于有多少代理可以受益于分布式网络级的OCO元模型更新通过有限的通信,但这是不是很好地理解。为了解决这一挑战,我们设计了一个分布式的在线梯度下降算法与梯度跟踪,每个代理跟踪全局梯度使用只有一个通信步骤与它的邻居每次迭代,它的结果是在一个平均遗憾$O(\sqrt{T/N})$每个代理,表明$\sqrt{1/N}$的一个因素的加速比最佳的单代理遗憾$O(\sqrt{T})$后,$T$迭代,其中$N$是代理的数量。在此基础上,我们接下来开发了一个多智能体在线元学习算法,并表明它可以通过有限的通信以更快的$O(1/\sqrt{NT})$速度实现最佳任务平均遗憾,相比单智能体在线元学习。大量的实验证实了理论结果。
2020-12-19 cs.DC cs.LG cs.MA
Meta-Learning Online Control for Linear Dynamical Systems
University of California Irvine(加州大学欧文分校);Texas A&M University(德州农工大学)
在本文中,我们考虑的问题,找到一个元学习在线控制算法,可以学习跨任务时,面对一系列的$N$(类似)控制任务。每个任务都涉及控制$T$时间步长的有限范围内的线性动力系统。在每个时间步的成本函数和系统噪声是对抗性的,并且在采取控制动作之前对控制器是未知的。元学习是一种广泛的方法,其目标是利用来自其他任务的信息和任务之间的相似性为任何新的看不见的任务规定在线策略。我们提出了一个元学习在线控制算法的控制设置和表征其性能的\textit{meta-regret},跨任务的平均累积遗憾。我们表明,当任务的数量足够大,我们提出的方法实现了元遗憾,是较小的一个因素$D/D^{*}$相比,独立学习的在线控制算法,它不执行跨任务的学习,其中$D$是一个问题常数和$D^{*}$是一个标量,随着任务之间的相似性增加而减少。因此,当任务序列相似时,所提出的元学习在线控制的遗憾度显著低于没有元学习的朴素方法。我们还提出了实验结果来证明我们的元学习算法所取得的优异性能。
2022-08-18 cs.LG cs.SY eess.SY
Attention and Autoencoder Hybrid Model for Unsupervised Online Anomaly Detection
Shiraz University(设拉子大学)
本文提出一种结合注意力机制与自编码器的混合模型,用于时间序列无监督在线异常检测,通过潜在空间预测及误差一阶统计矩分析提升检测准确率。
2024-01-06 cs.AI cs.LG eess.SP
End-to-End Fast Training of Communication Links Without a Channel Model via Online Meta-Learning
当信道模型不可用时,在衰落噪声信道上的编码器和解码器的端到端训练通常需要重复使用信道和反馈链路。这种方法的一个重要局限性是,对于每一个新的渠道,通常都要从头开始进行培训。为了解决这个问题,先前的工作考虑在多个通道上进行联合训练,目的是找到在一类通道上工作良好的单对编码器和解码器。在本文中,我们建议通过元学习来克服联合训练的局限性。所提出的方法是基于一个元训练阶段,在该阶段中,在线的基于梯度的元学习的解码器耦合与联合训练的编码器通过传输的导频和使用的反馈链路。考虑到元训练阶段的信道变化,这项工作证明了元学习在导频数量方面的优势,与传统方法相比,当反馈链路仅可用于元训练而不是在运行时。
2020-03-03 cs.IT cs.LG eess.SP
Fairness-Aware Online Meta-learning
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
与离线工作方式相比,在线学习有两种研究范式:(1)在线元学习(OML)在一个接一个的任务被揭示的顺序设置中学习模型参数的良好先验(或学习学习)。虽然它提供了一个次线性的遗憾界限,这种技术完全忽略了公平学习的重要性,这是人类智力的一个重要标志。(2)在线公平意识学习。此设置捕获了许多关注公平性的分类问题。但它的目标是实现zero-shot泛化,而没有任何特定于任务的适应。因此,这限制了模型适应新到达数据的能力。为了克服这些问题,弥补这一差距,在本文中,我们首次提出了一种新的在线元学习算法,即FFML,这是在不公平预防的设置。FFML的关键部分是学习在线公平分类模型的原始和对偶参数的良好先验,这些参数分别与模型的准确性和公平性相关联。该问题是制定在一个双层凹凸优化的形式。理论分析给出了损失后悔和违反累积公平约束的次线性上界。我们的实验证明了FFML的多功能性,通过将其应用于三个真实世界的数据集上的分类,并在公平性和分类准确性之间的权衡上显示出比最好的先前工作有实质性的改进
2021-08-21 cs.LG
ACDC: Online Unsupervised Cross-Domain Adaptation
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology(新加坡制造技术研究院)
我们考虑在线无监督的跨领域自适应问题,其中两个独立但相关的数据流具有不同的特征空间-一个完全标记的源流和一个未标记的目标流-一起学习。出现了独特的特征和挑战,例如协变量偏移、异步概念偏移和对比数据吞吐量。我们提出了ACDC,一个对抗性的无监督领域自适应框架,它可以用一个完整的自进化神经网络结构来处理多个数据流,对这些挑战做出反应。ACDC将三个模块封装到一个模型中:一个提取特征的去噪自动编码器,一个执行域转换的对抗模块,以及一个学习源流并预测目标流的估计器。ACDC是一个灵活且可扩展的框架,具有很少的超参数可调性。我们的实验结果下的prequential测试,然后训练协议表明,在基线方法的目标精度的改善,在某些情况下,实现了超过10%的增加。
2021-10-04 cs.LG
Algorithm Design for Online Meta-Learning with Task Boundary Detection
The Ohio State University(俄亥俄州立大学);University of Houston(休斯顿大学);University of California, Davis(加州大学戴维斯分校)
针对非平稳且任务边界未知的在线元学习问题,提出基于任务切换与分布漂移检测、仅用当前数据更新的算法,并证明次线性任务平均遗憾及显著实验优势。
2024-08-05 cs.LG stat.ML
Meta-Tracker: Fast and Robust Online Adaptation for Visual Object Trackers
Department of Computer Science, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校计算机科学系)
本文改进了使用在线自适应的最先进的视觉对象跟踪器。我们的核心贡献是一种基于离线元学习的方法,用于调整在线自适应跟踪中使用的初始深度网络。Meta学习由深度网络的目标驱动,可以快速适应未来帧中的特定目标。理想情况下,生成的模型将重点放在对未来帧有用的特征上,并避免过度拟合背景杂波、目标的小部分或噪声。通过在元学习过程中强制执行少量的更新迭代,最终的网络训练速度明显更快。我们证明了这种方法的高性能跟踪方法的顶部:跟踪检测为基础的MDNet和相关性为基础的CREST。在标准基准测试OTB 2015和VOT 2016上的实验结果表明,我们的两种跟踪器的元学习版本提高了速度、准确性和鲁棒性。
2018-03-19 cs.CV cs.LG
Fully Online Meta-Learning Without Task Boundaries
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
虽然深度网络可以学习复杂的功能,如分类器,检测器和跟踪器,但许多应用程序需要模型不断适应不断变化的输入分布,不断变化的任务和不断变化的环境条件。事实上,这种不断积累知识并利用过去的经验在连续设置中快速学习新任务的能力是智能系统的关键属性之一。对于复杂和高维问题,简单地用标准学习算法(例如梯度下降)不断更新模型可能导致缓慢的自适应。元学习可以提供一个强大的工具来加速适应,但传统上是在批量设置中研究。在本文中,我们研究了如何将元学习应用于解决这种性质的在线问题,同时适应不断变化的任务和输入分布,并对模型进行元训练,以便在未来更快地适应。将元学习扩展到在线环境中存在其自身的挑战,尽管一些先前的方法已经研究了相关问题,但它们通常需要任务的离散概念,具有已知的地面实况任务边界。这些方法通常按顺序适应每个任务,在任务之间重置模型,而不是在任务之间连续适应。在许多现实世界的设置中,这样的离散边界是不可用的,甚至可能不存在。为了解决这些设置,我们提出了一种完全在线的元学习(FOML)算法,它不需要任何关于任务边界的基础知识,并且保持完全在线,而不会重置回预先训练的权重。我们的实验表明,FOML能够比Rainbow-MNIST,CIFAR 100和CELEBA数据集上最先进的在线学习方法更快地学习新任务。
2022-02-18 cs.CV cs.LG
Dynamic Regret Analysis for Online Meta-Learning
Amirkabir University of Technology(阿米卡比尔理工大学)
在线元学习框架已经成为持续终身学习的有力工具。智能体的目标是在面对一个接一个的任务时,利用先前的经验快速学习新的任务。该公式包括两个层次:外部层次学习元学习者和内部层次学习特定任务模型,只有少量的数据来自当前任务。虽然现有的方法提供了静态的遗憾分析的在线元学习框架,我们建立的动态遗憾,处理不断变化的环境,从全球的角度来看,性能。我们还构建了一个通用版本的自适应梯度方法,涵盖了ADAM和ADAGRAD,以在外层学习元学习者。我们进行了我们的分析,在随机设置,并在期望证明了一个对数的局部动态遗憾,这取决于明确的迭代次数T和参数的学习。此外,我们还指出了所提出的算法的收敛速度与适当的参数选择的高概率界,这是以前没有讨论过的。
2021-09-29 cs.LG stat.ML
Online Bayesian Meta-Learning for Cognitive Tracking Radar
Virginia Tech(弗吉尼亚理工大学);US Army Research Laboratory(美国陆军研究实验室)
认知雷达的一个关键组成部分是泛化能力,或在一系列感知环境中实现一致的性能,因为物理场景的各个方面可能会随时间而变化。这对基于学习的波形选择方法提出了挑战,因为在一个场景中有效的传输策略在另一个场景中可能是非常次优的。我们解决这个问题的战略偏见的学习算法,通过利用高层次的结构跟踪实例,称为元学习。在这项工作中,我们开发了一种在线元学习方法,用于波形敏捷跟踪。该方法使用从先前目标跟踪中获得的信息来加速和增强新跟踪实例中的学习。这导致在样本有效的学习,通过利用固有的相似性,在跟踪场景中,由于共同的物理元素,如目标类型或杂波统计的一类有限状态目标通道。我们制定的贝叶斯学习的框架内的在线波形选择问题,并提供先验依赖的性能界限的元学习问题,使用概率近似正确(PAC)贝叶斯理论。我们提出了一个计算上可行的元后验采样算法,并研究了在不同场景的仿真研究中的性能。最后,我们研究了与波形敏捷跟踪的在线元学习相关的潜在性能优势和实际挑战。
2023-02-07 cs.IT cs.LG cs.SY
Online Meta-learning by Parallel Algorithm Competition
ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
强化学习算法的效率主要取决于一些调节学习更新的元参数以及探索和利用之间的权衡。元参数的自适应是强化学习中的一个悬而未决的问题,最近随着深度强化学习在高维状态空间中的成功,这可以说已经成为一个问题。在诸如Atari 2600视频游戏的领域中的长学习时间使得执行适当的元参数值的全面搜索不可行。提出了并行算法竞赛在线元学习方法。在OMPAC方法中,并行运行强化学习算法的几个实例,其中元参数的初始值具有小的差异。在固定次数的事件之后,根据它们在手头任务中的表现来选择实例。在继续学习之前,以预定义的概率将高斯噪声添加到元参数。我们验证了OMPAC方法,通过改进随机SZ-俄罗斯方块和标准俄罗斯方块中较小的,10个$\times$ 10,板,分别为31%和84%,并通过改进三个Atari 2600游戏中的深度Sarsa($λ$)代理的结果62%或更多。实验还表明,OMPAC方法能够根据不同任务的学习进度来调整元参数。
2017-02-24 cs.LG
Online Meta-Learning
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
智能系统的一个核心能力是能够不断地建立在以前的经验,以加快和加强对新任务的学习。两种不同的研究范式研究了这个问题。元学习将此问题视为学习模型参数的先验,该模型参数适合于对新任务的快速适应,但通常假设任务集作为一批一起可用。相比之下,在线(基于后悔)学习考虑了一个连续的设置,其中问题一个接一个地被揭示,但传统上训练只有一个单一的模型,没有任何特定于任务的适应。这项工作介绍了一个在线元学习设置,它合并了上述两种范式的想法,以更好地捕捉持续终身学习的精神和实践。我们提出了跟随Meta领导者算法,它扩展了MAML算法到这种设置。从理论上讲,这项工作提供了一个$\mathcal{O}(\log T)$遗憾的保证,只有一个额外的高阶平滑假设相比,标准的在线设置。我们对三个不同的大规模任务的实验评估表明,该算法显着优于传统的在线学习方法的基础上的替代品。
2019-07-03 cs.AI cs.LG stat.ML
Online Learning of a Memory for Learning Rates
MPI-IS(马克斯·普朗克智能系统研究所);University of Washington(华盛顿大学);USC(南加利福尼亚大学)
机器人学会学习的希望在于希望通过提取一些关于学习过程本身的信息,我们可以加快后续类似的学习任务。在这里,我们介绍了一个计算效率高的在线元学习算法,建立和优化记忆模型的最佳学习率景观从以前观察到的梯度行为。在执行特定于任务的优化时,该学习率的记忆预测如何缩放当前观察到的梯度。在应用梯度缩放后,我们的元学习器根据观察到的预测效果更新其内部内存。我们的元学习器可以与任何基于梯度的优化器相结合,动态学习,并可以转移到新的优化任务。在我们的评估中,我们表明,我们的元学习算法加快学习MNIST分类和各种学习控制任务,无论是在批量或在线学习设置。
2018-03-23 cs.LG
Reconciling meta-learning and continual learning with online mixtures of tasks
Duke University(杜克大学);UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
学习-学习或元学习利用数据驱动的归纳偏差来提高对新任务的学习效率。当转移不具有优势时,例如当任务相当不同或随着时间的推移而变化时,这种方法就会遇到困难。我们使用基于梯度的元学习和分层贝叶斯之间的连接,提出了一个Dirichlet过程混合的分层贝叶斯模型的参数的任意参数模型,如神经网络。与将归纳偏差合并到一组超参数中相比,我们的任务相关超参数选择方法更好地处理了潜在的分布偏移,这在一组不断发展的、基于图像的、少样本学习基准测试中得到了证明。
2019-06-19 cs.LG stat.ML
Variable-Shot Adaptation for Online Meta-Learning
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
Few-Shot元学习方法考虑通过跨来自一组先前任务的静态数据的元学习来从小的固定数量的示例学习新任务的问题。然而,在许多现实世界中,更自然的是将问题视为最小化监督总量的问题之一-学习新任务所需的示例数量和元学习所需的数据量。这样的公式可以在顺序学习环境中进行研究,其中任务按顺序呈现。当在这种在线环境中研究元学习时,出现了一个关键问题:当同时考虑元训练和适应时,元学习能否改善标准经验风险最小化方法的样本复杂性和遗憾?对于需要大量Meta训练数据的复杂双层优化的元学习算法,答案尤其不明显。为了回答这个问题,我们扩展了以前的元学习算法,以处理顺序学习中自然出现的可变镜头设置:从开始的多镜头学习到最后的零样本学习。在顺序学习问题上,我们发现,与标准的监督方法相比,元学习用更少的整体标签解决了整个任务集,并实现了更高的累积性能。这些结果表明,元学习是构建学习系统的一个重要组成部分,该系统可以在一系列问题上不断学习和改进。
2020-12-14 cs.AI cs.LG
Meta-Learning Guarantees for Online Receding Horizon Learning Control
在本文中,我们提供了可证明的遗憾保证在线元学习滚动时域控制算法在迭代控制设置。我们考虑的设置,在每一次迭代中的系统被控制是一个线性确定性系统,是不同的和未知的,在迭代中的控制器的成本是一个一般的附加代价函数和仿射控制输入约束。通过分析次线性后悔可实现的条件,证明了元学习在线滚动时域控制器实现了控制器代价的动态后悔平均值,即$\tilde{O}((1+1/\sqrt{N})T^{3/4})$与迭代次数$N$。因此,我们表明,迭代中学习的最大遗憾会随着更多迭代的经验而改善,并保证改进率。
2022-11-01 cs.LG cs.SY eess.SY
Deep Online Learning via Meta-Learning: Continual Adaptation for Model-Based RL
UC Berkeley(加州大学伯克利分校)
人类和动物可以学习复杂的预测模型,使他们能够准确可靠地推理现实世界的现象,并且他们可以在面对意外变化时非常迅速地适应这些模型。深度神经网络模型允许我们表示非常复杂的功能,但缺乏快速在线适应的能力。本文的目标是开发一种使用深度神经网络模型从传入数据流中进行持续在线学习的方法。我们制定了一个在线学习程序,使用随机梯度下降更新模型参数,并与中国餐厅的过程之前,开发和维护的混合模型来处理非平稳任务分布的期望最大化算法。这允许所有模型根据需要进行调整,新模型针对任务更改进行实例化,旧模型在再次遇到以前看到的任务时被调用。此外,我们观察到元学习可以用于元训练模型,使得SGD的这种直接在线自适应是有效的,否则对于大型函数逼近器来说就不是这种情况。在这项工作中,我们将我们的元学习在线学习(MOLe)方法应用于基于模型的强化学习,其中调整预测模型对于控制至关重要;我们证明MOLe优于其他先验方法,并在非平稳任务分布(如变化的地形,电机故障和意外干扰)中实现有效的连续适应。
2019-01-28 cs.AI cs.LG cs.RO
Sequential Scenario-Specific Meta Learner for Online Recommendation
Tsinghua University(清华大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
冷启动问题是实际建议的长期挑战。大多数现有的推荐算法依赖于大量的观察数据,并且对于交互很少的推荐场景是脆弱的。本文使用少样本学习和Meta学习来解决这些问题。我们的方法是基于这样的见解,即从几个例子中获得良好的泛化依赖于通用模型初始化和使该模型适应新出现的任务的有效策略。为了实现这一点,我们将特定场景的学习与模型不可知的顺序元学习相结合,并将它们统一到一个集成的端到端框架中,即特定场景的顺序Meta学习器(或s^2 meta)。通过这样做,我们的元学习器通过聚合来自各种预测任务的上下文信息来生成通用的初始模型,同时通过利用学习知识来有效地适应特定的任务。在各种真实数据集上的大量实验表明,我们提出的模型可以在在线推荐的冷启动问题上取得显着的收益。部署在猜你喜欢的会议,手机淘宝的首页。
2019-06-02 cs.IR cs.LG stat.ML
Online Meta-Learning for Multi-Source and Semi-Supervised Domain Adaptation
Samsung AI Center Cambridge(三星人工智能中心剑桥);The University of Edinburgh(爱丁堡大学)
领域自适应(Domain adaptation,DA)是一个热门的问题,它从标记的源数据集调整模型,使其在只有未标记或部分标记数据的目标数据集上表现良好。已经提出了许多方法来解决这个问题,通过不同的方式来最小化源和目标数据集之间的域偏移。在本文中,我们采取了正交的角度来看,并提出了一个框架,以进一步提高性能的元学习现有DA算法的初始条件。由于所涉及的计算图的长度,与更广泛考虑的Few-Shot元学习的设置相比,这是具有挑战性的。因此,我们提出了一个在线最短路径元学习框架,这是计算上易于处理和实际有效的提高DA性能。我们提出了多源无监督领域自适应(MSDA)和半监督领域自适应(SSDA)的变体。重要的是,我们的方法是不可知的基础适应算法,并可以应用于改善许多技术。在实验中,我们展示了经典(DANN)和最近(MCD和MME)的MSDA和SSDA技术的改进,并最终实现了几个DA基准测试,包括最大规模的DomainNet的最先进的结果。
2020-07-27 cs.CV cs.LG
Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning
ElementAI(ElementAI公司);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Facebook AI Research(脸书人工智能研究院);McGill University(麦吉尔大学);HEC Montréal(蒙特利尔高等商学院)
持续学习研究的是在适应新任务的同时,从任务流中学习而不会忘记以前的任务的智能体。最近的两个持续学习方案开辟了新的研究途径。在Meta持续学习中,模型被预先训练以最小化先前任务的灾难性遗忘。在持续元学习中,目标是通过适应来训练代理更快地记住先前的任务。这两种方法在其最初的表述中都有局限性。我们站在他们的肩膀上,提出一个更一般的场景,大坂,代理必须快速解决新的(分布外)任务,同时还需要快速记忆。我们表明,目前的持续学习,元学习,Meta-持续学习,和持续元学习技术在这个新的情况下失败。我们建议连续MAML,流行的MAML算法的在线扩展作为一个强有力的基线,这种情况下。我们的经验表明,连续MAML比上述方法更适合新的场景,以及标准的持续学习和元学习方法。
2021-01-20 cs.AI cs.LG
Online Semi-Supervised Learning with Deep Hybrid Boltzmann Machines and Denoising Autoencoders
College of Information Science & Technology(信息科学与技术学院);The Pennsylvania State University(宾夕法尼亚州立大学)
提出了两种新的深度混合结构,深度混合玻尔兹曼机和深度混合去噪自动编码器,用于处理半监督学习问题。这些模型结合了在不同抽象层次上对相关分布进行建模的专家,以提高区分性任务的整体预测性能。每个联合学习的理论动机和算法。我们将新的模型应用到数据流领域,致力于终身学习。所提出的架构表现出改善的性能相比,伪标记,辍学整流器网络。
2016-01-18 cs.LG
Meta-Learning Online Dynamics Model Adaptation in Off-Road Autonomous Driving
Jet Propulsion Laboratory, California Institute of Technology(喷气推进实验室、加州理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Georgia Institute of Technology(佐治亚理工学院)
针对高速越野自动驾驶中地形-车辆相互作用建模困难的问题,提出结合卡尔曼滤波在线自适应与元学习参数的框架,通过离线优化基函数与自适应参数,实现实时动力学模型调整,实验证明其在预测精度、性能与安全性上优于基线方法。
2025-04-23 cs.LG cs.RO cs.SY
The Physics of Learning: From Autoencoders to Truly Autonomous Learning Machines
Algostream Consulting(Algostream 咨询公司)
本文提出将成功预测所获能量回收为学习激励与资源,通过元架构调整使无监督学习系统(以自编码器为例)实现能量自给自足,从而构建具有持续学习内在驱动力、真正自主的物理学习系统。
2024-02-12 cs.AI cs.ET cs.LG
Learning to Recommend via Meta Parameter Partition
Baidu Research Institute(百度研究院)
本文提出了一种基于Meta学习的推荐方法来解决推荐中的一个重要问题--用户冷启动。以前的Meta学习方法为每个新用户微调所有参数,这是计算和存储昂贵的。相反,我们将模型参数分为固定和自适应部分,并开发了一个两阶段的Meta学习算法来分别学习它们。固定部分,捕捉用户不变的特征,由所有用户共享,并在离线Meta学习阶段学习。自适应部分,捕捉用户的特定功能,在在线Meta学习阶段学习。通过将用户不变参数与用户相关参数解耦,该方法比以前的方法效率更高,存储更便宜。它还具有处理灾难性遗忘的潜力,同时不断适应即将到来的流媒体用户。生产数据上的实验表明,该方法收敛速度快,比基线方法有更好的性能。没有在线Meta模型微调的元训练将AUC从72.24%增加到74.72%(绝对改善2.48%)。与离线Meta训练相比,在线Meta训练获得了2.46%的绝对提高。
2019-12-04 cs.IR cs.LG stat.ML
Autoencoder-based Anomaly Detection System for Online Data Quality Monitoring of the CMS Electromagnetic Calorimeter
European Organization for Nuclear Research (CERN)(欧洲核子研究组织)
本文提出一种基于自编码器的半监督异常检测系统,用于CMS电磁量能器在线数据质量监测,通过利用异常的时间演化与空间变化提高检测性能,并在LHC Run 3中验证了其有效性。
2024-06-26 cs.LG hep-ex physics.data-an
Continual Variational Autoencoder Learning via Online Cooperative Memorization
University of York(约克大学)
变分自编码器(VAE)由于其推理、数据表示和重构特性,已成功地应用于持续学习分类任务中。然而,他们的能力,以产生相应的类和数据库在持续学习(CL)学习规范的图像还没有得到很好的理解和灾难性遗忘仍然是一个重大的挑战。在本文中,我们首先分析了遗忘行为的VAE制定一个新的理论框架,制定CL作为一个动态的最优运输问题。该框架在不需要任务信息的情况下证明了数据可能性的近似界限,并解释了先验知识在训练过程中如何丢失。然后,我们提出了一种新的内存缓冲的方法,即在线协同建模(OCM)框架,它包括一个短期记忆(STM),不断存储最近的样本,为模型提供未来的信息,和一个长期记忆(LTM),旨在保持广泛的多样性的样本。OCM根据信息多样性选择准则,在不需要任何监督信号的情况下,将特定样本从STM转移到LTM。然后,OCM框架与动态VAE扩展混合网络相结合,以进一步提高其性能。
2022-07-20 cs.AI cs.CV cs.LG
TeVAE: A Variational Autoencoder Approach for Discrete Online Anomaly Detection in Variable-state Multivariate Time-series Data
Mercedes-Benz AG(梅赛德斯-奔驰集团);Leiden University(莱顿大学)
针对汽车测试中人工评估受限、真实多变量时间序列数据复杂的问题,提出TeVAE模型,能基于无标签数据低误报检测异常、避免绕过现象、支持窗口重映射,在工业数据集上实现6%误报率与65%异常检出率,且小数据集适用但需复杂阈值估计。
2025-11-12 cs.AI cs.CE cs.LG
Autoencoder-based Online Data Quality Monitoring for the CMS Electromagnetic Calorimeter
Carnegie Mellon University(卡内基梅隆大学)
针对CMS电磁量能器在线数据质量监测,提出基于自编码器的无监督异常检测系统,能高效检测未知异常,假发现率低至10^-2至10^-4,并在实际数据中验证了性能。
2023-08-31 cs.LG hep-ex physics.data-an
Kitsune: An Ensemble of Autoencoders for Online Network Intrusion Detection
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
神经网络已经成为网络入侵检测系统(NIDS)的一种越来越流行的解决方案。它们学习复杂模式和行为的能力使其成为区分正常流量和网络攻击的合适解决方案。然而,神经网络的缺点是训练它们所需的资源量。许多可能托管NIDS的网络网关和路由器设备根本没有存储器或处理能力来训练,有时甚至执行这样的模型。更重要的是,现有的神经网络解决方案是以监督的方式训练的。这意味着专家必须标记网络流量并不时手动更新模型。在本文中,我们提出了Kitsune:即插即用的NIDS,可以学习检测本地网络上的攻击,无需监督,并在一个有效的在线方式。Kitsune的核心算法(KitNET)使用称为自动编码器的神经网络的集合来共同区分正常和异常的流量模式。KitNET由一个特征提取框架支持,该框架可以有效地跟踪每个网络通道的模式。我们的评估表明,Kitsune可以检测到各种攻击,其性能与离线异常检测器相当,即使在Raspberry PI上也是如此。这表明Kitsune可以成为一个实用和经济的NIDS。
2018-05-27 cs.AI cs.CR cs.LG
Online Active Learning for Soft Sensor Development using Semi-Supervised Autoencoders
Technical University of Denmark(丹麦技术大学);Norwegian University of Science and Technology(挪威科技大学)
针对工业过程中软传感器回归模型标注成本高且多为离线主动学习的问题,提出基于正交自编码器的半监督架构,将离线主动学习策略适配至基于流的场景以选择信息量最大的数据点,并在 Tennessee Eastman Process 上验证了预测性能。
2023-04-09 cs.LG stat.ML
Can't Boil This Frog: Robustness of Online-Trained Autoencoder-Based Anomaly Detectors to Adversarial Poisoning Attacks
Ben-Gurion University of the Negev(本-古里安大学)
近年来,各种有效的神经网络为基础的方法,在工业控制系统(ICS)的异常和网络攻击检测已在文献中被证明。鉴于它们的成功实施和广泛使用,有必要研究对这种检测方法的对抗攻击,以更好地保护依赖它们的系统。对图像和恶意软件分类的对抗攻击进行的广泛研究与大多数ICS攻击检测系统所属的物理系统状态预测域几乎没有相关性。此外,这种检测系统通常使用从被监视系统收集的新数据进行再训练,因此对抗性数据投毒的威胁是显著的,然而这种威胁尚未被研究界解决。在本文中,我们提出了第一个研究集中在中毒攻击在线训练的自动编码器为基础的攻击检测器。我们提出了两种算法,用于生成有毒样本,基于插值的算法和基于反向梯度优化的算法,我们评估合成和真实世界的ICS数据。我们证明,所提出的算法可以产生有毒样本,导致目标攻击去检测的自动编码器检测器,但中毒检测器的能力是有限的一小部分攻击类型和幅度。当将中毒生成算法应用于流行的SWaT数据集时,我们表明,在物理系统状态数据上训练的自动编码器检测器在面对数据集中的所有十种相关攻击时都能抵御中毒。这一发现表明,在网络物理领域中使用的基于神经网络的攻击检测器比在其他问题领域(例如恶意软件检测和图像处理)中更鲁棒。
2020-02-07 cs.CR cs.LG stat.ML
A Hybrid Variational Autoencoder for Collaborative Filtering
Columbia University(哥伦比亚大学)
在当今时代,几乎每个行业都有在线存在,用户在在线市场中进行交互,个性化推荐变得非常重要。传统上,协同过滤的问题已经解决了使用矩阵分解,这是线性的性质。我们通过提出一种混合的多模态方法,扩展了[11]关于使用变分自编码器(VAE)进行隐式反馈的协同过滤的工作。我们的方法将电影嵌入(从兄弟VAE网络中学习)与Movielens 20M数据集的用户评级相结合,并将其应用于电影推荐任务。我们实证展示了VAE网络是如何通过将电影嵌入。我们还可视化的电影和用户嵌入聚类从VAE获得的潜在表示。
2018-09-23 cs.IR cs.LG stat.ML
Modality Conversion of Handwritten Patterns by Cross Variational Autoencoders
Kyushu University(九州大学)
本研究试图建构一个网路,将线上与线下手写文字互相转换。该网络由两个可变自动编码器(VAE)组成,具有共享的潜在空间。VAE被训练成同时生成在线和离线手写拉丁字符。通过这种方式,我们创建了一个跨模态VAE(Cross-VAE)。在训练期间,所提出的交叉VAE被训练以最小化两种模态的重建损失、两个VAE的分布损失以及称为空间共享损失的新颖的第三损失。第三,空间共享损失用于通过计算潜变量之间的距离来鼓励模态共享相同的潜空间。通过该方法,在线和离线手写字符的相互转换是可能的。在本文中,我们证明了交叉VAE的性能,通过定性和定量分析。
2019-06-14 cs.CV cs.LG
Designing thermal radiation metamaterials via hybrid adversarial autoencoder and Bayesian optimization
Shanghai Jiao Tong University(上海交通大学);The University of Tokyo(东京大学);China Building Materials Academy(中国建筑材料科学研究总院)
热辐射超材料的设计是一个具有挑战性的问题,特别是高自由度和复杂的目标。在这封信中,我们开发了一种混合材料信息学方法,该方法结合了对抗性自动编码器和贝叶斯优化来设计不同目标波长的窄带热发射器。只需几百个训练数据集,就可以在压缩的二维潜空间中快速计算出具有最佳性能的新结构。这使得优化设计的计算量远远小于总候选结构的0.001%,大大缩短了设计周期和成本。所提出的设计框架可以很容易地扩展到其他具有更高维度特征的热辐射超材料设计。
2022-04-26 cs.LG physics.comp-ph physics.optics
Variational Autoencoder based Metamodeling for Multi-Objective Topology Optimization of Electrical Machines
Technical University Darmstadt(达姆施塔特工业大学);Robert Bosch GmbH(罗伯特·博世有限公司)
传统的电机静磁有限元分析方法计算量大、耗时长。由于每个机器拓扑结构都有一组不同的参数,设计优化通常是独立进行的。提出了一种利用变分自编码器将高维集成设计参数映射到低维潜空间中,同时预测不同参数电机拓扑关键性能指标(KPI)的新方法。在训练之后,经由潜在空间,解码器和多层神经网络将分别用作用于对新设计进行采样和预测相关联的KPI的元模型。这可以实现基于参数的并发多拓扑优化。
2022-04-07 cs.CE cs.LG
Meta-autoencoders: An approach to discovery and representation of relationships between dynamically evolving classes
Dept. of Computer Science and Applied Mathematics(计算机科学与应用数学系);Department of Immunology and Regenerative Biology(免疫学与再生生物学系);Weizmann Institute of Science(魏茨曼科学研究所)
提出元自编码器(MAE)概念,通过为类特定的自编码器集合学习紧凑表示及编解码器,捕捉动态演化类间关系,并应用于自然进化建模。
2025-07-12 cs.LG q-bio.PE
Gromov-Wasserstein Autoencoders
Hokkaido University(北海道大学)
基于变分自编码器(VAE)的生成模型通过合并元先验(被认为有利于下游任务的一般前提)来提供灵活的表示学习。然而,合并的元先验通常涉及自组织模型偏离原始似然架构,导致其训练中的不期望的变化。在本文中,我们提出了一种新的表示学习方法,Gromov-Wasserstein自动编码器(GWAE),它直接匹配的潜在和数据分布使用变分自动编码方案。GWAE模型不是基于可能性的目标,而是最小化可训练先验和给定数据分布之间的Gromov-Wasserstein(GW)度量。GW度量度量即使具有不同维度的分布之间的距离结构导向的差异,这提供了潜在空间和数据空间之间的直接度量。通过限制先验族,我们可以将元先验引入潜在空间而不改变它们的目标。与基于VAE的模型的实证比较表明,GWAE模型工作在两个突出的元先验,解纠缠和集群,其GW目标不变。
2023-02-24 cs.CV cs.LG
Multi-task Envisioning Transformer-based Autoencoder for Corporate Credit Rating Migration Early Prediction
Brandeis University(布兰迪斯大学);Guardian Life Insurance(守护者人寿保险公司)
由第三方评级机构发布的公司信用评级是对公司信誉的量化评估。信用评级与公司拖欠债务的可能性高度相关。这些评级作为关键风险因素之一,在投资决策中发挥着关键作用。它们也是巴塞尔协议II等监管框架计算金融机构必要资本的核心。能够预测评级变化将大大有利于投资者和监管机构。在本文中,我们考虑的公司信用评级迁移的早期预测问题,即预测的信用评级将在12个月后,其最新的财务报告信息的基础上,提高,保持不变,或下调。我们研究了不同标准机器学习算法的有效性,并得出结论,这些模型提供较差的性能。作为我们的贡献的一部分,我们提出了一个新的多任务设想基于Transformer-based自动编码器(Meta)模型来解决这个具有挑战性的问题。Meta由位置编码、基于转换器的自动编码器和多任务预测组成,可学习迁移预测和评级预测的有效表示。这使得Meta能够在训练阶段更好地探索历史数据,以便在一年后进行预测。实验结果表明,Meta优于所有基线模型。
2022-07-10 cs.LG
A Denoising Autoencoder that Guides Stochastic Search
Queen Mary, University of London(伦敦大学玛丽女王学院)
描述了一种自适应学习非线性突变分布的算法。它的工作原理是在遗传算法的每一代在线训练一个去噪自动编码器(DA),以重建迄今为止最佳基因型的缓慢衰减的记忆。压缩的隐藏层迫使自动编码器学习训练集中的隐藏特征,这些特征可用于加速对具有类似结构的新问题的搜索。它的输出神经元定义了一个概率分布,我们从中采样以产生后代解决方案。该算法优于一个典型的遗传算法在几个组合优化问题,如多维0/1背包问题,MAXSAT,HIFF,和参数优化问题,如Rastrigin和Rosenbrock函数。
2014-04-06 cs.LG cs.NE
IMPA-HGAE:Intra-Meta-Path Augmented Heterogeneous Graph Autoencoder
College of Software, Jilin University(吉林大学软件学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
针对异构图自监督学习中元路径内部节点信息利用不足的问题,提出 IMPA-HGAE 框架与新型掩码策略,在异构数据集上取得更优表示性能。
2025-06-07 cs.AI cs.LG
Design Space Exploration and Explanation via Conditional Variational Autoencoders in Meta-model-based Conceptual Design of Pedestrian Bridges
ETH Zurich(苏黎世联邦理工学院);Swiss Data Science Center (SDSC)(瑞士数据科学中心)
本文提出一个基于条件变分自编码器的性能驱动设计探索框架,用于行人桥概念设计,作为前向性能预测器和逆设计特征预测器,并通过敏感性分析提供解释,案例研究显示其作为未来设计协同驾驶员的潜力。
2022-11-29 cs.LG
Opinion Fraud Detection via Neural Autoencoder Decision Forest
University of New South Wales(新南威尔士大学);School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
在线评论在影响买家的日常购买决策方面发挥着重要作用。然而,虚假和无意义的评论,不能反映用户的真实购买体验和意见,广泛存在于网络上,并对用户做出正确的选择带来了巨大的挑战。因此,希望建立一个公平的模型,通过区分垃圾评论来评估产品的质量。我们提出了一个端到端可训练的统一模型,以利用Autoencoder和随机森林的吸引人的属性。随机决策树模型的实现,以指导全局参数学习过程。在一个大型亚马逊评论数据集上进行了广泛的实验。所提出的模型始终优于一系列比较的方法。
2018-05-09 cs.AI cs.CL cs.LG
MetaSAEs: Joint Training with a Decomposability Penalty Produces More Atomic Sparse Autoencoder Latents
Independent Researcher(独立研究员);Simplex AI Safety
本文提出一种联合训练目标,通过可分解性惩罚减少稀疏自编码器潜在表示的子空间混合,提升潜在表示的原子性。实验表明,该方法在GPT-2和Gemma 2 9B模型上均取得显著效果,提高了可解释性评分。
2026-04-03 cs.AI cs.LG
Online Combinatorial Linear Optimization via a Frank-Wolfe-based Metarounding Algorithm
Kyushu University(九州大学);RIKEN AIP(理化学研究所先进智能项目)
本文提出了一种基于Frank-Wolfe的全新metarounding算法,在存在基于松弛的近似算法假设下,将组合线性优化近似算法转化为在线优化算法,并在理论和实践上均显著提升了效率。
2023-11-19 cs.DS cs.LG
Meta-LinEXP3: Online-within-Online Learning for Adversarial Linear Contextual Bandits
College of Science, National University of Defense Technology(国防科技大学理学院)
针对对抗性线性上下文赌博机,提出在线内在线元学习算法 Meta-LinEXP3,利用任务先验指导内部学习器,实现次线性遗憾并验证于高光谱采样。
2026-09-16 cs.LG math.OC
Offline Meta-Reinforcement Learning with Online Self-Supervision
UC Berkeley(加州大学伯克利分校);University of California, Berkeley(加州大学伯克利分校)
Meta-强化学习(RL)方法可以元训练策略,这些策略适应新任务,数据数量级比标准RL少,但元训练本身成本高且耗时。如果我们可以在离线数据上进行元训练,那么我们可以重用相同的静态数据集,为不同的任务标记一次奖励,以在元测试时元训练适应各种新任务的策略。虽然这种能力将使元RL成为现实世界使用的实用工具,但离线元RL提出了在线元RL或标准离线RL设置之外的额外挑战。元RL学习一种收集数据以进行调整的探索策略,并元训练一种快速适应新任务数据的策略。由于该策略是在固定的离线数据集上进行元训练的,因此当适应通过学习的探索策略收集的数据时,它可能会表现出不可预测的行为,这与离线数据系统地不同,从而引起分布变化。我们提出了一种混合离线元RL算法,该算法使用带有奖励的离线数据来元训练自适应策略,然后收集额外的无监督在线数据,而没有任何奖励标签来桥接这种分布偏移。通过在线收集不需要奖励标签,收集这些数据可以便宜得多。我们将我们的方法与模拟机器人运动和操纵任务的离线元RL的先前工作进行了比较,发现使用额外的无监督在线数据汇集可以显著提高元训练策略的自适应能力,在一系列需要推广到新任务的具有挑战性的领域上,匹配完全在线的元RL的性能。
2022-07-07 cs.AI cs.LG cs.RO
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh(爱丁堡大学);National University of Defense Technology(国防科技大学);Samsung AI Centre, Cambridge(三星人工智能中心(剑桥))
Off-Policy Actor-Critic(Off-PAC)方法已被证明在各种连续控制任务中是成功的。通常,批评家的动作-价值函数使用时间差来更新,并且批评家反过来为演员提供损失,演员训练它采取具有更高预期回报的动作。在本文中,我们介绍了一种新颖而灵活的元批评家,观察学习过程和元学习的演员,加速和提高演员批评家学习的额外损失。与普通评论家相比,元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比,元评论家可以快速在线学习单个任务,而不是缓慢地学习一系列任务。至关重要的是,我们的元批评框架是为基于政策的学习者设计的,目前提供了最先进的强化学习样本效率。我们证明,在线元批评学习导致的改进,在各种连续控制环境中,结合当代的非PAC方法DDPG,TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
A CMDP-within-online framework for Meta-Safe Reinforcement Learning
Virginia Tech(弗吉尼亚理工大学);UC Berkeley(加州大学伯克利分校)
本文提出CMDP-within-online框架解决元安全强化学习问题,通过梯度元学习获得任务平均遗憾界,并设计不精确在线学习元算法,实现约束满足与奖励优化,实验验证其有效性。
2024-05-26 cs.LG
Metatrace Actor-Critic: Online Step-size Tuning by Meta-gradient Descent for Reinforcement Learning Control
Borealis AI
强化学习(RL)在“深度”和“浅层”环境中都取得了许多成功。在这两种情况下,通常需要进行显著的超参数调优以实现良好的性能。此外,当使用非线性函数逼近时,状态表示中的非平稳性会导致学习不稳定。有各种各样的技术可以解决这个问题-最明显的是大的经验重放缓冲区或使用多个并行演员。这些技术的代价是远离传统上制定的在线RL问题(即,单个代理在线学习而不维护训练样本的大数据库)。元学习可以通过在线调整超参数并允许算法更鲁棒地调整问题中的非平稳性来潜在地帮助解决这两个问题。本文应用Meta梯度下降推导出一套步长调整算法,专门用于在线RL控制的资格痕迹。我们的新技术Metatrace使用了类似于$TD(λ)$等方法的资格跟踪。我们探索调整单个标量步长和每个学习参数的单独步长。我们首先评估Metatrace在经典的山地车问题中的线性函数逼近控制,然后在嘈杂的,非平稳的版本。最后,我们将Metatrace应用于Arcade学习环境中的5个游戏中的非线性函数逼近控制,在那里我们探索了它如何影响学习速度和对初始步长选择的鲁棒性。实验结果表明,Metatrace的元步长参数易于设置,Metatrace可以加快学习速度,并且Metatrace可以允许RL算法处理学习任务中的非平稳性。
2019-05-24 cs.AI cs.LG stat.ML