Transfer Learning for Nonparametric Regression: Non-asymptotic Minimax Analysis and Adaptive Procedure
University of Pennsylvania（宾夕法尼亚大学）
本文研究非参数回归迁移学习的非渐近极小极大风险，提出置信度阈值估计量与数据驱动自适应算法，揭示自动平滑和超加速现象，并通过模拟与真实案例验证其性能。
2024-01-22 cs.LG stat.ML
Adaptive Meta-Domain Transfer Learning (AMDTL): A Novel Approach for Knowledge Transfer in AI
针对迁移学习中领域错位、负迁移等挑战，提出融合元学习、对抗训练与动态特征调节的AMDTL框架，实验证明其在准确率、适配效率和鲁棒性上优于现有方法，为跨领域AI应用提供新支撑。
2024-09-10 cs.AI cs.LG
Adaptive Consistency Regularization for Semi-Supervised Transfer Learning
Baidu Research（百度研究院）；University of Oregon（俄勒冈大学）；University of Macau（澳门大学）
虽然最近关于半监督学习的研究在利用标记和未标记数据方面取得了显着进展，但大多数研究都假设模型的基本设置是随机初始化的。在这项工作中，我们联合考虑半监督学习和迁移学习，从而产生一种更实用和更有竞争力的范式，可以利用来自源域的强大的预训练模型以及目标域中的标记/未标记数据。为了更好地利用预训练权重和未标记目标示例的价值，我们引入了自适应一致性正则化，它由两个互补的组件组成：源模型和目标模型之间示例的自适应知识一致性（AKC），以及标记和未标记示例之间目标模型的自适应表示一致性（ARC）。根据样本对目标任务的潜在贡献，自适应地选择参与一致性正则化的样本。我们通过微调ImageNet预训练的ResNet-50模型，在CIFAR-10、CUB-200和MURA等流行基准上进行了广泛的实验。结果表明，我们提出的自适应一致性正则化优于最先进的半监督学习技术，如伪标签，平均教师和FixMatch。此外，我们的算法与现有方法正交，因此能够在MixMatch和FixMatch的基础上获得额外的改进。我们的代码可在https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning上获得。
2021-08-08 cs.CV cs.LG
Dynamic Meta-Learning for Adaptive XGBoost-Neural Ensembles
IMDEX Limited mining technology company（IMDEX有限采矿技术公司）
本研究提出一种结合XGBoost与神经网络的自适应集成框架，借助元学习、不确定性量化及特征重要性融合实现动态模型调度，在多数据集上取得更优预测性能与可解释性。
2025-09-30 cs.AI cs.LG
Adaptive Transfer Learning of Multi-View Time Series Classification
Sichuan University（四川大学）；Harbin Engineering University（哈尔滨工程大学）；University of Electronic Science and Technology of China（电子科技大学）；New York University（纽约大学）；University of California, Berkeley（加州大学伯克利分校）
时间序列分类一直是数据采掘中一个重要而又具有挑战性的课题，特别是在多变量时间序列和多视图时间序列数据集上。同时，迁移学习已广泛应用于计算机视觉和自然语言处理应用中，以提高深度神经网络的泛化能力。然而，以前的工作很少将迁移学习框架应用于时间序列挖掘问题。特别地，基于动态表示的测量源域和目标域之间的相似性的技术（诸如具有重要性采样的密度估计）从未与迁移学习框架相结合。本文首先提出了一种通用的多视图时间序列数据自适应迁移学习框架，该框架在知识迁移过程中具有较强的视图间重要性值存储能力。其次，我们通过一些时间序列的相似性度量来表示视图间的重要性，并通过密度估计技术来近似重要性采样在潜在空间中的后验分布。然后，我们计算了采样重要性值的矩阵范数，它控制了预训练过程中的知识转移程度。我们进一步评估了我们的工作，将其应用于许多其他时间序列分类任务，并观察到我们的架构保持了理想的泛化能力。最后，我们得出结论，我们的框架可以与深度学习技术相结合，以获得显着的模型性能改进。
2019-10-14 cs.LG stat.ML
When to Transfer: Adaptive Source Selection for Positive Transfer in Linear Models
SAMOVAR Télécom SudParis Institut Polytechnique de Paris（SAMOVAR 法国电信南巴黎高等学院）；Modal’X Université Paris-Nanterre（Modal’X 巴黎-纳维尔大学）
本文研究了在线性回归和分类中如何通过样本共享进行迁移学习，提出了一种基于数据依赖估计的接受/拒绝规则，以实现正迁移，并通过实验验证了方法的有效性。
2026-05-13 cs.LG stat.ML stat.OT
Adaptive Transfer Clustering: A Unified Framework
Columbia University（哥伦比亚大学）；University of Sydney Business School（悉尼大学商学院）
本文提出自适应迁移聚类框架，通过优化偏差-方差分解实现跨数据集的高效聚类，适用于多种统计模型并证明其理论最优性。
2026-03-08 cs.LG math.ST stat.ME
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Smoothness Adaptive Hypothesis Transfer Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；Amazon Science（亚马逊科学）
本文提出平滑度自适应迁移学习（SATL），在两阶段核岭回归中采用高斯核自适应未知平滑度，证明其达到极小极大最优收敛速率并优于非迁移学习。
2024-02-22 cs.LG stat.ME stat.ML
Adaptive Transfer Learning: a simple but effective transfer learning
Pacific Northwest National Laboratory（太平洋西北国家实验室）
迁移学习（TL）利用先前获得的知识来有效地学习新任务，并已用于用有限的数据量训练训练深度学习（DL）模型。当TL应用于DL时，预训练的（教师）模型被微调以构建特定于领域的（学生）模型。这种微调依赖于DL模型可以分解为分类器和特征提取器的事实，并且一系列研究表明，相同的特征提取器可以用于在多个任务上训练分类器。此外，最近的研究提出了多种算法，可以微调教师模型的特征提取器，以更有效地训练学生模型。我们注意到，不管特征提取器的微调如何，学生模型的分类器都是用特征提取器的最终输出（即，倒数第二层的输出）。然而，最近的一项研究表明，ResNet中跨层的特征映射在功能上是等效的，这提高了特征提取器内部的特征映射也可以用于训练学生模型的分类器的可能性。受这项研究的启发，我们测试了教师模型隐藏层中的特征图是否可以用来提高学生模型的准确性（即，的效率）。具体来说，我们开发了“自适应迁移学习（ATL）”，它可以为TL选择一组最佳的特征图，并在少样本学习设置中对其进行了测试。我们的经验评估表明，ATL可以帮助DL模型更有效地学习，特别是当可用的例子是有限的。
2021-11-22 cs.CV cs.LG
Transfer Learning with Neural AutoML
MIT（麻省理工学院）；Google AI（谷歌人工智能）
我们通过迁移学习降低了Neural AutoML的计算成本。AutoML通过自动化ML算法的设计来减轻人类的工作。神经AutoML已经成为深度学习架构设计的热门，然而，这种方法具有很高的计算成本。为了解决这个问题，我们提出了转移神经AutoML，它使用来自先前任务的知识来加速网络设计。我们扩展了基于RL的架构搜索方法，以支持多个任务的并行训练，然后将搜索策略转移到新的任务。在语言和图像分类任务上，Transfer Neural AutoML在许多任务上将单任务训练的收敛时间减少了一个数量级以上。
2019-01-28 cs.LG stat.ML
On the Mechanisms of Adversarial Data Augmentation for Robust and Adaptive Transfer Learning
该研究系统探究对抗数据增强在迁移学习中的作用，提出整合对抗数据增强、一致性正则化与域不变表征学习的统一框架，在多基准数据集上验证了其提升域适应性能的效果，拓展了对抗学习的应用价值。
2025-05-19 cs.CV cs.LG
AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression
Pennsylvania State University（宾夕法尼亚州立大学）；Xiamen University（厦门大学）
本文提出AdaTrans自适应迁移学习方法，通过融合惩罚和自适应权重在高维回归中检测特征级或样本级可迁移结构，实现选择性信息融合并达到接近oracle的收敛速率。
2024-11-25 cs.LG math.ST stat.ME
Domain Adaptive Transfer Learning for Fault Diagnosis
ETH Zürich（苏黎世联邦理工学院）
由于车队中工业资产的数字化，将故障诊断模型从一台机器转移到另一台机器的雄心勃勃的目标引起了人们的极大兴趣。解决这些领域自适应迁移学习任务有可能节省大量手动标记数据和修改同一机队中新机器的模型的工作。虽然数据驱动方法在故障诊断应用中显示出巨大的潜力，但由于它们倾向于过拟合训练集，因此它们对新机器和新工作条件的概括能力有限。这个问题的一个有前途的解决方案是使用域自适应技术。它旨在提高目标新机器上的模型性能。受其在计算机视觉中成功实施的启发，我们将领域对抗神经网络（DANN）引入到我们的环境中，以及以前故障诊断研究中存在的其他两种流行方法。然后，我们仔细证明这些方法在现实的故障诊断设置的适用性，并提供了一个统一的实验协议，公平比较域自适应方法故障诊断问题。
2019-05-15 cs.LG stat.AP stat.ML
SpotTune: Transfer Learning through Adaptive Fine-tuning
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
迁移学习允许源任务影响目标任务的归纳偏差，广泛应用于计算机视觉。使用深度神经网络进行迁移学习的典型方式是使用来自目标任务的数据对在源任务上预训练的模型进行微调。在本文中，我们提出了一种自适应微调方法，称为SpotTune，它发现每个实例的目标数据的最佳微调策略。在SpotTune中，给定来自目标任务的图像，使用策略网络来决定是否将图像通过微调层或预训练层。我们进行了大量的实验，以证明所提出的方法的有效性。我们的方法在14个标准数据集中的12个上优于传统的微调方法。我们还将SpotTune与其他最先进的微调策略进行了比较，显示出优越的性能。在Visual Decathlon数据集上，我们的方法在没有花里胡哨的情况下获得了最高分。
2018-11-21 cs.CV cs.LG stat.ML
Transfer Learning for Nonparametric Classification: Minimax Rate and Adaptive Classifier
University of Pennsylvania（宾夕法尼亚大学）
人类学习者具有将在一种环境中获得的知识用于在不同但相关的环境中学习的自然能力。这种将知识从一项任务转移到另一项任务的能力对于有效学习至关重要。在本文中，我们研究了迁移学习的背景下，非参数分类的基础上，从不同的分布下的后验漂移模型，这是一个通用的框架，并出现在许多实际问题的观察。我们首先建立极小极大收敛率，并构造一个率最优的两样本加权$K$-NN分类器。结果精确地描述了从源分布到目标分布下的分类任务的观测的贡献。一个数据驱动的自适应分类器，然后提出，并同时达到在一个大的集合的参数空间的最佳速率的对数因子内。仿真研究和实际数据的应用进行了数值结果进一步说明了理论分析。扩展的情况下，多信源分布也被认为是。
2019-06-07 cs.LG math.ST stat.ME
Transfer Learning Across Policy Regimes in Adaptive Multi-Agent Systems
Open University of Cyprus（塞浦路斯开放大学）
研究自适应多智能体系统中跨政策体系的迁移学习问题，比较白板学习者和迁移学习者，通过实验表明先前监管经验在政策关系稳定时可复用，变化时需谨慎对待，在方法上给出相应策略。
2026-07-14 cs.AI cs.CY cs.LG
Adaptive transfer learning
University of Bristol（布里斯托大学）；University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
在迁移学习中，当我们可以访问来自分布本身的数据以及来自不同但相关的源分布的数据时，我们希望对目标人群进行推断。我们在二进制分类的背景下引入了一个灵活的迁移学习框架，允许源分布和目标分布之间的协变量依赖关系，这些关系不需要保留贝叶斯决策边界。我们的主要贡献是在这个问题中获得最小最大的最佳收敛率（最多多的多对数因子），并表明，最佳速率可以通过一种算法来实现，该算法适应未知的传输关系的关键方面，以及我们的分布类的平滑度和尾部参数。这个最佳速率原来有几个制度，这取决于之间的相互作用的相对样本量和强度的转移关系，我们的算法实现了最优的仔细，决策树为基础的校准本地最近邻程序。
2021-06-08 cs.LG math.ST stat.ME
How Transferable are Neural Networks in NLP Applications?
Peking University（北京大学）；Inveno Co., Ltd.（Inveno有限公司）
迁移学习旨在利用源领域中有价值的知识来帮助目标领域中的模型性能。这对神经网络尤其重要，因为神经网络很可能是过拟合的。在图像处理等领域，许多研究表明了基于神经网络的迁移学习的有效性。然而，对于神经NLP，现有的研究只是随意地应用了迁移学习，并且结论不一致。在本文中，我们进行了系统的案例研究，并提供了一个启发性的图片在自然语言处理的神经网络的可移植性。
2016-10-13 cs.CL cs.LG cs.NE
Zoo-Tuning: Adaptive Transfer from a Zoo of Models
Tsinghua University（清华大学）
随着深度网络在各种大规模数据集上的发展，可以使用大量的预训练模型。当从模型动物园迁移时，将经典的基于单模型的迁移学习方法应用于每个源模型遭受高计算负担，并且不能充分利用动物园中丰富的知识。我们提出了\emph{Zoo-Tuning}来解决这些挑战，它学习自适应地将预训练模型的参数转移到目标任务。通过可学习的通道对齐层和自适应聚合层，Zoo-Tuning \emph{adaptively aggregates channel aligned pretrained parameters}可以导出目标模型，从而通过同时使多个源模型适应下游任务来促进知识转移。自适应聚合大大降低了训练和推理的计算成本。我们进一步提出了精简的Zoo-Tuning与批量平均门控值的时间合奏，以减少在推理时间的存储成本。我们评估我们的方法在各种任务，包括强化学习，图像分类，和面部标志检测。实验结果表明，所提出的自适应迁移学习方法可以更有效地从一个动物园的模型转移知识。
2021-06-29 cs.LG
Supervised Neural Discrete Universal Denoiser for Adaptive Denoising
Seoul National University（首尔大学）
我们改进了最近开发的神经DUDE，一个基于神经网络的自适应离散去噪器，将其与监督学习框架相结合。也就是说，我们使神经DUDE的监督预训练与基于给定的噪声数据进行去噪的参数自适应微调兼容。因此，与香草神经DUDE相比，我们实现了显着的去噪性能提升，后者仅使用随机初始化的参数执行自适应微调步骤。此外，我们表明自适应微调使算法的鲁棒性，使噪声失配或盲目训练的监督模型仍然可以实现匹配模型的性能。此外，我们做了一些算法改进，使神经DUDE更具可扩展性，并处理多维数据或具有更大字母表大小的数据。我们系统地展示了我们对两个非常不同的数据集，二进制图像和DNA序列的改进。
2021-11-24 cs.LG
Learning to Transfer Learn: Reinforcement Learning-Based Selection for Adaptive Transfer Learning
Google Cloud AI（谷歌云AI）；University of Technology Sydney（悉尼科技大学）
我们提出了一种新的自适应迁移学习框架，学习迁移学习（L2TL），通过仔细提取源数据集的相关信息来提高目标数据集的性能。我们的框架考虑了源和目标任务模型之间的共享权重的合作优化，并自适应地调整组成损失权重。权重的自适应是基于强化学习（RL）选择策略，以目标验证集上的性能度量为指导。我们证明了L2TL在八个数据集上的性能优于微调基线和其他自适应迁移学习方法。在小规模目标数据集和源数据集和目标数据集之间的显著标签不匹配的情况下，L2TL显示出特别大的好处。
2020-07-16 cs.AI cs.LG
EnergyNet: Energy-based Adaptive Structural Learning of Artificial Neural Network Architectures
Google Research（谷歌研究院）
我们提出了E NERGY NET，一个新的分析和构建人工神经网络架构的框架。我们的方法以无监督的方式自适应地学习网络的结构。该方法是基于能量函数的理论保证有限数量的节点的限制玻尔兹曼机（RBM）。我们目前的实验结果表明，最终的网络适应给定问题的复杂性。
2017-11-08 cs.LG
AdaNet: Adaptive Structural Learning of Artificial Neural Networks
Google Research（谷歌研究院）；Courant Institute（库朗研究所）
我们提出了新的算法自适应学习人工神经网络。我们的算法（AdaNet）自适应地学习网络的结构及其权重。它们基于坚实的理论分析，包括我们详细证明和讨论的数据依赖的泛化保证。我们报告的结果与我们的算法之一，从CIFAR-10数据集提取的几个二进制分类任务的大规模实验。结果表明，我们的算法可以自动学习网络结构与非常有竞争力的性能精度相比，标准方法发现的神经网络实现。
2017-02-28 cs.LG
The Implicit Bias for Adaptive Optimization Algorithms on Homogeneous Neural Networks
Microsoft Research Asia（微软亚洲研究院）
尽管它们具有压倒性的过拟合能力，但由特定优化算法训练的深度神经网络往往能很好地推广到看不见的数据。最近，研究人员通过研究优化算法的隐式正则化效应来解释它。一个显着的进展是工作（Lyu&Li，2019），它证明了梯度下降（GD）最大化了同质深度神经网络的边缘。除了GD，AdaGrad，RMSProp和Adam等自适应算法由于其快速的训练过程而受到欢迎。然而，自适应优化算法的推广仍然缺乏理论保证。在本文中，我们研究了自适应优化算法的隐式正则化时，他们正在优化均匀的深度神经网络的逻辑损失。我们证明了在调节器中采用指数移动平均策略的自适应算法（如Adam和RMSProp）可以最大化神经网络的边缘，而在调节器中直接求和历史平方梯度的AdaGrad则不能。结果表明，指数滑动平均策略在条件器设计中具有推广的优越性。在技术上，通过构造新的自适应梯度流和替代边界，我们提供了一个统一的框架来分析自适应优化算法的收敛方向。我们的实验很好地支持了自适应优化算法收敛方向的理论发现。
2021-12-16 cs.LG
Adaptive Feedforward Gradient Estimation in Neural ODEs
Hassan First University of Settat（塞塔特哈桑一世大学）
本研究提出一种自适应前馈梯度估计方法，通过消除反向传播和伴随方法来提升Neural ODEs的效率与可解释性，同时保持准确率。
2024-09-22 cs.LG
GeniePath: Graph Neural Networks with Adaptive Receptive Paths
Ant Financial Services Group（蚂蚁金融服务集团）；Georgia Institute of Technology（佐治亚理工学院）
我们提出，GeniePath，一个可扩展的方法，用于学习自适应感知域的神经网络定义的置换不变图数据。在GeniePath中，我们提出了一个自适应路径层，它由两个互补的功能组成，分别用于广度和深度探索，前者学习不同大小的邻域的重要性，而后者提取和过滤从不同跳数的邻域聚合的信号。我们的方法适用于转导和归纳设置，与竞争性方法相比，广泛的实验表明，我们的方法在大型图上产生最先进的结果。
2018-11-05 cs.LG
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University（首尔国立大学）
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时，即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法，估计量化步长动态再训练过程中。此外，还测试了一种渐进量化方案，该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络（FFDNN）、卷积神经网络（CNN）和递归神经网络（RNN）进行实验。
2017-02-27 cs.LG
Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions
Brown University（布朗大学）；Harvard University（哈佛大学）
我们提出了一种新型的神经网络，克罗内克神经网络（KNN），形成了一个通用的框架，神经网络的自适应激活函数。KNN使用Kronecker乘积，它提供了一种有效的方法来构建一个非常广泛的网络，同时保持参数的数量很低。我们的理论分析表明，在适当的条件下，KNN诱导的损失比前馈网络的衰减更快。这也通过一组计算实例进行了经验验证。此外，在一定的技术假设下，我们建立了KNN的梯度下降的全局收敛性。作为一个特定的情况下，我们提出了Rowdy激活函数，旨在摆脱任何饱和区域注入正弦波动，其中包括可训练的参数。所提出的Rowdy激活函数可以用于任何神经网络结构，如前馈神经网络、递归神经网络、卷积神经网络等。通过各种计算实验，包括使用前馈神经网络的函数逼近，使用物理信息神经网络的偏微分方程的解推理，以及使用卷积和全连接神经网络的标准深度学习基准问题。
2021-10-19 cs.LG
Attend, Adapt and Transfer: Attentive Deep Architecture for Adaptive Transfer from multiple sources in the same domain
University of Michigan（密歇根大学）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；McGill University（麦吉尔大学）
在解决新的目标任务时，从先前的源任务转移知识在若干学习应用中可能是有用的。实施转让带来了两个尚未得到充分解决的严重挑战。首先，智能体应该能够避免负迁移，即当迁移阻碍或减缓学习而不是帮助学习时，就会发生负迁移。其次，智能体应该能够选择性迁移，即能够从不同的和多个源任务中选择和迁移目标任务状态空间的不同部分。我们提出了A2T（Attend，Adapt and Transfer），这是一种专注的深度架构，可以从这些源任务进行调整和转移。我们的模型是通用的，足以影响政策或价值函数的转移。对不同学习算法的实证评估表明，A2T是一种有效的迁移架构，能够避免负迁移，同时选择性地从同一领域的多个源任务迁移。
2020-09-21 cs.AI cs.LG
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol（布里斯托大学）
我们将神经网络优化问题表述为贝叶斯滤波，其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究，但他们无法使用均方根梯度归一化器恢复标准优化器，如Adam和RMSprop，而是得到均方归一化器。为了恢复均方根归一化，我们发现有必要考虑所有其他参数的时间动态，因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换，自动恢复AdamW，这是Adam的最新变体，具有解耦的权重衰减，并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而，这似乎与生物世界中技能转移的方式相去甚远：人类和动物能够在类似任务之间快速适应学到的行为，并在遇到新情况时学习新技能。在这里，我们试图回答这个问题：学习结合适应和探索会导致更有效地转移领域之间的政策？我们引入了一个原则性的机制，可以“自适应学习”，即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明，所提出的方法学会无缝地结合学习适应和探索，并导致一个强大的政策转移算法，显着降低样本的复杂性，在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
Adaptive Wind Driven Optimization Trained Artificial Neural Networks
Schlumberger-Doll Research Center（斯伦贝谢-多尔研究中心）
本文介绍了一种新开发的自然启发式优化方法，即自适应风驱动优化（AWDO），前馈人工神经网络（NN）的训练的应用，并提出了对AWDO实现在深度学习（DL）的未来研究的讨论。MNIST数据集数字分类的应用实例揭示了无导数AWDO方法与最速下降方法相比的有趣行为，其中讨论了在深度神经网络中实现AWDO的结果和未来工作。
2019-11-20 cs.LG stat.ML
Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers
自适应精度训练：用固定点数量化神经网络中的反向传播。最近出现的量化技术已被应用于深度神经网络的推理，以实现快速有效的执行。然而，在训练中直接应用量化可能会导致显著的准确性损失，因此仍然是一个开放的挑战。
2020-03-05 cs.CV cs.LG
A Self-Adaptive Penalty Method for Integrating Prior Knowledge Constraints into Neural ODEs
University of Minho（米尼奥大学）；University of Porto（波尔图大学）
针对神经常微分方程建模需遵循自然系统规则的需求，提出可动态调整参数的自适应惩罚算法，融入先验知识提升可解释性，经三类自然系统实验验证，该方法比现有方法更准确鲁棒。
2024-03-05 cs.LG math.OC
Adaptive Lasso, Transfer Lasso, and Beyond: An Asymptotic Perspective
Toshiba Corporation（东芝公司）；The Institute of Statistical Mathematics（统计数学研究所）
本文探究Adaptive Lasso与Transfer Lasso的理论性质差异，分析二者使用初始估计量的不同方式带来的优劣，提出融合二者优势的新方法，并通过模拟实验验证理论与比较方法性能。
2024-04-17 cs.LG math.ST stat.ME
Powering Comparative Classification with Sentiment Analysis via Domain Adaptive Knowledge Transfer
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究比较偏好分类（CPC），其目的是预测是否存在一个偏好比较两个实体之间在一个给定的句子，如果是这样的话，哪个实体是优于其他。高质量的CPC模型可以显著地有益于比较问答和基于评论的推荐等应用。在现有的方法中，非深度学习方法的性能较差。现有技术的基于图神经网络的ED-GAT（Ma等人，2020）只考虑句法信息，而忽略关键的语义关系和情感的比较实体。我们提出了情感分析增强比较网络（SAECON），它提高了CPC的准确性与情感分析器，学习情感的个人实体通过域自适应知识转移。在CompSent-19上的实验（Panchenko等人，2019）数据集在F1分数上比现有的最佳CPC方法有了显着的改进。
2021-09-07 cs.CL cs.LG
Neural-Network Heuristics for Adaptive Bayesian Quantum Estimation
Eberhard-Karls-Universität Tübingen（图宾根大学）；The University of Nottingham（诺丁汉大学）；University of Oxford（牛津大学）
量子精密测量承诺前所未有的测量精度，但在实践中受到诸如探针数量、它们的相干时间或非经典量子态的资源的有限可用性的影响。参数估计的自适应贝叶斯方法由于自适应实验设计而允许有效地利用资源。对于它的实际成功，贝叶斯更新和自适应实验设计的快速数值解是至关重要的。在这里，我们展示了神经网络可以通过进化策略和强化学习的结合来训练成为快速而强大的实验设计算法。神经网络算法的性能优于已建立的算法的技术上重要的例子的频率估计的量子比特，遭受失相。我们创建神经网络的方法是非常普遍的，并补充了研究的贝叶斯更新的顺序蒙特卡罗方法，形成一个完整的框架，自适应贝叶斯量子估计。
2021-04-07 cs.LG quant-ph
Closing the Generalization Gap of Adaptive Gradient Methods in Training Deep Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Ohio State University（俄亥俄州立大学）；University of Virginia（弗吉尼亚大学）
自适应梯度方法采用历史梯度信息来自动调整学习率，尽管具有快速收敛的良好特性，但在训练深度神经网络时，已观察到比具有动量的随机梯度下降（SGD）更差的泛化能力。这使得如何缩小自适应梯度方法的泛化差距成为一个悬而未决的问题。在这项工作中，我们表明，自适应梯度方法，如亚当，Amsgrad，有时是“过适应”。我们设计了一种新的算法，称为部分自适应动量估计方法，它通过引入部分自适应参数$p$，将Adam/Amsgrad和SGD统一起来，以达到两个世界的最佳效果。我们还证明了我们所提出的算法收敛到一个平稳点的随机非凸优化设置。在标准基准测试上的实验表明，该算法在训练深度神经网络时，在泛化能力和SGD能力上都能保持Adam/Amsgrad的快速收敛速度。这些结果将建议从业者再次采用自适应梯度方法来更快地训练深度神经网络。
2020-06-23 cs.LG stat.ML
Unintended Effects on Adaptive Learning Rate for Training Neural Network with Output Scale Change
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（国立信息学研究所）
一个乘法常数缩放因子通常应用于模型输出，以调整神经网络参数的动态。这已被用作懒惰和积极行为的实证研究中的关键干预措施之一。然而，我们表明，这种缩放和常用的自适应学习率优化器的组合强烈影响的神经网络的训练行为。这是有问题的，因为它会导致神经网络的\emph{unintended behavior}，导致对实验结果的误解。具体地，对于某些缩放设置，自适应学习率的效果消失或受到缩放因子的强烈影响。为了避免意想不到的效果，我们提出了一种修改的优化算法，并证明显着的差异自适应学习率优化和简单的梯度下降，特别是与一个小的（$<1.0$）缩放因子。
2021-07-02 cs.LG stat.ML
Adaptive Cost-Sensitive Learning in Neural Networks for Misclassification Cost Problems
Bar-Ilan University（巴伊兰大学）
我们设计了一个新的自适应学习算法的误分类成本问题，试图减少成本的误分类实例的各种错误的后果。我们的算法（自适应成本敏感学习- AdaCSL）自适应地调整损失函数，使得分类器桥接训练和测试数据集中具有相似预测概率的样本的子组之间的类分布之间的差异（即，局部训练-测试类分布不匹配）。我们提供了一些理论上的性能保证所提出的算法，并提出经验证据表明，一个深神经网络与建议的AdaCSL算法产生更好的成本结果的几个二进制分类数据集，类不平衡和类平衡的分布相比，其他替代方法。
2021-11-14 cs.LG stat.ML
Adaptive Energy Management for Real Driving Conditions via Transfer Reinforcement Learning
Chongqing University（重庆大学）；University of Waterloo（滑铁卢大学）；Waterloo University（滑铁卢大学）
提出了一种基于传递强化学习（RL）的并联混合动力汽车（HEV）自适应能量管理方法。这是一个双层次的方法。上一级描述了如何通过驾驶循环变换（DCT）在RL框架中对Q值表进行变换。特别是，计算了不同周期功率请求的转移概率矩阵（TPM），并采用诱导矩阵范数（IMN）作为识别变换差异并确定控制策略变更的关键标准。下层利用无模型强化学习（RL）算法，根据变换后的Q值表和TPM确定相应的控制策略。数值试验表明，通过调节IMN值，可以调节传递性能，传递RL控制器可以获得更高的燃油经济性。结果表明，该方法在计算速度和控制性能上均优于传统RL方法。
2020-07-24 cs.LG cs.SY eess.SY
Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling
LAMSADE CNRS, Dauphine University-PSL（巴黎文理研究大学多芬分校，法国国家科学研究中心LAMSADE实验室）；ESPCI-PSL（巴黎文理研究大学高等物理化学学院）
神经常微分方程是近年来提出的一类新的神经网络模型，它依赖于黑箱常微分方程求解器进行推理和训练。一些称为自适应的ODE求解器可以根据手头问题的复杂性调整其评估策略，从而为机器学习开辟了广阔的前景。然而，本文描述了一组简单的实验来说明为什么自适应求解器不能无缝地用作动态系统建模的黑盒。以Lorenz'63系统为例，我们证明了Fehlberg方法的简单应用不会产生预期的结果。此外，提出了一个简单的解决方案，假设求解器和训练策略之间的交互更紧密。代码可以在github上找到：https://github.com/Allauzen/adaptive-step-size-neural-ode
2022-11-13 cs.LG nlin.CD
Sequential Transfer Machine Learning in Networks: Measuring the Impact of Data and Neural Net Similarity on Transferability
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
在面临类似预测任务的独立实体网络中，迁移机器学习能够使用分布式数据集重用和改进神经网络，而不会暴露原始数据。随着业务网络中数据集数量的增长，并不是每个神经网络传输都是成功的，需要指标来衡量其对目标性能的影响-其可传输性。我们对一个独特的真实用例进行了实证研究，该用例由六家不同餐馆的销售数据组成。我们在这些餐厅销售数据中训练和传输神经网络，并测量它们的可移植性。此外，我们计算潜在的指标的基础上的数据，数据预测和神经网络相似性的新度量的分歧的可转移性。我们得到显着的负相关关系之间的转移性和测试指标。我们的研究结果允许根据这些指标选择传输路径，这提高了模型性能，同时需要更少的模型传输。
2020-03-29 cs.LG stat.ML
Adaptive Least Mean Squares Graph Neural Networks and Online Graph Signal Estimation
Tsinghua-Berkeley Shenzhen Institute, Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院清华-伯克利深圳学院）
针对含噪部分观测下的时变图信号在线估计问题，提出结合自适应图滤波器与GNN的LMS-GNN架构，经真实温度数据验证，其预测精度优于现有基于图的方法。
2024-01-27 cs.LG eess.SP
Learning to Generate Questions with Adaptive Copying Neural Networks
Carleton University（卡尔顿大学）
问句自动生成是自然语言处理中的一个重要问题。在本文中，我们提出了一种新的自适应复制递归神经网络模型，以解决问题的生成从句子和段落。该模型在双向LSTM架构上增加了一个复制机制组件，以自适应地从输入数据中生成更合适的问题。我们的实验结果表明，该模型可以优于国家的最先进的问题生成方法在BLEU和ROUGE的评价分数。
2019-09-17 cs.CL cs.LG stat.ML
Global Convergence of Adaptive Gradient Methods for An Over-parameterized Neural Network
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）
AdaGrad等自适应梯度方法广泛用于优化神经网络。然而，现有的自适应梯度方法的收敛保证要求凸性或光滑性，并且在光滑设置中，仅保证收敛到一个稳定点。我们提出了一种自适应梯度方法，并表明，对于两层过参数化神经网络-如果宽度足够大（多项式）-那么所提出的方法收敛\emph{to the global minimum}在多项式时间，收敛是强大的，\emph{ without the need to fine-tune hyper-parameters such as the step-size schedule and with the level of over-parametrization independent of the training error}。我们的分析特别表明，过度参数化对于在神经网络环境中充分发挥自适应梯度方法的潜力至关重要。
2019-10-19 cs.LG math.OC stat.ML
Gabliteration: Adaptive Multi-Directional Neural Weight Modification for Selective Behavioral Alteration in Large Language Models
Machine Learning Research Stuttgart, Germany（斯图加特德国机器学习研究所）
Gabliteration通过适应性多方向神经权重修改技术，实现大语言模型中选择性行为改变的高效优化，提升模型性能并减少无关领域的影响。
2026-01-28 cs.AI cs.LG
Weather-Adaptive Multi-Step Forecasting of State of Polarization Changes in Aerial Fibers Using Wavelet Neural Networks
Nokia Bell Labs（诺基亚贝尔实验室）；Nokia（诺基亚）
本文提出一种天气自适应方法，结合离散小波变换与天气数据，对架空光纤中的多尺度偏振态变化进行多步预测，在RMSE和MAPE上分别比基线提升65%和63%。
2024-09-05 cs.LG cs.NI
Adaptive Learning Rate via Covariance Matrix Based Preconditioning for Deep Neural Networks
NTT Software Innovation Center（NTT软件创新中心）
RMSProp等自适应学习率算法广泛用于训练深度神经网络。RMSProp提供了有效的训练，因为它使用一阶梯度来近似基于Hessian的预处理。然而，由于一阶梯度包括由随机优化引起的噪声，因此近似可能不准确。在本文中，我们提出了一种新的自适应学习率算法称为SDProp。其核心思想是通过基于协方差矩阵的预处理来有效地处理噪声。对于各种神经网络，我们的方法是更有效和有效的RMSProp及其变种。
2017-09-28 cs.AI cs.LG stat.ML
Hierarchical Projection for Adaptive Knowledge Transfer
Vanderbilt University Medical Center（范德比尔特大学医学中心）；Columbia University（哥伦比亚大学）
提出ProjectionTL框架，通过分层贝叶斯建模与自适应投影实现源选择与特征选择，缓解负迁移，提升跨域学习的准确性、稳定性和可解释性。
2026-06-28 cs.LG stat.ME
LALR: Theoretical and Experimental validation of Lipschitz Adaptive Learning Rate in Regression and Neural Networks
BITS Pilani（比尔拉科学技术学院）；PES University（PES大学）；ML Square（ML平方）
我们提出了一个理论框架的平均绝对误差损失函数和分位数损失函数的自适应学习率政策，并评估其有效性回归任务。该框架基于Lipschitz连续性理论，特别是利用损失函数的学习率和Lipschitz常数之间的关系。基于实验，我们发现自适应学习率策略与恒定学习率策略相比，收敛速度快20倍。
2020-05-19 cs.LG stat.ML
Learning Anytime Predictions in Neural Networks via Adaptive Loss Balancing
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
这项工作考虑了深度神经网络（DNN）通过辅助预测的\emph{anytime}预测的准确性和测试时间计算成本之间的权衡。具体来说，我们优化辅助损失联合在一个\emph{adaptive}加权和，其中的权重是成反比的平均每个损失。直觉上，这平衡了损失，使其具有相同的规模。我们从多个角度展示了激励这种方法的理论考虑，包括将其与优化每次损失预期的几何平均值联系起来，这是一个忽略损失规模的目标。在实验上，自适应权重比非自适应方法（包括平等地权衡所有损失）在多个识别数据集和模型上诱导更具竞争力的任何时间预测。特别是，任何时候神经网络（ANN）可以实现相同的精度更快地使用自适应权重的小网络比使用静态恒定权重的大。对于具有高性能饱和度的问题，我们还展示了一系列指数深化的ANN可以在任何预算下实现接近最优的结果，代价是一个常数分数的额外计算。
2018-05-25 cs.AI cs.LG
Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition
MILA（米拉研究所）；Université de Montréal（蒙特利尔大学）；Samsung Advanced Institute of Technology（三星先进技术研究院）
层归一化是最近引入的一种技术，用于对深度神经网络中的神经元活动进行归一化，以提高训练速度和稳定性。在本文中，我们介绍了一种新的层归一化技术称为动态层归一化（DLN）的自适应神经声学建模在语音识别。通过在层归一化中动态生成缩放和移位参数，DLN使神经声学模型适应于由诸如扬声器、信道噪声和环境等各种因素引起的声学变化。与其他自适应声学模型不同，我们提出的方法不需要额外的自适应数据或扬声器信息，如i向量。此外，模型大小是固定的，因为它动态地生成自适应参数。我们将我们提出的DLN应用于深度双向LSTM声学模型，并在大词汇量ASR实验的两个基准数据集上进行评估：WSJ和TED-LIUM版本2。实验结果表明，我们的DLN提高了神经声学模型的转录准确性，通过动态适应各种扬声器和环境。
2017-07-19 cs.CL cs.LG
