Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
Seoul National University(首尔国立大学)
具有自适应位宽的深度神经网络量化由于易于在具有不同资源预算的各种平台上部署模型而受到越来越多的关注。在本文中,我们提出了一个元学习的方法来实现这一目标。具体来说,我们提出了MEBQAT,一种简单而有效的位宽自适应量化感知训练(QAT)的方法,其中通过重新定义元学习任务来合并位宽,将元学习有效地与QAT相结合。在平台上部署后,MEBQAT允许(Meta)训练模型被量化为任何候选位宽,然后帮助进行推理,而不会因量化而降低准确性。此外,在少样本学习场景下,MEBQAT还可以通过添加传统优化或基于度量的元学习来使模型适应任何位宽以及任何看不见的目标类。我们设计MEBQAT的变体以支持(1)位宽自适应量化场景和(2)新的少样本学习场景,其中量化位宽和目标类都被联合适配。我们的实验证明了他们的有效性,在多个QAT计划。通过比较它们的性能(位宽专用)QAT,现有的位宽自适应QAT和香草元学习,我们发现,合并到元学习任务的位宽实现了更高水平的鲁棒性。
2022-07-20 cs.CV cs.LG
LACE: Loss-Adaptive Capacity Expansion for Continual Learning
Independent Researcher(独立研究员)
LACE通过监控损失信号动态扩展模型表示能力,实现持续学习中的自适应容量调整,实验显示其在域边界处精确触发扩展,且在资源受限环境下有效。
2026-03-30 cs.LG
Meta-Learning with Task-Adaptive Loss Function for Few-Shot Learning
Seoul National University(首尔大学);Hyundai Motor Group(现代汽车集团)
在少样本学习场景中,挑战在于当每个任务只有很少的标记示例可用时,对新的未见过的示例进行概括并表现良好。模型不可知元学习(MAML)以其灵活性和对不同问题的适用性,作为少样本学习的代表性方法之一,得到了广泛的应用。然而,MAML及其变体通常采用简单的损失函数,而没有任何辅助的损失函数或正则化项,可以帮助实现更好的泛化。问题在于,每个应用和任务可能需要不同的辅助损失函数,特别是当任务是不同的和独特的。我们引入了一个新的元学习框架,该框架具有适应每个任务的损失函数,而不是试图为每个应用程序和任务手工设计辅助损失函数。我们提出的框架,命名为元学习与任务自适应损失函数(金属),证明了有效性和灵活性,在各个领域,如Few-Shot分类和Few-Shot回归。
2021-10-17 cs.CV cs.LG
Meta-learning PINN loss functions
Brown University(布朗大学);Harvard University(哈佛大学)
我们提出了一种元学习技术,用于离线发现物理信息神经网络(PINN)的损失函数。我们扩展了早期的元学习的工作,并开发了一个基于梯度的元学习算法,用于解决不同的任务分布的基础上参数化偏微分方程(PDE),解决与PINN。此外,基于新的理论,我们确定了PINN问题中元学习损失的两个理想性质,我们通过提出一种新的正则化方法或使用损失函数的特定参数化来执行。在计算示例中,元学习损失在测试时用于解决回归和PDE任务分布。我们的研究结果表明,显着的性能改善,可以通过使用共享任务间离线学习损失函数,即使是分布外的元测试。在这种情况下,我们解决了不属于元训练中使用的任务分布的测试任务,并且我们还采用了与元训练中使用的PINN架构不同的PINN架构。为了更好地理解所提出的方法的能力和局限性,我们考虑了损失函数的各种参数化并描述了不同的算法设计选项以及它们如何影响元学习性能。
2021-07-12 cs.LG
Meta-learning with an Adaptive Task Scheduler
Stanford University(斯坦福大学);University of Science and Technology(科学技术大学);Tencent AI Lab(腾讯AI实验室);Pennsylvania State University(宾夕法尼亚州立大学);City University of Hong Kong(香港城市大学)
为了有利于新任务的学习,已经提出了元学习来转移从各种元训练任务中学习到的良好概括的元模型。现有的元学习算法在假设任务具有同等重要性的情况下,以均匀的概率对元训练任务进行随机采样。然而,考虑到元训练任务的数量有限,任务很可能是有害的噪声或不平衡的。为了防止元模型被这些有害任务破坏或被大多数任务所支配,本文提出了一种自适应任务调度器(ATS)用于元训练过程。在自动测试系统中,我们第一次设计了一个神经调度器,通过预测每个候选任务被采样的概率来决定下一步使用哪些元训练任务,并训练调度器来优化元模型对未知任务的泛化能力。我们确定了两个元模型相关的因素作为神经调度器的输入,其特征在于候选任务到元模型的难度。从理论上讲,我们证明了考虑这两个因素的调度器可以改善元训练损失和优化景观。在具有噪声和有限预算的元学习设置下,与最先进的任务调度器相比,ATS将miniImageNet和真实世界药物发现基准的性能分别提高了13%和18%。
2021-10-26 cs.LG
Speaker Adaptive Training using Model Agnostic Meta-Learning
Bloomberg(彭博社)
神经网络声学模型的说话人自适应训练(SAT)以使模型更适合于适应测试条件的方式来学习模型。传统上,基于模型的说话者自适应训练是通过具有一组与说话者无关参数联合优化的说话者相关参数来执行的,以便去除说话者变化。然而,如果所有神经网络权重都要适应说话者,则这不能很好地缩放。在本文中,我们制定了说话人自适应训练作为一个元学习任务,其中使用梯度下降的自适应过程直接编码到模型的训练。我们将我们的方法与标准基线模型的仅测试适应和具有学习的扬声器适应时间表的SAT-LHUC模型进行比较,并证明元学习方法取得了可比的结果。
2019-10-23 cs.CL cs.LG eess.AS
Adaptive-Control-Oriented Meta-Learning for Nonlinear Systems
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
实时自适应对于在复杂动态环境中操作的机器人的控制是必不可少的。自适应控制律可以赋予即使是非线性系统良好的轨迹跟踪性能,只要任何不确定的动态项是线性参数化与已知的非线性特征。然而,通常很难先验地指定这些特征,例如旋翼机上的空气动力学扰动或操纵器臂与各种物体之间的相互作用力。在本文中,我们转向数据驱动的建模与神经网络学习,离线从过去的数据,这些非线性特征的内部参数模型的自适应控制器。我们的关键见解是,我们可以更好地准备控制器的部署与控制为导向的元学习功能在闭环仿真,而不是回归为导向的元学习功能,以适应输入-输出数据。具体地说,我们元学习的自适应控制器与闭环跟踪仿真作为基础学习者和平均跟踪误差作为元目标。与非线性平面旋翼机受风,我们证明了我们的自适应控制器优于其他控制器训练回归导向的元学习时,部署在闭环轨迹跟踪控制。
2021-06-19 cs.LG cs.RO cs.SY
Adaptive Task Sampling for Meta-Learning
Salesforce Research Asia(Salesforce亚洲研究院);Singapore Management University(新加坡管理大学);South China University of Technology(华南理工大学);Carnegie Mellon University(卡内基梅隆大学)
元学习方法在计算机视觉中得到了广泛的研究和应用,特别是对于Few-Shot分类任务。用于Few-Shot分类的元学习的关键思想是通过在Meta训练数据中随机采样类来构造用于情景训练的Few-Shot任务,以模拟测试时面临的Few-Shot情况。虽然丰富的工作线只关注如何跨任务提取元知识,但我们利用了如何生成信息任务的补充问题。我们认为,随机抽样的任务可能是次优的和无信息的(例如,将“狗”与“膝上型计算机”分类的任务通常是微不足道的)。在本文中,我们提出了一个自适应的任务采样方法,以提高泛化性能。与基于实例的采样不同,基于任务的采样更具挑战性,因为每个事件中任务的隐含定义。因此,我们相应地提出了一种基于贪婪类对的抽样方法,该方法根据类对潜力选择困难的任务。我们在两个Few-Shot分类基准上评估了我们的自适应任务采样方法,它在不同的特征骨干,Meta学习算法和数据集上实现了一致的改进。
2020-07-17 cs.CV cs.LG
Meta-Learning with Adaptive Hyperparameters
Seoul National University(首尔国立大学)
尽管它的普及,最近的一些作品的有效性MAML的问题时,测试任务是不同的训练任务,从而提出了各种任务条件的方法来改善初始化。我们没有寻找更好的任务感知初始化,而是关注MAML框架中的一个补充因素,即内环优化(或快速自适应)。因此,我们提出了一个新的权重更新规则,大大提高了快速适应过程。具体来说,我们引入了一个小型元网络,可以自适应地生成每步超参数:学习率和权重衰减系数。实验结果表明,超参数自适应学习(ALFA)是当前少样本学习方法中经常被忽视的一个重要组成部分。令人惊讶的是,使用ALFA从随机初始化进行快速自适应已经超过了MAML。
2020-12-08 cs.CV cs.LG
Boosting Few-Shot Learning With Adaptive Margin Loss
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Queen Mary University of London(伦敦玛丽女王大学);National University of Singapore(新加坡国立大学)
少样本学习(FSL)近年来引起了越来越多的关注,但仍然具有挑战性,因为学习从几个例子中概括的内在困难。针对少样本学习问题,提出了一种自适应间隔原则来提高基于度量的元学习方法的泛化能力。具体来说,我们首先开发了一个类相关的附加边际损失,其中每对类之间的语义相似性被认为是从相似的类中分离特征嵌入空间中的样本。此外,我们将所有类之间的语义上下文在一个采样的训练任务,并开发一个任务相关的附加利润损失,以更好地区分样本从不同的类。我们的自适应边缘方法可以很容易地扩展到一个更现实的广义FSL设置。大量的实验表明,该方法可以提高当前基于度量的元学习方法的性能,在标准FSL和广义FSL设置。
2020-05-28 cs.CV cs.LG stat.ML
Fast Meta-Learning for Adaptive Hierarchical Classifier Design
Econometric Institute, Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学计量经济研究所);Electrical Engineering and Computer Science, University of Michigan(密歇根大学电气工程与计算机科学学院)
我们提出了一个新的分裂标准的元学习方法,多类分类器的设计,自适应地合并到一个树结构层次的日益困难的二进制分类问题的类。分类树是从经验估计的Henze-Penrose界的成对贝叶斯误分类率,排名的二进制子问题的分类难度。建议的经验估计的贝叶斯出错率计算从最小生成树(MST)的样本从每对类。此外,提出了一种元学习技术,用于从整个数据集上的单个MST中量化每个单独类的一对剩余贝叶斯出错率。在基准数据集上的大量模拟表明,所提出的分层方法通常可以比竞争方法更快地学习,同时达到竞争的准确性。
2017-11-09 cs.AI cs.IT cs.LG
MAKO: Meta-Adaptive Koopman Operators for Learning-based Model Predictive Control of Parametrically Uncertain Nonlinear Systems
Water Research Institute (NEWRI), Nanyang Technological University, Singapore(新跃大学水研究 institute(NEWRI));School of Chemistry, Chemical Engineering and Biotechnology, Nanyang Technological University, Singapore(新跃大学化学、化工与生物技术学院);Soft Robotics Lab, ETH Zurich, Switzerland(苏黎世联邦理工学院软机器人实验室);Department of Civil and Environmental Engineering, National University of Singapore, Singapore(新加坡国立大学土木与环境工程系)
MAKO通过元学习方法实现对参数不确定非线性系统的高效建模与预测控制,提升系统稳定性和控制效果。
2025-11-27 cs.LG cs.SY eess.SY
MetaMixUp: Learning Adaptive Interpolation Policy of MixUp with Meta-Learning
MixUp是一种有效的数据增强方法,通过样本对及其标签之间的随机线性插值来正则化深度神经网络。它在模型正则化、半监督学习和领域自适应等方面发挥着重要作用。然而,尽管它在经验上取得了成功,但它随机混合样本的缺陷却很少被研究。由于深度网络能够记忆整个数据集,因此由香草MixUp生成的损坏样本以及错误选择的插值策略将降低网络的性能。为了克服由损坏的样本,启发元学习(学习学习),我们提出了一种新的技术学习混淆在这项工作中,即MetaMixUp。与从预定义分布中采样插值策略的香草MixUp不同,本文引入了一种基于元学习的在线优化方法,以数据自适应的方式动态学习插值策略。通过元学习的验证集性能捕获了欠拟合问题,这为改进插值策略提供了更多信息。此外,我们调整我们的方法为伪标签为基础的半监督学习(SSL)以及一个完善的伪标签策略。在我们的实验中,我们的方法取得了更好的性能比香草MixUp及其变种下监督学习配置。特别是,大量的实验表明,我们的MetaMixUp适应SSL大大优于MixUp和许多国家的最先进的方法在SSL配置下的CIFAR-10和SVHN基准。
2019-08-27 cs.CV cs.LG
VariBAD: A Very Good Method for Bayes-Adaptive Deep RL via Meta-Learning
University of Oxford(牛津大学);Latent Logic(潜在逻辑公司);Microsoft Research(微软研究院)
在未知环境中权衡探索和利用是在学习过程中最大化预期回报的关键。一个贝叶斯最优的政策,这样做最优,其行动的条件不仅对环境的状态,但代理的不确定性的环境。然而,除了最小的任务之外,计算贝叶斯最优策略对于所有任务都是棘手的。在本文中,我们介绍了变分贝叶斯-自适应深度RL(variable Bayes-Adaptive Deep RL,variBAD),这是一种在未知环境中进行近似推理的元学习方法,并在动作选择过程中直接引入任务不确定性。在网格世界域中,我们说明了variBAD如何执行结构化的在线探索任务的不确定性的函数。我们进一步评估了广泛用于元RL的MuJoCo域上的variBAD,并表明它比现有方法实现了更高的在线回报。
2020-02-27 cs.LG stat.ML
MetaSelector: Meta-Learning for Recommendation with User-Level Adaptive Model Selection
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);National University of Singapore(新加坡国立大学)
推荐系统通常面对包含高度个性化的用户历史数据的异构数据集,其中没有单个模型可以为每个用户提供最佳推荐。我们在公共和私人数据集上观察到这种普遍存在的现象,并解决了模型选择问题,以优化每个用户的推荐质量。我们提出了一个元学习框架,以促进推荐系统中的用户级自适应模型选择。在这个框架中,使用来自所有用户的数据来训练一个模型选择器的集合,在此基础上,通过元学习来训练模型选择器,以便使用用户特定的历史数据为每个用户选择最佳的单个模型。我们在两个公共数据集和一个真实的生产数据集上进行了广泛的实验,证明我们提出的框架在AUC和LogLoss方面比单个模型基线和样本级模型选择器有所改进。特别是,这些改进可能会导致巨大的利润增长时,部署在在线推荐系统。
2020-05-05 cs.IR cs.LG stat.ML
Layer-Wise Adaptive Updating for Few-Shot Image Classification
AIbee(爱笔);MiningLamp(明略科技)
Few-Shot图像分类(FSIC)是一种通过对少量图像的学习来识别新类别的方法,受到了广泛的关注。最近,基于元学习的方法已被证明是FSIC的一个有前途的方向。通常,他们训练元学习器(元学习模型)来学习容易微调的权重,并且当解决FSIC任务时,元学习器通过在任务的几个图像上更新自身来有效地将自身微调到特定于任务的模型。在本文中,我们提出了一种新的基于元学习的分层自适应更新(LWAU)方法FSIC。LWAU的灵感来自于一个有趣的发现,即与常见的深度模型相比,元学习器在从少量图像中学习时,更注重更新其顶层。根据这一发现,我们假设元学习器可能更喜欢更新其顶层而不是更新其底层,以获得更好的FSIC性能。因此,在LWAU中,元学习器被训练为不仅学习容易微调的模型,而且学习其喜欢的逐层自适应更新规则,以提高其学习效率。大量的实验表明,与逐层自适应更新规则,建议LWAU:1)优于现有的Few-Shot分类方法具有明确的利润率; 2)在解决FSIC时,从少数图像中学习的效率至少是现有元学习器的5倍。
2020-07-16 cs.CV cs.LG eess.IV
Meta-Learning-Based Delayless Subband Adaptive Filter using Complex Self-Attention for Active Noise Control
City University of Hong Kong(香港城市大学)
本文将主动噪声控制重构为元学习问题,提出基于复数自注意力的无延迟子带自适应滤波器,通过神经网络学习优化更新规则,并结合跳跃更新策略,在多种噪声环境下实现优于传统方法的降噪性能。
2024-12-27 cs.LG cs.SD eess.AS
Learning Anytime Predictions in Neural Networks via Adaptive Loss Balancing
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
这项工作考虑了深度神经网络(DNN)通过辅助预测的\emph{anytime}预测的准确性和测试时间计算成本之间的权衡。具体来说,我们优化辅助损失联合在一个\emph{adaptive}加权和,其中的权重是成反比的平均每个损失。直觉上,这平衡了损失,使其具有相同的规模。我们从多个角度展示了激励这种方法的理论考虑,包括将其与优化每次损失预期的几何平均值联系起来,这是一个忽略损失规模的目标。在实验上,自适应权重比非自适应方法(包括平等地权衡所有损失)在多个识别数据集和模型上诱导更具竞争力的任何时间预测。特别是,任何时候神经网络(ANN)可以实现相同的精度更快地使用自适应权重的小网络比使用静态恒定权重的大。对于具有高性能饱和度的问题,我们还展示了一系列指数深化的ANN可以在任何预算下实现接近最优的结果,代价是一个常数分数的额外计算。
2018-05-25 cs.AI cs.LG
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题,通过形式化元学习与元强化学习框架,梳理相关里程碑算法,为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
AdaKD: Dynamic Knowledge Distillation of ASR models using Adaptive Loss Weighting
Indian Institute of Science(印度科学学院)
针对现有知识蒸馏对任务损失与蒸馏损失赋权相同导致性能次优的问题,提出受课程学习启发的AdaKD方法,在样本级基于教师损失自适应加权,即插即用,实验表现优于传统及现有样本级方法。
2024-05-11 cs.AI cs.LG
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Nanyang Technological University(南洋理工大学)
Meta强化学习(MRL)使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中,我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习(MAML),并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络(GAN)。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Robust Learning under Non-Gaussian Noise with Adaptive Log-Correntropy Loss
University of South Florida(南佛罗里达大学);California Polytechnic State University(加州州立理工大学)
提出自适应对数相关熵损失(ALCL),通过可微重参数化联合学习形状和尺度参数,使损失几何动态适应残差统计,抑制极端异常值,在混合重尾和脉冲噪声下优于MSE和固定核相关熵损失。
2026-11-04 cs.AI cs.LG
Adaptive Online Prediction by Following the Perturbed Leader
在将聚合策略应用于专家建议预测时,必须自适应地调整学习率。sqrt(复杂性/当前损失)的自然选择使得加权多数衍生工具的分析非常复杂。特别是,对于任意权重,迄今为止还没有证明结果。Kalai & Vempala(2003)的“Follow the Perturbed Leader”(FPL)算法(基于Hannan的算法)的分析更容易。我们得到的损失界自适应学习率和有限的专家类与统一的权重和可数的专家类与任意的权重。对于前一种设置,我们的损失界匹配到目前为止最知名的结果,而对于后者,我们的结果是新的。
2005-04-16 cs.AI cs.LG
Distributionally Adaptive Meta Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对元强化学习在测试时任务分布偏移下失效的问题,提出训练一组具备不同鲁棒性水平的元策略并自适应选择,以实现快速适应、降低遗憾值。
2023-07-10 cs.AI cs.LG
Enhancing Cross Entropy with a Linearly Adaptive Loss Function for Optimized Classification Performance
Extreme Materials Research Center, Korea Institute of Science and Technology(极端材料研究中心,韩国科学技术院);Climate and Environmental Research Institute, Korea Institute of Science and Technology(气候与环境研究所,韩国科学技术院);Division of AI-Robotics, KIST Campus, University of Science and Technology(人工智能机器人系,韩国科学技术院校园)
提出线性自适应交叉熵损失函数,通过增加依赖真实类别预测概率的额外项优化分类任务,在 CIFAR-100 上基于 ResNet 评估,准确率优于标准交叉熵且效率相当。
2025-07-10 cs.AI cs.LG cs.NE
Deep Ranking with Adaptive Margin Triplet Loss
University of Siegen(锡根大学)
我们提出了一个简单的修改,从一个固定的利润率三重损失的自适应利润率三重损失。虽然原始的三元组损失被广泛用于分类问题,如人脸识别,人脸重新识别和细粒度相似性,我们提出的损失是非常适合的评级数据集,其中评级是连续值。与我们必须仔细采样数据的原始三元组损失相反,在out方法中,我们可以使用整个数据集生成三元组,并且优化仍然可以收敛,而不会经常遇到模型崩溃问题。自适应余量在训练之前只需要计算一次,这比在固定余量情况下在每个时期之后生成三元组要便宜得多。除了大幅提高训练稳定性(与现有的三重损失训练崩溃的几次相比,我们提出的模型在我们的实验中从未崩溃)之外,我们在各种评级数据集和网络架构上实现了比原始三重损失略好的性能。
2021-07-13 cs.CV cs.LG
Meta-Reinforcement Learning with Discrete World Models for Adaptive Load Balancing
Kennesaw State University(肯尼索州立大学)
本文提出将元强化学习与DreamerV3结合用于操作系统负载均衡,实现动态工作负载下的快速自适应,并在标准与自适应试验中优于A2C,同时具备抗灾难性遗忘能力。
2025-03-11 cs.AI cs.LG cs.OS
Perturbed Iterate SGD for Lipschitz Continuous Loss Functions with Numerical Error and Adaptive Step Sizes
针对有限精度环境,研究扰动迭代SGD在数值误差与自适应步长下的收敛性,证明其渐近收敛至Clarke稳定点及期望非渐近收敛至近似稳定点。
2026-10-08 cs.LG math.OC
Adaptive Weighted Discriminator for Training Generative Adversarial Networks
University of Kentucky(肯塔基大学)
生成对抗网络(GAN)是经典无监督机器学习的重要神经网络模型之一。已经开发了各种各样的伪损失函数来训练GAN的鉴别器,并且它们都具有共同的结构:仅分别依赖于实际数据和生成数据的真实损失和伪损失的总和。与两个损失的相等加权和相关的一个挑战是,训练可能有利于一个损失,但损害另一个,我们表明这会导致不稳定和模式坍塌。在本文中,我们引入了一个新的家庭的自适应损失函数,采用了加权和的真实和虚假的部分,我们称之为自适应加权损失函数或aw-损失函数。利用损失的真实部分和虚假部分的梯度,我们可以自适应地选择权重以在有利于GAN的稳定性的方向上训练训练器。我们的方法可以潜在地应用于任何损失是真实和虚假部分之和的非线性模型。实验验证了我们的损失函数在无条件图像生成任务上的有效性,在Inception Scores和FID中的CIFAR-10,STL-10和CIFAR-100数据集上显著改善了基线结果。
2021-05-28 cs.LG
SoftAdapt: Techniques for Adaptive Loss Weighting of Neural Networks with Multi-Part Loss Functions
University of California, Merced(加利福尼亚大学默塞德分校);University of Arizona(亚利桑那大学);U.S. Air Force Research Laboratory(美国空军研究实验室)
自适应损失函数公式化是一个活跃的研究领域,近年来随着深度学习的成功而获得了极大的普及。然而,现有的自适应损失函数的框架往往遭受缓慢的收敛和不良的选择的权重的损失分量。传统上,多部分损失函数的元素被相等地加权,或者它们的权重通过产生接近最优(或次优)结果的启发式方法来确定。为了解决这个问题,我们提出了一个家庭的方法,称为SoftAdapt,动态地改变功能的权重多部分损失函数的基础上实时性能统计的组件损失。SoftAdapt在数学上是直观的,计算效率高,实现简单。在本文中,我们提出的数学公式和伪代码的SoftAdapt,以及我们的方法应用于图像重建(稀疏自动编码器)和合成数据生成(内省变分自编码器)的结果。
2019-12-27 cs.LG math.OC stat.ML
Addressing the Loss-Metric Mismatch with Adaptive Loss Alignment
Apple Inc.(苹果公司)
在大多数机器学习训练范例中,一个固定的、通常是手工制作的损失函数被假定为底层评估度量的良好代理。在这项工作中,我们通过元学习自适应损失函数来直接优化评估指标来评估这一假设。我们提出了一个样本有效的强化学习方法,在训练过程中动态地适应损失。我们的经验表明,这种配方如何提高性能,同时优化评估指标和平滑的损失景观。我们在度量学习和分类场景中验证了我们的方法,在不同的任务集上显示出比最先进的方法有相当大的改进。重要的是,我们的方法适用于广泛的损失函数和评估指标。此外,学习到的策略可以跨任务和数据传输,证明了该方法的通用性。
2019-05-15 cs.CV cs.LG stat.ML
Long-Tailed Classification with Gradual Balanced Loss and Adaptive Feature Generation
Huazhong University of Science and Technology(华中科技大学)
现实世界的数据分布本质上是长尾的,这对深度模型提出了巨大的挑战。在这项工作中,我们提出了一种新的方法,渐进平衡损失和自适应特征生成器(GLAG),以减轻不平衡。GLAG首先学习一个平衡和鲁棒的特征模型与渐进平衡损失,然后修复特征模型,并在特征级别上用来自良好表示的头部类的知识来增强未充分表示的尾部类。在训练时期,生成的样本与真实的训练样本混合。渐进平衡损失是一种通用的损失,它可以与不同的解耦训练方法相结合,以提高原有的性能。在CIFAR 100-LT、ImageNetLT和iNaturalist等长尾数据集上取得了最先进的结果,证明了GLAG在长尾视觉识别中的有效性。
2022-02-28 cs.CV cs.LG
Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing
King’s College London(伦敦国王学院)
深度神经网络很容易被欺骗,通过对抗性扰动(人类无法感知的人工噪声)破坏输入来做出错误的预测。到目前为止,对抗性训练是对抗这种对抗攻击最成功的防御手段。这项工作的重点是改进对抗训练,以提高对抗鲁棒性。我们首先从实例的角度分析了对抗性脆弱性在对抗性训练过程中的演变。我们发现,在训练过程中,通过牺牲相当大比例的训练样本来更容易受到对抗攻击,从而导致数据中对抗脆弱性的不均匀分布,从而实现了对抗损失的整体减少。这种“不均匀的脆弱性”在几种流行的健壮训练方法中普遍存在,更重要的是,与对抗训练中的过度拟合有关。基于这一观察,我们提出了一种新的对抗训练方法:实例自适应平滑增强对抗训练(ISEAT)。它以一种自适应的、特定于实例的方式联合平滑输入和减肥景观,以增强具有较高对抗脆弱性的样本的鲁棒性。大量的实验表明,我们的方法优于现有的防御方法。值得注意的是,我们的方法,结合最新的数据增强和半监督学习技术,实现了最先进的鲁棒性对$\ell_{\infty}$范数约束攻击CIFAR 10的59.32%的宽ResNet 34 -10没有额外的数据,和61.55%的宽ResNet 28 -10与额外的数据。代码可在https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT上获得。
2023-03-27 cs.AI cs.CV cs.LG
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich(苏黎世联邦理工学院);Singapore Management University(新加坡管理大学)
我们通过将其权重和激活量化为多个二进制基(称为多位网络(MBN))来研究深度神经网络的压缩,这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化(ALQ),一个新的MBN量化流水线,能够实现平均位宽低于一位,而不会显着损失的推理精度。与先前的MBN量化解决方案(其通过最小化误差来训练量化器以重构全精度权重)不同,ALQ直接最小化损失函数上的量化引起的误差,其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略,以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明,ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
Adaptive Minimax Regret against Smooth Logarithmic Losses over High-Dimensional $\ell_1$-Balls via Envelope Complexity
The University of Tokyo(东京大学)
我们开发了一个新的理论框架,\emph{envelope complexity},分析极大极小遗憾与对数损失函数,并推导出贝叶斯预测,自适应实现极大极小遗憾在高维$\ell_1$ -球的一个因素内的两个。先验是新推导的,用于实现极小极大遗憾,并称为\emph{spike-and-tails~(ST) prior},因为它看起来像。由此产生的遗憾界是如此简单,它是完全确定的光滑的损失函数和球的半径,除了与对数因子,它有一个广义形式的现有的遗憾/风险界。在初步的实验中,我们证实了ST先验优于传统的最小最大遗憾先验的非高维渐近。
2018-10-14 cs.LG stat.ML
A Sub-band Approach to Deep Denoising Wavelet Networks and a Frequency-adaptive Loss for Perceptual Quality
AAC Technologies(AAC科技)
在本文中,我们提出了两个贡献的神经网络为基础的去噪。首先,我们建议将单独的卷积层应用于离散小波变换(DWT)的每个子带,而不是将所有子带连接起来并应用单个卷积层的DWT的常见用法。我们表明,我们的方法使用离散小波变换在神经网络显着提高了准确性,由于保持子带顺序未损坏之前逆离散小波变换。我们的第二个贡献是基于频域中前k %错误的去噪损失。用这种损失训练的神经网络自适应地关注在每次迭代中最不能恢复的频率。我们表明,这种损失的结果到更好的感知质量,提供一个图像,更平衡的频率分量的误差。
2021-02-16 cs.CV cs.LG
Learning Adaptive Loss for Robust Learning with Noisy Labels
Xi’an Jiaotong University(西安交通大学);The Macau University of Science and Technology(澳门科技大学)
鲁棒损失最小化是处理噪声标签鲁棒学习问题的一个重要策略。然而,现有的鲁棒损失函数不可避免地涉及到超参数的人工调整或交叉验证,这使得它们很难在实际中得到普遍应用。此外,损失带来的非凸性以及复杂的网络结构使其容易陷入意想不到的解决方案,泛化能力差。针对上述问题,本文提出了一种自适应学习鲁棒损失函数超参数的元学习方法。具体而言,通过鲁棒损失超参数和网络参数之间的相互改进,在我们的方法,两者可以同时精细学习和协调,以获得具有良好的泛化能力的解决方案。将四种SOTA鲁棒损失函数引入到该算法中,并通过实验验证了该方法的有效性和通用性.
2020-02-16 cs.LG stat.ML
A General and Adaptive Robust Loss Function
Google Research(谷歌研究院)
我们给出了Cauchy/Lorentzian、Geman-McClure、Welsch/Leclerc、广义Charbonnier、Charbonnier/pseudo-Huber/L1-L2和L2损失函数的推广。通过引入鲁棒性作为连续参数,我们的损失函数允许围绕鲁棒损失最小化构建的算法被推广,这提高了基本视觉任务(如配准和聚类)的性能。将我们的损失解释为单变量密度的负对数,会产生一个一般概率分布,其中包括正态分布和柯西分布作为特殊情况。这种概率解释使得能够训练神经网络,其中损失的鲁棒性在训练期间自动自适应,这提高了基于学习的任务(例如生成图像合成和无监督单目深度估计)的性能,而不需要任何手动参数调整。
2019-04-04 cs.CV cs.LG stat.ML
Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent
Peking University(北京大学)
我们提出了\textit{Meta-Regularization},一种新的方法,自适应选择的学习率在一阶梯度下降方法。我们的方法通过在学习率上增加正则化项来修改目标函数,并将参数和学习率的联合更新过程转化为最大最小问题。给定任何正则化项,我们的方法有利于生成实用的算法。当\textit{Meta-Regularization}把$φ$ -散度作为正则化子时,所得到的算法具有与其他一阶梯度算法相当的理论收敛性能.此外,我们从理论上证明了一些设计良好的正则化可以改善收敛性能的目标函数的强凸性条件下。基准问题的数值实验表明,从一些常见的$φ$ -发散算法在全批以及在线学习设置的有效性。
2021-04-12 cs.LG
Active Regression with Adaptive Huber Loss
Istituto Italiano di Tecnologia(意大利理工学院);University of Genova(热那亚大学);University of Verona(维罗纳大学)
本文通过一种新的解决方案来解决标量回归问题,以精确优化一般半监督设置中的Huber损失,该解决方案结合了多视图学习和流形正则化。我们提出了一个原则性的算法,以1)避免计算昂贵的迭代方案,同时2)以数据驱动的方式调整Huber损失阈值,3)主动平衡标记数据的使用,以在训练阶段去除噪声或不一致的注释。在广泛的实验评估,处理不同的应用程序,我们评估我们的范例,这是能够结合对噪声的鲁棒性与强大的性能和低计算成本的优越性。
2016-06-26 cs.CV cs.LG
DAAL: Density-Aware Adaptive Line Margin Loss for Multi-Modal Deep Metric Learning
Pokhara University(博卡拉大学);Universita di Verona(维罗纳大学);Eng. for Innovative Medicine(创新医学工程学院)
本文提出密度感知自适应线形间隔损失(DAAL),通过保持嵌入密度分布并形成自适应子簇,增强类内方差和类间分离,在细粒度数据集上取得优越性能,推进多模态深度度量学习。
2024-11-05 cs.CV cs.LG
OWAdapt: An adaptive loss function for deep learning using OWA operators
University of Chile(智利大学);Instituto Sistemas Complejos de Ingeniería (ISCI)(工程复杂系统研究所(ISCI));Universidad de los Andes, Chile(智利洛斯安第斯大学);Universidad Diego Portales(迭戈·波塔莱斯大学)
本文提出OWAdapt,一种基于OWA算子的模糊自适应损失函数,通过迭代加权类别级误差分量来应对类别不平衡和噪声,在二分类与多分类任务中优于交叉熵和焦点损失。
2023-10-12 cs.CV cs.LG
Adaptive Loss Scaling for Mixed Precision Training
Imperial College London(帝国理工学院);Preferred Networks, Inc.(Preferred Networks公司)
混合精度训练(MPT)正在成为一种实用的技术,通过利用现有GPU中对IEEE半精度浮点的快速硬件支持来提高训练深度神经网络的速度和能量效率。MPT通常与一种称为损失缩放的技术结合使用,该技术通过在反向传播开始之前放大损失值来最大限度地减少数值下溢对训练的影响。不幸的是,现有的方法使这个损失尺度值成为一个超参数,需要根据模型进行调整,并且单个尺度不能适应不同训练阶段的不同层。我们引入了一种基于损失缩放的训练方法,称为自适应损失缩放,通过消除调整模型特定损失尺度超参数的需要,使MPT更容易使用,更实用。我们通过引入逐层损失尺度值来实现这一点,这些值在训练过程中自动计算,以比现有方法更有效地处理下溢。我们在各种网络和任务上的实验结果表明,与现有的最先进的MPT和单精度浮点相比,我们的方法可以缩短收敛时间并提高精度
2019-10-28 cs.LG stat.ML
Deep Learning Optimization Using Self-Adaptive Weighted Auxiliary Variables
School of Mathematical Sciences, University of Electronic Science and Technology of China(电子科技大学数学科学学院);Department of Mathematics, Hong Kong Baptist University(香港浸会大学数学系)
本文针对深度学习中梯度下降因非凸性和梯度消失导致的低效问题,提出一种通过引入辅助变量分离网络层并重构损失函数的自适应加权优化框架,数值实验验证了其有效性和鲁棒性。
2025-04-30 cs.LG
Adaptive Margin Ranking Loss for Knowledge Graph Embeddings via a Correntropy Objective Function
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
基于翻译的嵌入模型在知识图谱的链接预测任务中获得了极大的关注。transE是基于嵌入的主要模型,以其低复杂度和高效率而闻名。因此,大多数早期的作品已经修改了分数函数的transE方法,以提高性能的链接预测任务。然而,理论和实验证明,transE的性能强烈依赖于损失函数。保证金等级损失(Margin Ranking Loss,MRL)是最早的损失函数之一,广泛用于训练TransE。然而,通过使用关系向量(transE的原始假设),正三元组的分数不一定被强制为足够小以实现从头到尾的翻译。为了解决这个问题,最近提出了几个损失函数,通过增加上界和下界的积极和消极的样本的分数。虽然非常有效,以前开发的模型遭受的搜索空间的选择的超参数(特别是分数的上限和下限)的扩展,其中的性能高度依赖于基于预测的模型。在本文中,我们提出了一个新的损失函数称为自适应保证金损失(AML)的训练基于嵌入模型。所提出的损失函数的公式化使得能够在学习过程期间对裕度进行自适应和自动调整。因此,不需要获得两个值(上限和下限),而只需要确定边缘的中心。在学习过程中,边缘会自动扩大,直到收敛。在一组标准基准数据集(包括Freebase和WordNet)上的实验中,AML在训练transE执行链接预测任务时的有效性得到了证实。
2019-07-09 cs.AI cs.CL cs.LG
A Novel Adaptive Hybrid Focal-Entropy Loss for Enhancing Diabetic Retinopathy Detection Using Convolutional Neural Networks
School of Computer Science and Engineering(计算机科学与工程学院);Vellore Institute of Technology(韦洛尔理工大学)
针对糖尿病视网膜病变检测中类别不平衡问题,提出自适应混合焦点-熵损失(AHFE),结合焦点与熵损失并自适应加权,在多个CNN模型上显著提升准确率,最高达99.79%。
2025-04-23 cs.AI cs.CV cs.LG
Adaptive Preconditioners Trigger Loss Spikes in Adam
Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University(上海交通大学理论科学研究院);School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);MemTensor (Shanghai) Technology Co., Ltd.(MemTensor(上海)科技有限公司);Institute for Advanced Algorithms Research, Shanghai(上海先进算法研究院);Shanghai Seres Information Technology Co., Ltd, Shanghai 200040, China(上海塞瑞斯信息技术有限公司,上海200040,中国)
通过分析Adam二阶矩估计器的内部动力学,发现自适应预处理器与瞬时平方梯度之间的解耦机制导致损失尖峰,并基于二次近似分析提出尖峰预测方法。
2026-05-25 cs.LG
Weight Pruning via Adaptive Sparsity Loss
NTUA(雅典国立技术大学)
近年来,修剪神经网络作为一种压缩最先进的深度神经网络并使其能够在资源受限的设备上部署的手段重新引起了人们的兴趣。在本文中,我们提出了一个鲁棒的压缩学习框架,可以在训练过程中以最小的计算开销有效地修剪网络参数。我们采用快速机制来修剪各个层,并在此基础上在用户定义的预算约束下自动修剪整个网络。我们的端到端网络修剪方法的关键是制定一个直观且易于实现的自适应稀疏性损失,用于在训练期间显式控制稀疏性,从而实现高效的稀疏感知优化。大量的实验证明了CIFAR和ImageNet数据集上使用不同架构(包括AlexNet,ResNets和Wide ResNets)的图像分类框架的有效性。
2020-06-04 cs.LG stat.ML
SCL: Towards Accurate Domain Adaptive Object Detection via Gradient Detach Based Stacked Complementary Losses
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
无监督域自适应目标检测旨在学习一个鲁棒的检测器在域移位的情况下,训练(源)域是标签丰富的限界框注释,而测试(目标)域是标签不可知的,训练和测试域之间的特征分布是不相似的,甚至完全不同。在本文中,我们提出了一种基于梯度分离的堆叠互补损失(SCL)方法,该方法以检测损失为主要目标,并在梯度分离训练的同时在不同的网络阶段削减几个辅助损失,以学习更多的判别表示。我们认为,现有的方法主要利用更多的损失函数进行训练,但忽略了不同损失的相互作用,也是兼容的训练策略(梯度分离更新在我们的工作)。因此,我们提出的方法是一个更融合的适应学习过程。我们在七个数据集上进行了全面的实验,结果表明,我们的方法的性能优于国家的最先进的方法显着的保证金。例如,从Cityscapes到FoggyCityscapes,我们实现了37.9%的mAP,比之前的艺术强-弱3.6%。
2019-11-21 cs.CV cs.LG
On Self-Adaptive Perception Loss Function for Sequential Lossy Compression
University of Manitoba(曼尼托巴大学);University of Toronto(多伦多大学);McMaster University(麦克马斯特大学)
针对序列有损压缩的重建真实感与误差累积问题,提出考虑当前源帧与先前重建帧联合分布的自适应感知损失函数PLF-SA,建立理论率-失真-感知函数并验证其避免误差累积、利用时间相关性的优势。
2025-02-15 cs.IT cs.LG math.IT
Meta Stackelberg Game: Robust Federated Learning against Adaptive and Mixed Poisoning Attacks
New York University(纽约大学);Tulane University(杜兰大学)
本文将混合攻击下的对抗联邦学习建模为贝叶斯斯塔克尔伯格马尔可夫博弈,提出结合预训练与在线自适应的元强化学习防御,并证明其收敛性与实验优势。
2024-10-22 cs.CR cs.GT cs.LG
Sparse Meta Networks for Sequential Adaptation and its Application to Adaptive Language Modelling
Microsoft Research(微软研究院)
训练深度神经网络需要大量的单任务数据,并且涉及到耗时较长的优化阶段。这无法扩展到具有新的意外更改的复杂、现实环境。人类可以在飞行中进行快速增量学习,大脑中的记忆系统起着关键作用。我们介绍稀疏Meta网络--一种元学习方法,通过使用深度神经网络来学习深度神经网络的在线顺序自适应算法。我们用特定于层的快速权重记忆来增强深度神经网络。快速权重在每个时间步稀疏地生成,并通过时间增量地累积,为在线连续适应提供有用的归纳偏差。我们在各种顺序适应场景中表现出强大的性能,从简单的在线强化学习到大规模自适应语言建模。
2020-09-03 cs.AI cs.CL cs.LG
LALR: Theoretical and Experimental validation of Lipschitz Adaptive Learning Rate in Regression and Neural Networks
BITS Pilani(比尔拉科学技术学院);PES University(PES大学);ML Square(ML平方)
我们提出了一个理论框架的平均绝对误差损失函数和分位数损失函数的自适应学习率政策,并评估其有效性回归任务。该框架基于Lipschitz连续性理论,特别是利用损失函数的学习率和Lipschitz常数之间的关系。基于实验,我们发现自适应学习率策略与恒定学习率策略相比,收敛速度快20倍。
2020-05-19 cs.LG stat.ML
Adaptive additive classification-based loss for deep metric learning
Amazon(亚马逊)
最近的工作表明,深度度量学习算法可以受益于来自另一种输入模态的弱监督。这种额外的模态可以作为距离直接结合到流行的基于三重态的损失函数中。最近,分类损失和基于代理的度量学习已经被观察到导致更快的收敛以及更好的检索结果,而不需要复杂和昂贵的采样策略。在本文中,我们提出了一种对现有自适应余量的扩展,用于基于分类的深度度量学习。我们的扩展为每个样本的每个负代理引入了一个单独的保证金。这些边界是在训练期间根据其他模态中的类的预先计算的距离来计算的。我们的结果在亚马逊时尚检索数据集和公共DeepFashion数据集上都建立了新的最先进的技术。这在基于fastText和BERT的嵌入中观察到,用于额外的文本模态。我们的结果是实现了更快的收敛速度和更低的代码复杂度比现有的国家的最先进的。
2020-06-25 cs.CV cs.LG