GeniePath: Graph Neural Networks with Adaptive Receptive Paths
Ant Financial Services Group(蚂蚁金融服务集团);Georgia Institute of Technology(佐治亚理工学院)
我们提出,GeniePath,一个可扩展的方法,用于学习自适应感知域的神经网络定义的置换不变图数据。在GeniePath中,我们提出了一个自适应路径层,它由两个互补的功能组成,分别用于广度和深度探索,前者学习不同大小的邻域的重要性,而后者提取和过滤从不同跳数的邻域聚合的信号。我们的方法适用于转导和归纳设置,与竞争性方法相比,广泛的实验表明,我们的方法在大型图上产生最先进的结果。
2018-11-05 cs.LG
Adaptive Recurrent Neural Network Based on Mixture Layer
Machine Intelligence Technology Lab, Alibaba Group(阿里巴巴集团机器智能技术实验室)
虽然循环神经网络(RNN)已经成为一个强大的工具来建模序列数据,它的性能是不够的,当处理序列与多个模式。在本文中,我们通过引入新的混合层和构建自适应RNN来解决这一挑战。混合层增广RNN(M-RNN)将训练序列中的模式划分为多个类,并将主模式作为混合模型中各成分的原型向量存储。通过利用混合层,该方法可以根据编码输入和原型向量之间的相似性自适应地更新状态,从而提高了对多模式序列的同化能力。此外,我们的方法可以通过利用有关数据的先验知识来进一步扩展。在模拟数据集和真实数据集上的实验证明了该方法的有效性。
2019-02-27 cs.AI cs.LG stat.ML
Self-adaptive weighting and sampling for physics-informed neural networks
Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对物理信息神经网络(PINNs)求解偏微分方程时精度和效率受限的问题,提出混合自适应采样与加权方法,结合二者优势提升预测精度与训练效率,解决单一方法在训练点稀缺时效果不佳的问题。
2025-11-11 cs.AI cs.LG physics.comp-ph
MAF-GNN: Multi-adaptive Spatiotemporal-flow Graph Neural Network for Traffic Speed Forecasting
交通量预测是智能交通监控系统的核心内容。基于图神经网络的方法已被广泛用于此任务,以有效地捕捉道路网络的空间和时间依赖性。然而,这些方法不能有效地定义复杂的网络拓扑结构。此外,它们的级联网络结构在时间和空间维度上都存在传输不同特征的局限性。本文提出了一种多自适应时空流图神经网络(MAF-GNN)的交通速度预测方法。MAF-GNN引入了一种有效的多自适应邻接矩阵机制来捕获交通节点之间的多个潜在空间依赖关系。此外,我们提出了时空流模块,旨在进一步提高在时间和空间维度的特征传播。MAF-GNN在METR-LA和PeMS-Bay两个真实的公交网络数据集上取得了比其他模型更好的性能,证明了该方法的有效性。
2022-03-09 cs.LG
Deep Neural Programs for Adaptive Control in Cyber-Physical Systems
我们介绍了深度神经程序(DNP),这是一种用于为网络物理系统(CPS)编写自适应控制器的新型编程范式。DNP取代if和while语句,其不连续性是CPS分析中的不可判定性,CPS设计中的棘手性以及CPS实现中的脆弱性的原因,它们具有平滑的神经nif和nwhile对应物。这不仅使CPS分析可判定和CPS设计易处理,而且还允许编写健壮和自适应的CPS代码。在DNP中,nif和nwhile语句的S形保护之间的连接必须作为高斯贝叶斯网络给出,这反映了CPS程序对其环境的部分知识。据我们所知,DNP是第一种将神经网络与程序联系起来的方法,这种方法可以明确网络的含义。为了证明和验证DNP的有用性,我们使用它们来编写和学习一个自适应CPS控制器,用于我们CPS实验室中的Pioneer Rovers的并行停车。
2015-02-13 cs.AI cs.RO
Adaptive Soft Error Protection for Neural Network Processing
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院);State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所国家处理器实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Jinan Inspur Data Technology Co., Ltd.(济南Inspur数据技术有限公司)
本文提出基于动态输入依赖性的自适应软错误防护框架,利用轻量级图神经网络预测神经网络组件的软错误脆弱性,降低计算开销并提升保护效率。
2026-04-23 cs.LG
Adaptive Least Mean Squares Graph Neural Networks and Online Graph Signal Estimation
Tsinghua-Berkeley Shenzhen Institute, Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院清华-伯克利深圳学院)
针对含噪部分观测下的时变图信号在线估计问题,提出结合自适应图滤波器与GNN的LMS-GNN架构,经真实温度数据验证,其预测精度优于现有基于图的方法。
2024-01-27 cs.LG eess.SP
Bayesian Graph Neural Networks with Adaptive Connection Sampling
Texas A&M University(德克萨斯A&M大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个统一的框架,自适应连接采样的图神经网络(GNNs),概括了现有的随机正则化方法训练GNNs。所提出的框架不仅消除了深度GNN的过度平滑和过度拟合趋势,而且还可以在使用GNN的图分析任务中进行不确定性学习。与现有随机正则化方法中使用固定采样率或手动调整它们作为模型超参数不同,我们的自适应连接采样可以与GNN模型参数以全局和局部方式联合训练。使用自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上进行消融研究的实验结果验证了自适应学习给定图训练数据的采样率是提高GNNs在半监督节点分类中性能的关键,不易于过平滑和过拟合,具有更强大的预测能力。
2020-06-30 cs.LG stat.ML
Adaptive Least Mean pth Power Graph Neural Networks
Tsinghua University(清华大学);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
本文提出LMP-GNN框架,将自适应滤波与图神经网络结合,通过$l_p$范数优化实现在脉冲噪声和观测缺失下对时变图信号的鲁棒在线预测。
2024-11-23 cs.LG eess.SP
Domain Adaptive Neural Networks for Object Recognition
Victoria University of Wellington(惠灵顿维多利亚大学)
我们提出一个简单的神经网络模型来处理目标识别中的领域自适应问题。我们的模型采用最大平均离散度(MMD)作为监督学习中的正则化措施,以减少潜在空间中源域和目标域之间的分布失配。从实验中,我们证明了MMD正则化是一个有效的工具,提供良好的领域自适应模型的SURF功能和原始图像像素的特定图像数据集。我们还表明,我们提出的模型,在去噪自动编码器预训练之前,在相同的数据集上比最近的基准模型实现了更好的性能。这项工作是第一次研究的MMD措施的背景下,神经网络。
2014-09-21 cs.AI cs.CV cs.LG
DA$^{\textbf{2}}$-Net : Diverse & Adaptive Attention Convolutional Neural Network
标准卷积神经网络(CNN)设计很少关注明确捕获不同特征以增强网络性能的重要性。相反,大多数现有的方法都采用间接的方法来增加或调整网络的深度和宽度,这在许多情况下会显着增加计算成本。受生物视觉系统的启发,我们提出了一种多样的自适应注意力卷积网络(DA $^{2}$ -Net),它使任何前馈CNN都能够显式地捕获不同的特征,并自适应地选择和强调信息量最大的特征,以有效地提高网络的性能。DA $^{2}$ -Net产生的计算开销可以忽略不计,它被设计成可以很容易地与任何CNN架构集成。我们在基准数据集上广泛评估了DA $^{2}$ -Net,包括CIFAR 100,SVHN和ImageNet,以及各种CNN架构。实验结果表明,DA $^{2}$ -Net提供了一个显着的性能改善,非常小的计算开销。
2021-11-25 cs.AI cs.CV
Adaptive Speech Quality Aware Complex Neural Network for Acoustic Echo Cancellation with Supervised Contrastive Learning
MediaTek Singapore(联发科新加坡)
声学回声消除(AEC)旨在从麦克风信号中消除回声、混响和不需要的附加声音,同时保持近端扬声器的语音质量。本文提出了自适应语音质量复杂神经网络,专注于实时声学回声消除的特定任务。具体而言,我们提出了一个复杂的模块化神经网络,具有不同的阶段,分别专注于特征提取,声学分离和掩模优化。此外,我们采用了对比学习框架和新的语音质量感知损失函数,以进一步提高性能。该模型经过72小时的预训练,然后进行72小时的微调。所提出的模型优于国家的最先进的性能。
2022-11-09 cs.AI cs.SD eess.AS
Temporal-adaptive Weight Quantization for Spiking Neural Networks
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Institute of Computing and Intelligence (ICI), Harbin Institute of Technology(哈尔滨工业大学计算机与智能信息学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出了一种基于时空动态的权重量化方法TaWQ,用于提升脉冲神经网络的能效,同时保持高精度。
2025-11-14 cs.AI cs.CV cs.NE
Dynamic Meta-Learning for Adaptive XGBoost-Neural Ensembles
IMDEX Limited mining technology company(IMDEX有限采矿技术公司)
本研究提出一种结合XGBoost与神经网络的自适应集成框架,借助元学习、不确定性量化及特征重要性融合实现动态模型调度,在多数据集上取得更优预测性能与可解释性。
2025-09-30 cs.AI cs.LG
Gabliteration: Adaptive Multi-Directional Neural Weight Modification for Selective Behavioral Alteration in Large Language Models
Machine Learning Research Stuttgart, Germany(斯图加特德国机器学习研究所)
Gabliteration通过适应性多方向神经权重修改技术,实现大语言模型中选择性行为改变的高效优化,提升模型性能并减少无关领域的影响。
2026-01-28 cs.AI cs.LG
AdamNODEs: When Neural ODE Meets Adaptive Moment Estimation
Yonsei University(延世大学);Oregon State University(俄勒冈州立大学);Arizona State University(亚利桑那州立大学)
Xia等人最近的工作利用了经典动量加速梯度下降的连续极限,并提出了重球神经常微分方程。虽然这种模型提供了比普通神经ODE更高的计算效率和实用性,但这种方法通常会导致内部动力学的过冲,导致模型的不稳定训练。先前的工作通过使用特别方法来解决这个问题,例如,边界的内部动态使用特定的激活函数,但得到的模型不满足精确的重球常微分方程。在这项工作中,我们提出了自适应动量估计神经常微分方程(AdamNODEs),自适应地控制加速经典的动量为基础的方法。我们发现,它的伴随状态也满足AdamODE,不需要特别的解决方案,以前的工作雇用。在评估中,我们表明AdamNODE比现有的神经ODE实现了最低的训练损失和有效性。我们还表明,AdamNODE比经典的动量神经ODE具有更好的训练稳定性。这一结果揭示了一些适应在优化社区提出的技术,以进一步改善神经ODE的训练和推理。我们的代码可在https://github.com/pmcsh04/AdamNODE上获得。
2022-07-13 cs.AI cs.LG
Adaptive tumor growth forecasting via neural & universal ODEs
Boston University(波士顿大学);Vizuara AI Labs(Vizuara人工智能实验室)
本文提出基于神经与通用微分方程的自适应肿瘤生长预测方法,通过学习实验数据提升预测精度,以指导更有效的治疗策略。
2025-11-27 cs.AI cs.LG
ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling
University of Minnesota(明尼苏达大学);ETH Zurich(苏黎世联邦理工学院)
ANCRe通过适应性神经连接重新分配,有效提升深度扩展效率,加速收敛并提高性能。
2026-11-13 cs.AI cs.LG
Efficient Neural Field Learning via Adaptive Coverage and Focused Sampling
Brookhaven National Laboratory(布鲁克海文国家实验室)
针对隐式神经表示训练中均匀采样效率低的问题,提出ACES结构化采样框架,通过自适应空间划分确保覆盖、区域级重要性加权聚焦信息丰富区域,实现更快收敛与更低误差。
2026-10-05 cs.AI cs.LG
Supervised Neural Discrete Universal Denoiser for Adaptive Denoising
Seoul National University(首尔大学)
我们改进了最近开发的神经DUDE,一个基于神经网络的自适应离散去噪器,将其与监督学习框架相结合。也就是说,我们使神经DUDE的监督预训练与基于给定的噪声数据进行去噪的参数自适应微调兼容。因此,与香草神经DUDE相比,我们实现了显着的去噪性能提升,后者仅使用随机初始化的参数执行自适应微调步骤。此外,我们表明自适应微调使算法的鲁棒性,使噪声失配或盲目训练的监督模型仍然可以实现匹配模型的性能。此外,我们做了一些算法改进,使神经DUDE更具可扩展性,并处理多维数据或具有更大字母表大小的数据。我们系统地展示了我们对两个非常不同的数据集,二进制图像和DNA序列的改进。
2021-11-24 cs.LG
EnergyNet: Energy-based Adaptive Structural Learning of Artificial Neural Network Architectures
Google Research(谷歌研究院)
我们提出了E NERGY NET,一个新的分析和构建人工神经网络架构的框架。我们的方法以无监督的方式自适应地学习网络的结构。该方法是基于能量函数的理论保证有限数量的节点的限制玻尔兹曼机(RBM)。我们目前的实验结果表明,最终的网络适应给定问题的复杂性。
2017-11-08 cs.LG
AdaNet: Adaptive Structural Learning of Artificial Neural Networks
Google Research(谷歌研究院);Courant Institute(库朗研究所)
我们提出了新的算法自适应学习人工神经网络。我们的算法(AdaNet)自适应地学习网络的结构及其权重。它们基于坚实的理论分析,包括我们详细证明和讨论的数据依赖的泛化保证。我们报告的结果与我们的算法之一,从CIFAR-10数据集提取的几个二进制分类任务的大规模实验。结果表明,我们的算法可以自动学习网络结构与非常有竞争力的性能精度相比,标准方法发现的神经网络实现。
2017-02-28 cs.LG
The Implicit Bias for Adaptive Optimization Algorithms on Homogeneous Neural Networks
Microsoft Research Asia(微软亚洲研究院)
尽管它们具有压倒性的过拟合能力,但由特定优化算法训练的深度神经网络往往能很好地推广到看不见的数据。最近,研究人员通过研究优化算法的隐式正则化效应来解释它。一个显着的进展是工作(Lyu&Li,2019),它证明了梯度下降(GD)最大化了同质深度神经网络的边缘。除了GD,AdaGrad,RMSProp和Adam等自适应算法由于其快速的训练过程而受到欢迎。然而,自适应优化算法的推广仍然缺乏理论保证。在本文中,我们研究了自适应优化算法的隐式正则化时,他们正在优化均匀的深度神经网络的逻辑损失。我们证明了在调节器中采用指数移动平均策略的自适应算法(如Adam和RMSProp)可以最大化神经网络的边缘,而在调节器中直接求和历史平方梯度的AdaGrad则不能。结果表明,指数滑动平均策略在条件器设计中具有推广的优越性。在技术上,通过构造新的自适应梯度流和替代边界,我们提供了一个统一的框架来分析自适应优化算法的收敛方向。我们的实验很好地支持了自适应优化算法收敛方向的理论发现。
2021-12-16 cs.LG
Adaptive Feedforward Gradient Estimation in Neural ODEs
Hassan First University of Settat(塞塔特哈桑一世大学)
本研究提出一种自适应前馈梯度估计方法,通过消除反向传播和伴随方法来提升Neural ODEs的效率与可解释性,同时保持准确率。
2024-09-22 cs.LG
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol(布里斯托大学)
我们将神经网络优化问题表述为贝叶斯滤波,其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究,但他们无法使用均方根梯度归一化器恢复标准优化器,如Adam和RMSprop,而是得到均方归一化器。为了恢复均方根归一化,我们发现有必要考虑所有其他参数的时间动态,因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换,自动恢复AdamW,这是Adam的最新变体,具有解耦的权重衰减,并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University(首尔国立大学)
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时,即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法,估计量化步长动态再训练过程中。此外,还测试了一种渐进量化方案,该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络(FFDNN)、卷积神经网络(CNN)和递归神经网络(RNN)进行实验。
2017-02-27 cs.LG
Adaptive Wind Driven Optimization Trained Artificial Neural Networks
Schlumberger-Doll Research Center(斯伦贝谢-多尔研究中心)
本文介绍了一种新开发的自然启发式优化方法,即自适应风驱动优化(AWDO),前馈人工神经网络(NN)的训练的应用,并提出了对AWDO实现在深度学习(DL)的未来研究的讨论。MNIST数据集数字分类的应用实例揭示了无导数AWDO方法与最速下降方法相比的有趣行为,其中讨论了在深度神经网络中实现AWDO的结果和未来工作。
2019-11-20 cs.LG stat.ML
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation
KAIST(韩国科学技术院);AITRICS(艾崔克斯)
我们提出了一种方法来自动生成一个域和任务自适应掩码的自监督预训练的给定文本,这样我们就可以有效地适应特定的目标任务(例如问答)的语言模型。具体而言,我们提出了一种新的基于强化学习的框架,该框架学习掩蔽策略,使得使用生成的掩码对目标语言模型进行进一步的预训练有助于提高对未见过文本的任务性能。我们使用非策略的actor-critic与熵正则化和经验重放进行强化学习,并提出了一个基于transformer的策略网络,可以考虑给定文本中单词的相对重要性。我们使用BERT和DistilBERT作为语言模型,通过自动学习最佳自适应掩码,在几个问答和文本分类数据集上验证了我们的神经掩码生成器(NMG),在这些数据集上,它优于基于规则的掩码策略。
2020-10-06 cs.AI cs.CL cs.LG
Adaptive Neural Architectures for Recommender Systems
Maastricht University(马斯特里赫特大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
事实证明,深度学习是捕捉用户偏好非线性关联的有效手段。然而,现有深度学习架构的主要缺点是它们遵循固定的推荐策略,忽略了用户的实时的反馈。深度强化策略的最新进展表明,当用户与系统交互时,推荐策略可以不断更新。在这样做的过程中,我们可以学习适合用户对推荐会话的偏好的最佳策略。深度强化策略的主要缺点是基于预定义和固定的神经架构。为了阐明如何处理这个问题,在这项研究中,我们首先提出了深度强化学习的推荐策略,并讨论了由于固定的神经架构的主要限制。然后,我们详细介绍了渐进式神经架构的最新进展如何用于其他研究领域的连续任务。最后,我们提出了填补深度强化学习和自适应神经架构之间差距的关键挑战。我们提供了通过强化学习基于每个用户反馈搜索最佳神经架构的指导方针,同时考虑实时推荐的预测性能和模型复杂性。
2020-11-11 cs.AI cs.IR cs.LG
Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers
自适应精度训练:用固定点数量化神经网络中的反向传播。最近出现的量化技术已被应用于深度神经网络的推理,以实现快速有效的执行。然而,在训练中直接应用量化可能会导致显著的准确性损失,因此仍然是一个开放的挑战。
2020-03-05 cs.CV cs.LG
Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions
Brown University(布朗大学);Harvard University(哈佛大学)
我们提出了一种新型的神经网络,克罗内克神经网络(KNN),形成了一个通用的框架,神经网络的自适应激活函数。KNN使用Kronecker乘积,它提供了一种有效的方法来构建一个非常广泛的网络,同时保持参数的数量很低。我们的理论分析表明,在适当的条件下,KNN诱导的损失比前馈网络的衰减更快。这也通过一组计算实例进行了经验验证。此外,在一定的技术假设下,我们建立了KNN的梯度下降的全局收敛性。作为一个特定的情况下,我们提出了Rowdy激活函数,旨在摆脱任何饱和区域注入正弦波动,其中包括可训练的参数。所提出的Rowdy激活函数可以用于任何神经网络结构,如前馈神经网络、递归神经网络、卷积神经网络等。通过各种计算实验,包括使用前馈神经网络的函数逼近,使用物理信息神经网络的偏微分方程的解推理,以及使用卷积和全连接神经网络的标准深度学习基准问题。
2021-10-19 cs.LG
A Self-Adaptive Penalty Method for Integrating Prior Knowledge Constraints into Neural ODEs
University of Minho(米尼奥大学);University of Porto(波尔图大学)
针对神经常微分方程建模需遵循自然系统规则的需求,提出可动态调整参数的自适应惩罚算法,融入先验知识提升可解释性,经三类自然系统实验验证,该方法比现有方法更准确鲁棒。
2024-03-05 cs.LG math.OC
Learning to Generate Questions with Adaptive Copying Neural Networks
Carleton University(卡尔顿大学)
问句自动生成是自然语言处理中的一个重要问题。在本文中,我们提出了一种新的自适应复制递归神经网络模型,以解决问题的生成从句子和段落。该模型在双向LSTM架构上增加了一个复制机制组件,以自适应地从输入数据中生成更合适的问题。我们的实验结果表明,该模型可以优于国家的最先进的问题生成方法在BLEU和ROUGE的评价分数。
2019-09-17 cs.CL cs.LG stat.ML
Global Convergence of Adaptive Gradient Methods for An Over-parameterized Neural Network
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学)
AdaGrad等自适应梯度方法广泛用于优化神经网络。然而,现有的自适应梯度方法的收敛保证要求凸性或光滑性,并且在光滑设置中,仅保证收敛到一个稳定点。我们提出了一种自适应梯度方法,并表明,对于两层过参数化神经网络-如果宽度足够大(多项式)-那么所提出的方法收敛\emph{to the global minimum}在多项式时间,收敛是强大的,\emph{ without the need to fine-tune hyper-parameters such as the step-size schedule and with the level of over-parametrization independent of the training error}。我们的分析特别表明,过度参数化对于在神经网络环境中充分发挥自适应梯度方法的潜力至关重要。
2019-10-19 cs.LG math.OC stat.ML
Neural-Network Heuristics for Adaptive Bayesian Quantum Estimation
Eberhard-Karls-Universität Tübingen(图宾根大学);The University of Nottingham(诺丁汉大学);University of Oxford(牛津大学)
量子精密测量承诺前所未有的测量精度,但在实践中受到诸如探针数量、它们的相干时间或非经典量子态的资源的有限可用性的影响。参数估计的自适应贝叶斯方法由于自适应实验设计而允许有效地利用资源。对于它的实际成功,贝叶斯更新和自适应实验设计的快速数值解是至关重要的。在这里,我们展示了神经网络可以通过进化策略和强化学习的结合来训练成为快速而强大的实验设计算法。神经网络算法的性能优于已建立的算法的技术上重要的例子的频率估计的量子比特,遭受失相。我们创建神经网络的方法是非常普遍的,并补充了研究的贝叶斯更新的顺序蒙特卡罗方法,形成一个完整的框架,自适应贝叶斯量子估计。
2021-04-07 cs.LG quant-ph
Closing the Generalization Gap of Adaptive Gradient Methods in Training Deep Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Ohio State University(俄亥俄州立大学);University of Virginia(弗吉尼亚大学)
自适应梯度方法采用历史梯度信息来自动调整学习率,尽管具有快速收敛的良好特性,但在训练深度神经网络时,已观察到比具有动量的随机梯度下降(SGD)更差的泛化能力。这使得如何缩小自适应梯度方法的泛化差距成为一个悬而未决的问题。在这项工作中,我们表明,自适应梯度方法,如亚当,Amsgrad,有时是“过适应”。我们设计了一种新的算法,称为部分自适应动量估计方法,它通过引入部分自适应参数$p$,将Adam/Amsgrad和SGD统一起来,以达到两个世界的最佳效果。我们还证明了我们所提出的算法收敛到一个平稳点的随机非凸优化设置。在标准基准测试上的实验表明,该算法在训练深度神经网络时,在泛化能力和SGD能力上都能保持Adam/Amsgrad的快速收敛速度。这些结果将建议从业者再次采用自适应梯度方法来更快地训练深度神经网络。
2020-06-23 cs.LG stat.ML
Unintended Effects on Adaptive Learning Rate for Training Neural Network with Output Scale Change
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(国立信息学研究所)
一个乘法常数缩放因子通常应用于模型输出,以调整神经网络参数的动态。这已被用作懒惰和积极行为的实证研究中的关键干预措施之一。然而,我们表明,这种缩放和常用的自适应学习率优化器的组合强烈影响的神经网络的训练行为。这是有问题的,因为它会导致神经网络的\emph{unintended behavior},导致对实验结果的误解。具体地,对于某些缩放设置,自适应学习率的效果消失或受到缩放因子的强烈影响。为了避免意想不到的效果,我们提出了一种修改的优化算法,并证明显着的差异自适应学习率优化和简单的梯度下降,特别是与一个小的($<1.0$)缩放因子。
2021-07-02 cs.LG stat.ML
Epistemic Modeling Uncertainty of Rapid Neural Network Ensembles for Adaptive Learning
Wright State University(莱特州立大学);Air Force Institute of Technology(空军技术学院)
本文提出一种基于快速神经网络范式的仿真器嵌入式神经网络,通过线性回归仅训练最后一层权重以实现近乎瞬时的集成训练,从而高效评估认知建模不确定性,支撑航空航天系统设计中的自适应学习。
2023-09-12 cs.LG
ASAT: Adaptively Scaled Adversarial Training in Time Series
Peking University(北京大学);Mizuho Securities Co., Ltd(瑞穗证券株式会社)
对抗性训练是一种增强神经网络以提高对抗性样本的鲁棒性的方法。对抗训练除了可以解决潜在对抗样本的安全问题外,还可以提高神经网络的泛化能力,训练鲁棒的神经网络,并为神经网络提供可解释性。在这项工作中,我们引入对抗训练的时间序列分析,以提高神经网络更好的泛化能力,以金融领域为例。在反思现有对抗性训练研究的基础上,提出了时间序列分析中的自适应尺度对抗性训练(ASAT),通过自适应尺度对不同时间段的数据进行重新尺度化。实验结果表明,与基线相比,该算法可以提高神经网络的泛化能力和对抗鲁棒性。与传统的对抗训练算法相比,ASAT算法具有更好的泛化能力和相似的对抗鲁棒性。
2022-12-20 cs.LG
Adaptive Cost-Sensitive Learning in Neural Networks for Misclassification Cost Problems
Bar-Ilan University(巴伊兰大学)
我们设计了一个新的自适应学习算法的误分类成本问题,试图减少成本的误分类实例的各种错误的后果。我们的算法(自适应成本敏感学习- AdaCSL)自适应地调整损失函数,使得分类器桥接训练和测试数据集中具有相似预测概率的样本的子组之间的类分布之间的差异(即,局部训练-测试类分布不匹配)。我们提供了一些理论上的性能保证所提出的算法,并提出经验证据表明,一个深神经网络与建议的AdaCSL算法产生更好的成本结果的几个二进制分类数据集,类不平衡和类平衡的分布相比,其他替代方法。
2021-11-14 cs.LG stat.ML
Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling
LAMSADE CNRS, Dauphine University-PSL(巴黎文理研究大学多芬分校,法国国家科学研究中心LAMSADE实验室);ESPCI-PSL(巴黎文理研究大学高等物理化学学院)
神经常微分方程是近年来提出的一类新的神经网络模型,它依赖于黑箱常微分方程求解器进行推理和训练。一些称为自适应的ODE求解器可以根据手头问题的复杂性调整其评估策略,从而为机器学习开辟了广阔的前景。然而,本文描述了一组简单的实验来说明为什么自适应求解器不能无缝地用作动态系统建模的黑盒。以Lorenz'63系统为例,我们证明了Fehlberg方法的简单应用不会产生预期的结果。此外,提出了一个简单的解决方案,假设求解器和训练策略之间的交互更紧密。代码可以在github上找到:https://github.com/Allauzen/adaptive-step-size-neural-ode
2022-11-13 cs.LG nlin.CD
White-Box Neural Ensemble for Vehicular Plasticity: Quantifying the Efficiency Cost of Symbolic Auditability in Adaptive NMPC
本文提出一种白盒自适应NMPC架构,通过模块主权范式实现车辆塑性,量化了符号可审计性在自适应控制中的效率成本。
2026-02-02 cs.AI cs.LG cs.SY
Training Neural Networks as Learning Data-adaptive Kernels: Provable Representation and Approximation Benefits
University of Chicago(芝加哥大学)
考虑一下这个问题:给定从具有$f_*(x) = \mathbf{E}[\mathbf{y} | \mathbf{x} = x]$的总体中提取的数据对$(\mathbf{x}, \mathbf{y})$,指定一个神经网络模型,并随时间对权重运行梯度流,直到达到任何平稳性。$f_t$,即神经网络在时间$t$计算的函数,在近似和表示方面与$f_*$有什么关系?神经网络的自适应表示与经典非参数文献中预先指定的固定基表示相比,有哪些可证明的好处?我们回答了上述问题,通过动态再生核希尔伯特空间(RKHS)的方法索引的神经网络的训练过程。首先,我们证明了当达到任何局部平稳性时,梯度流学习自适应RKHS表示,并同时将全局最小二乘投影到自适应RKHS上。其次,我们证明了RKHS是数据自适应和特定于任务的,残差$f_*$位于一个子空间,这是潜在的比RKHS的正交补小得多。该结果形式化了神经网络的表示和逼近优点。最后,我们证明了梯度流计算的神经网络函数在正则化消失的极限下收敛于具有自适应核的核无岭回归。自适应核的观点为研究神经网络的逼近、表示、推广和优化等优点提供了新的视角。
2019-07-23 cs.LG math.ST stat.ML
Adaptive optics with reflected light and deep neural networks
光的散射和像差限制了生物组织的光学显微术,这促使了自适应光学技术的发展。在这里,我们开发了一种用于自适应光学的方法,该方法具有与epi检测配置兼容的反射光和深度神经网络。产生由激发和检测路径像差以及相应的反射聚焦图像组成的样品像差的大数据集。这些数据集用于训练深度神经网络。经过训练后,这些网络可以基于从散射样品记录的反射光图像来解开并独立地校正激发和检测像差。类似的深度学习方法也可以通过散射引导星来演示。使用双光子成像验证了预测的像差校正。
2020-04-09 cs.LG eess.IV physics.optics
Trainable Adaptive Activation Function Structure (TAAFS) Enhances Neural Network Force Field Performance with Only Dozens of Additional Parameters
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所 处理器国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
提出可训练自适应激活函数结构(TAAFS),通过为非线性激活选择不同数学公式,仅增加数十个参数即可显著提升神经网络力场精度,并经多种模型和DeepMD分子动力学模拟验证有效。
2024-12-19 cs.LG
Adaptive Tabu Dropout for Regularization of Deep Neural Network
United International University(联合国际大学);Brac University(BRAC大学)
本文提出自适应禁忌丢弃机制,通过禁忌任期和基于训练表现自动选择任期来增强深度神经网络正则化的多样性,实验证明其优于标准丢弃和基本禁忌丢弃。
2024-12-31 cs.LG
Weather-Adaptive Multi-Step Forecasting of State of Polarization Changes in Aerial Fibers Using Wavelet Neural Networks
Nokia Bell Labs(诺基亚贝尔实验室);Nokia(诺基亚)
本文提出一种天气自适应方法,结合离散小波变换与天气数据,对架空光纤中的多尺度偏振态变化进行多步预测,在RMSE和MAPE上分别比基线提升65%和63%。
2024-09-05 cs.LG cs.NI
AdaCap: An Adaptive Contrastive Approach for Small-Data Neural Networks
Université Paris Dauphine-PSL - CEREMADE(巴黎Dauphine-PSL大学 - CEREMADE);Ecole Polytechnique - CMAP(巴黎高等理工学院 - CMAP)
AdaCap通过结合对比损失与闭式输出映射,提升小样本情况下神经网络的性能,特别是在残差模型中表现突出。
2025-11-25 cs.LG
SAMix: Calibrated and Accurate Continual Learning via Sphere-Adaptive Mixup and Neural Collapse
本文提出SAMix方法,通过球形自适应混合策略提升持续学习模型的校准与性能,减少过自信并提高准确性。
2026-04-22 cs.LG
LALR: Theoretical and Experimental validation of Lipschitz Adaptive Learning Rate in Regression and Neural Networks
BITS Pilani(比尔拉科学技术学院);PES University(PES大学);ML Square(ML平方)
我们提出了一个理论框架的平均绝对误差损失函数和分位数损失函数的自适应学习率政策,并评估其有效性回归任务。该框架基于Lipschitz连续性理论,特别是利用损失函数的学习率和Lipschitz常数之间的关系。基于实验,我们发现自适应学习率策略与恒定学习率策略相比,收敛速度快20倍。
2020-05-19 cs.LG stat.ML
Adaptive Correction for Ensuring Conservation Laws in Neural Operators
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK(应用数学与理论物理系,剑桥大学);Department of Mathematical Sciences, University of Bath, UK(数学科学系,巴斯大学)
本文提出了一种自适应校正方法,用于确保神经算子输出的守恒定律,提高了模型的准确性和稳定性。
2026-03-07 cs.LG
Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition
MILA(米拉研究所);Université de Montréal(蒙特利尔大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
层归一化是最近引入的一种技术,用于对深度神经网络中的神经元活动进行归一化,以提高训练速度和稳定性。在本文中,我们介绍了一种新的层归一化技术称为动态层归一化(DLN)的自适应神经声学建模在语音识别。通过在层归一化中动态生成缩放和移位参数,DLN使神经声学模型适应于由诸如扬声器、信道噪声和环境等各种因素引起的声学变化。与其他自适应声学模型不同,我们提出的方法不需要额外的自适应数据或扬声器信息,如i向量。此外,模型大小是固定的,因为它动态地生成自适应参数。我们将我们提出的DLN应用于深度双向LSTM声学模型,并在大词汇量ASR实验的两个基准数据集上进行评估:WSJ和TED-LIUM版本2。实验结果表明,我们的DLN提高了神经声学模型的转录准确性,通过动态适应各种扬声器和环境。
2017-07-19 cs.CL cs.LG
AdaBits: Neural Network Quantization with Adaptive Bit-Widths
ByteDance Inc.(字节跳动公司)
具有自适应配置的深度神经网络由于在具有不同资源预算的平台上即时和灵活地部署这些模型而受到越来越多的关注。在本文中,我们研究了一种新的选择,以实现这一目标,使自适应位宽的权重和激活模型。我们首先检查了使用自适应比特宽度训练量化模型的好处和挑战,然后实验了几种方法,包括直接自适应、渐进训练和联合训练。我们发现,联合训练能够在自适应模型上产生与单个模型相当的性能。我们进一步提出了一种新的技术,称为可切换限幅电平(S-CL),以进一步提高量化模型在最低位宽。通过将我们提出的技术应用于包括MobileNet-V1/V2和ResNet-50在内的一系列模型,我们证明了权重和激活的位宽是自适应可执行深度神经网络的一个新选择,为改进准确性-效率权衡以及根据实际应用中的平台约束进行即时适应提供了一个独特的机会。
2020-03-15 cs.CV cs.LG cs.NE
Learn2Mix: Training Neural Networks Using Adaptive Data Integration
Duke University(杜克大学)
本文提出 learn2mix 训练策略,通过自适应调整批次内类别比例并聚焦高错误率类别,在资源受限和类别不平衡条件下加速神经网络收敛,并在分类、回归和重建任务上取得更优结果。
2025-10-23 cs.LG stat.ML