Finite-Sample Approximation of Hessian-Guided Perturbed Wasserstein Gradient Flows
The University of Tokyo（东京大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
该研究分析Hessian引导的扰动Wasserstein梯度流在有限粒子逼近下的跟踪准确性，证明在累积曲率条件下可实现增长时间范围的可靠逼近，并在多个模型中验证了相关条件。
2026-10-08 cs.LG stat.ML
Growing Networks with Autonomous Pruning
INSA Lyon, CNRS, Ecole Centrale de Lyon, Universite Claude Bernard Lyon 1, Université Lumière Lyon 2, LIRIS, UMR5205（里昂国立应用科学学院、国家科学研究中心、里昂中央理工学院、克莱尔伯恩大学里昂1分校、里昂2大学、LIRIS、UMR5205）
本文提出GNAP用于图像分类，通过生长和剪枝机制动态调整网络规模和参数，实现稀疏高精度模型。实验显示在MNIST和CIFAR10上均取得高准确率。
2026-03-20 cs.CV cs.LG
Simple2Complex: Global Optimization by Gradient Descent
提出了一种名为simple2complex的深度神经网络建模和训练方法。Simple2Complex训练深层神经网络是通过在浅层网络上平滑地添加越来越多的层来实现的，随着学习过程的进行，网络就像在生长。与end2end学习方法相比，simple2complex算法陷入局部极小的可能性更小，即具有全局寻优的能力。Cifar10用于验证simple2complex的优越性。
2016-05-02 cs.LG cs.NE
Dynamically Grown Generative Adversarial Networks
Amazon（亚马逊）
最近的工作引入了渐进式网络增长作为一种有前途的方法来简化大型GANs的训练，但模型设计和架构增长策略仍然没有得到充分的探索，并且需要针对不同的图像数据进行手动设计。在本文中，我们提出了一种在训练过程中动态增长GAN的方法，优化网络架构及其参数并自动化。该方法嵌入架构搜索技术作为基于梯度的训练的交错步骤，以周期性地为生成器和迭代器寻求最佳架构增长策略。它既享受了渐进式增长带来的轻松训练，又享受了更广阔的架构设计空间带来的性能提升。实验结果表明，新的国家的最先进的图像生成。搜索过程中的观察也为GAN模型设计提供了建设性的见解，例如生成器-卷积层平衡和卷积层选择。
2021-06-16 cs.CV cs.LG eess.IV
FGGP: Fixed-Rate Gradient-First Gradual Pruning
针对渐进式剪枝中参数选择机制的重要性，提出固定比率梯度优先的FGGP方法，在CIFAR-10上优于现有方法，甚至超越稠密网络上限。
2024-11-08 cs.CV cs.LG
Fishr: Invariant Gradient Variances for Out-of-Distribution Generalization
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
学习在数据分布变化下很好地泛化的鲁棒模型对于现实世界的应用至关重要。为此，人们越来越有兴趣从多个训练领域同时学习，同时在这些领域中实施不同类型的不变性。然而，所有现有的方法都未能显示出在控制评价协议下的系统效益。在本文中，我们引入了一种新的正则化-名为Fishr -在损失的梯度空间中强制域不变性：具体来说，梯度的域级方差在训练域中匹配。我们的方法是基于梯度协方差，Fisher信息和Hessian之间的密切关系的损失：特别是，我们表明，Fishr最终对齐域级损失景观本地周围的最终权重。大量的实验证明了Fishr对分布外泛化的有效性。值得注意的是，Fishr改进了DomainBed基准测试的最新技术水平，并且始终优于经验风险最小化。我们的代码可在https://github.com/alexrame/fishr上获得。
2022-06-01 cs.AI cs.CV cs.LG
Proactive Gradient Conflict Mitigation in Multi-Task Learning: A Sparse Training Perspective
University of Amsterdam（阿姆斯特丹大学）；Peking University（北京大学）；Tsinghua University（清华大学）
针对多任务学习中梯度冲突导致任务竞争的问题，提出基于稀疏训练的主动缓解策略，仅更新部分参数以减少冲突，实验证明其性能更优且可与梯度操纵技术集成提升效果。
2024-11-27 cs.AI cs.CV cs.LG
Progressive-Growing of Generative Adversarial Networks for Metasurface Optimization
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
生成对抗网络可以基于高性能设备布局的训练集生成元表面，有可能显着降低元表面设计过程的计算成本。然而，基本的GAN架构无法完全捕获拓扑复杂的元表面的详细特征，因此生成的设备需要额外的计算昂贵的设计细化。在这封信中，我们证明了GANs可以通过逐步增长其网络架构和训练集，从高分辨率训练数据中更好地学习空间精细特征。我们的研究结果表明，与这种训练方法，最好的生成设备的性能相比，以及基于梯度的拓扑优化产生的最佳设备，从而消除了额外的设计细化的需要。我们设想，这种网络训练方法可以推广到其他物理系统，其中设备性能与精细几何结构密切相关。
2019-12-02 cs.LG eess.IV physics.app-ph
LLM Unlearning using Gradient Ratio-Based Influence Estimation and Noise Injection
提出GRIN框架，通过梯度比例识别记忆参数并选择性注入噪声，实现LLM有效遗忘且保持模型效用。
2025-08-08 cs.LG
Training Neural Networks Without Gradients: A Scalable ADMM Approach
United States Naval Academy（美国海军学院）；University of Maryland, College Park（马里兰大学帕克分校）；Rice University（莱斯大学）
随着大型网络模型和庞大训练数据集的重要性日益增加，GPU对于训练神经网络变得越来越必要。这在很大程度上是因为传统的优化算法依赖于随机梯度方法，这些方法不能很好地扩展到集群设置中的大量核心。此外，所有梯度方法（包括批处理方法）的收敛性都受到饱和效应、条件差和鞍点等常见问题的影响。本文探讨了一种非传统的训练方法，使用交替方向法和Bregman迭代训练网络没有梯度下降的步骤。该方法将网络训练问题简化为一系列最小化子步骤，每个子步骤都可以以封闭形式全局求解。所提出的方法是有利的，因为它避免了许多的警告，使梯度方法在高度非凸问题缓慢。该方法在分布式环境中表现出很强的可伸缩性，即使在数千个核心上分裂时也能产生线性加速比。
2016-05-06 cs.LG
Momentum Gradient Descent Federated Learning with Local Differential Privacy
当今社会，信息技术的发展日新月异。在大数据时代，个人信息的隐私问题更加突出。主要的挑战是找到一种方法来保证在发布和分析数据时不泄露敏感的个人信息。集中式差分隐私建立在可信第三方数据管理者的假设之上。然而，这一假设在现实中并不总是正确的。局部差分隐私作为一种新的隐私保护模型，具有较强的隐私保护能力。虽然联邦学习相对而言是一种分布式学习的隐私保护方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低通信成本，在本文中，我们提出将联邦学习和局部差分隐私与动量梯度下降相结合，以提高机器学习模型的性能。
2022-10-14 cs.LG
Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training
University of Pittsburgh（匹兹堡大学）
在计算机视觉应用中，梯度的通信对于用多个设备训练深度神经网络是昂贵的。特别是，深度学习模型的规模不断增长导致更高的通信开销，这违背了关于设备数量的理想线性训练加速。梯度量化是降低通信开销的常用方法之一。然而，它会导致量化误差的训练和模型性能下降。本文推导了\textbf{ANY}梯度分布的二值和多值梯度量化的最佳条件。基于最优条件，我们提出了两种新的量化方案：有偏BinGrad和无偏ORQ，分别用于二值和多级梯度量化，动态确定最优量化级别。在CIFAR和ImageNet数据集上使用几种流行的卷积神经网络进行的实验结果表明了我们所提出的方法的优越性。
2020-02-25 cs.DC cs.LG stat.ML
An Empirical Study on Compressed Decentralized Stochastic Gradient Algorithms with Overparameterized Models
The Chinese University of Hong Kong（香港中文大学）
本文考虑分散优化与应用到图上的机器学习。神经网络（NN）模型的规模不断增长，促使分散式随机梯度算法的先前工作，以纳入通信压缩。另一方面，最近的工作已经证明了良好的收敛性和推广性能的过参数化神经网络。在这项工作中，我们提出了一个实证分析的压缩分散随机梯度（DSG）算法与过参数化神经网络的性能。通过在MPI网络环境下的仿真，我们观察到流行的压缩DSG算法的收敛速度对神经网络的大小具有鲁棒性。我们的研究结果表明，在现有文献中的压缩DSG算法的理论和实践之间的差距。
2021-10-09 cs.DC cs.LG math.OC
Learning by Transference: Training Graph Neural Networks on Growing Graphs
University of Pennsylvania（宾夕法尼亚大学）
图神经网络（GNN）使用图卷积来利用网络不变性并从网络数据中学习有意义的特征表示。然而，在大规模图卷积招致高计算成本，导致可扩展性的限制。利用图子-图的极限对象-在本文中，我们考虑学习图子神经网络（WNN）-GNN的极限对象-通过在从图子采样的图上训练GNN的问题。在光滑条件下，我们证明了：（i）GNN和WNN上的学习步骤之间的预期距离随着图的大小渐近减小，以及（ii）当在一系列增长图上训练时，梯度下降遵循WNN的学习方向。受这些结果的启发，我们提出了一种新的算法来学习大规模图上的GNN，从中等数量的节点开始，在训练过程中逐渐增加图的大小。该算法进一步基准上的分散控制的问题，在那里它保留了相当的性能，其大规模的对应，以减少计算成本。
2022-06-27 cs.LG eess.SP
Always-Sparse Training by Growing Connections with Guided Stochastic Exploration
Department of Computer Science, University of California, Irvine（加州大学 Irvine 分校计算机科学系）；Intel Labs（英特尔实验室）
提出一种具有线性时间复杂度且能扩展到更大更稀疏模型的始终稀疏训练算法，并引入引导随机探索机制提升准确率，在多个数据集和模型上验证了其有效性。
2025-04-30 cs.LG
MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks
TomTom（TomTom公司）；Adobe Research（奥多比研究院）
虽然生成对抗网络（GANs）在图像合成任务中取得了巨大的成功，但它们很难适应不同的数据集，部分原因是训练过程中的不稳定性和对超参数的敏感性。这种不稳定性的一个普遍接受的原因是，当真实分布和伪分布的支持没有足够的重叠时，从递归函数传递到生成器的梯度变得没有信息。在这项工作中，我们提出了多尺度梯度生成对抗网络（MSG-GAN），这是一种简单但有效的技术，通过允许梯度在多个尺度上从梯度流到生成器来解决这个问题。该技术为高分辨率图像合成提供了一种稳定的方法，并作为常用的渐进生长技术的替代方案。我们证明了MSG-GAN在不同大小，分辨率和域的各种图像数据集上稳定收敛，以及不同类型的损失函数和架构，所有这些都具有相同的固定超参数集。与最先进的GANs相比，我们的方法在我们尝试的大多数情况下都能达到或超过性能。
2020-06-12 cs.CV cs.LG stat.ML
Cross-regularization: Adaptive Model Complexity through Validation Gradients
NightCity Labs（夜城实验室）
本文提出交叉正则化方法，利用验证梯度在训练中自适应调整正则化参数，平衡复杂度与过拟合，并证明其收敛到交叉验证最优，同时支持数据增强和不确定性校准。
2025-06-24 cs.AI cs.LG math.ST
Boosting Gradient for White-Box Adversarial Attacks
Xidian University（西安电子科技大学）
深度神经网络（DNN）在各种人工智能应用中发挥着关键作用，例如图像分类和对象识别。然而，越来越多的研究表明，DNN中存在对抗性样本，这些样本与原始样本几乎没有什么不同，但可以极大地改变网络输出。现有的白盒攻击算法可以生成强大的对抗性示例。然而，大多数算法都集中在如何迭代地最好地利用梯度来提高对抗性能。相比之下，在本文中，我们专注于广泛使用的ReLU激活函数的性质，并发现存在两种现象（即，错误的阻塞和过度传输）在反向传播期间误导ReLU中的梯度计算。这两个问题都扩大了梯度的损失函数的预测变化与相应的实际变化之间的差异，并误导梯度，导致更大的扰动。因此，我们提出了一种通用的对抗性示例生成方法，称为ADV-ReLU，以增强基于梯度的白盒攻击算法的性能。在网络的反向传播过程中，我们的方法计算损失函数相对于网络输入的梯度，将值映射到分数，并选择其中的一部分来更新误导梯度。在\emph{ImageNet}上的综合实验结果表明，我们的ADV-ReLU可以很容易地集成到许多最先进的基于梯度的白盒攻击算法中，以及转移到黑盒攻击者，以进一步减少${\ell _2}$范数的扰动。
2020-10-21 cs.CR cs.CV cs.LG
Low-Variance Forward Gradients using Direct Feedback Alignment and Momentum
University of Kent（肯特大学）
针对深度神经网络反向传播可扩展性差、前向模式自动微分方法高方差影响收敛的问题，提出结合活动扰动前向梯度、直接反馈对齐与动量的前向直接反馈对齐算法，经理论与实验验证其方差更低、收敛更快、性能更优，为神经形态兼容的在线学习算法提供新思路。
2023-08-21 cs.LG
Restricted Orthogonal Gradient Projection for Continual Learning
Tsinghua University（清华大学）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；International Innovation Center of Tsinghua University（清华大学国际创新中心）；Quan Cheng Laboratory（泉城实验室）
持续学习的目的是避免灾难性遗忘，并有效地利用学到的经验来掌握新知识。现有的梯度投影方法对新任务的优化空间施加了硬约束，以最大限度地减少干扰，同时阻碍了向前的知识转移。为了解决这个问题，最近的方法重复使用冻结参数与不断增长的网络，导致高计算成本。因此，它仍然是一个挑战，我们是否可以提高前向知识转移梯度投影方法使用固定的网络架构。在这项工作中，我们提出了限制正交梯度投影（ROGO）框架。其基本思想是采用一个受约束的正交约束，允许参数优化的方向倾斜于整个冻结空间，以促进向前的知识转移，同时巩固以前的知识。我们的框架既不需要数据缓冲区，也不需要额外的参数。大量的实验已经证明了我们的框架在几个强大的基线的优越性。为我们的放松策略提供了理论保证。
2023-01-28 cs.LG
Fast Learning Rate Transfer in Shallow Linear Networks at Growing Training Horizons
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）；Kyoto University（京都大学）
本文研究浅层线性网络在训练时域随宽度增长时的学习率快速迁移，证明在特定谱假设下迁移成立，并刻画了迁移速率及极限分布。
2026-09-29 cs.LG stat.ML
Progressive Gradient Pruning for Classification, Detection and DomainAdaptation
LIVIA, Dept. of Systems Engineering（LIVIA系统工程系）；Ecole de Technologie Superieur（高等技术学院）；Genetec Inc.（杰纳泰克公司）
尽管深度神经网络（NN）在许多视觉识别任务中具有最先进的准确性，但网络的日益增长的计算复杂性和能耗仍然是一个问题，特别是对于资源有限且需要实时处理的平台上的应用。滤波器修剪技术最近在卷积神经网络（CNN）的压缩和加速方面显示出了很好的效果。然而，这些技术涉及众多的步骤和复杂的优化，因为一些只修剪后训练CNN，而其他修剪从头开始在训练过程中，通过集成稀疏约束或修改损失函数。本文提出了一种新的渐进式修剪（PGP）技术迭代过滤器修剪在训练过程中。与以往的渐进式剪枝技术相比，该方法依赖于一种新的滤波器选择准则，该准则衡量滤波器权重的变化，采用一种新的软硬剪枝策略，并在后向传播过程中有效地自适应动量张量。在图像数据上训练各种CNN进行分类，目标检测和域自适应基准测试后获得的实验结果表明，与PSFP和其他最先进的过滤器修剪技术相比，PGP技术可以在分类精度和网络（时间和内存）复杂度之间取得更好的平衡。
2020-02-25 cs.CV cs.LG stat.ML
Solon: Communication-efficient Byzantine-resilient Distributed Training via Redundant Gradients
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Wisconsin（威斯康星大学）
在分布式模型训练中提供拜占庭弹性的需求越来越大。现有的鲁棒分布式学习算法主要关注于在参数服务器上开发复杂的鲁棒聚集器，而对通信开销和鲁棒性的平衡关注较少。在本文中，我们提出了梭伦，一个算法框架，利用梯度冗余，同时提供通信效率和拜占庭鲁棒性。我们的理论分析表明，计算负载，通信成本和拜占庭鲁棒性之间的基本权衡。我们还开发了一个具体的算法，以实现最佳的权衡，借用编码理论和稀疏恢复的想法。在各种数据集上的实验表明，Solon在现有方法上提供了显着的加速，以达到相同的精度，比Bulyan快10倍以上，比Draco快80%。我们还表明，精心设计的拜占庭攻击打破Signum和Bulyan，但不影响梭伦的成功收敛。
2021-10-09 cs.DC cs.LG
AutoJoin: Efficient Adversarial Training against Gradient-Free Perturbations for Robust Maneuvering via Denoising Autoencoder and Joint Learning
University of Tennessee（田纳西大学）；University of Memphis（孟菲斯大学）；University of Maryland（马里兰大学）
AutoJoin通过附加解码器形成去噪自编码器，联合学习操控与去噪任务，实现高效无梯度对抗训练，在500万图像测试中性能提升高达40%，训练时间节省86%。
2024-11-04 cs.CV cs.LG cs.RO
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
由于训练数据集规模的爆炸式增长，分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的，在减少通信成本与随机梯度下降（SGD），有很少的尝试，在建立通信有效的自适应梯度方法与可证明的保证，这是广泛用于训练大规模机器学习模型。在本文中，我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题，这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点，具有相同的迭代复杂度，未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
Teleportation With Null Space Gradient Projection for Optimization Acceleration
Duke University（杜克大学）
针对 teleportation 难扩展至 CNN、Transformer 且计算成本高的问题，提出将 teleportation 目标梯度投影到输入零空间的算法，在保持损失不变的同时降低开销并验证了广泛适用性。
2025-02-17 cs.LG
Hybrid Gradient Boosting Trees and Neural Networks for Forecasting Operating Room Data
University of Washington（华盛顿大学）
时间序列数据构成了机器学习中一个独特且不断增长的问题。随着时间序列数据的语料库变得越来越大，同时学习特征并使用这些特征进行分类的深度模型可能是棘手的或次优的。在本文中，我们提出了通过长短期记忆（LSTM）网络进行特征学习和通过梯度提升树（XGB）进行预测。针对电子健康记录数据的后续设置，我们根据过去的特征预测未来5分钟低氧血症的发生。我们提出两点意见：1）长短期记忆网络在基于单个特征捕获长期依赖性方面是有效的，以及2）梯度提升树能够可追踪地组合大量特征，包括像高度和重量的静态特征。考虑到这些观察结果，我们通过使用LSTM网络执行“监督”表示学习来生成特征。使用这些特性增强原始XGB模型可以提供比任何一种单独方法更好的性能。
2018-01-24 cs.AI cs.LG stat.ML
An exponentially-growing family of universal quantum circuits
Terra Quantum AG（泰拉量子股份公司）
针对量子机器学习中贫瘠高原和表达性限制，提出顺序和并行指数量子机器学习架构，通过高效利用希尔伯特空间使傅里叶阶数指数增长，在低量子比特下实现高表达力，并行架构在测试中将均方误差降低44.7%。
2023-08-30 cs.LG quant-ph
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree
提出TreeLoRA方法，利用层级梯度相似性构建逐层适配器，结合bandit技术高效探索任务结构，并通过稀疏梯度更新优化参数，实现大预训练模型的高效持续学习。
2026-06-29 cs.LG
Quantum Natural Policy Gradients: Towards Sample-Efficient Reinforcement Learning
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出量子自然策略梯度 QNPG 算法，利用量子 Fisher 信息矩阵近似实现二阶梯度优化，并在 Contextual Bandits 与 12 量子比特硬件上验证其样本效率和可行性。
2023-08-09 cs.LG quant-ph
Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）；Center for Data Science（数据科学中心）；New York University（纽约大学）
本文理论分析梯度上升法在两层ReLU神经网络中的机器遗忘，提出$(ε, δ, τ)$-成功准则，证明其能有效逼近重训模型并保持泛化。
2025-10-16 cs.CR cs.LG cs.NE
Compressed Communication for Distributed Training: Adaptive Methods and System
The University of Hong Kong（香港大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Web Services（亚马逊云科技）；ByteDance Inc.（字节跳动有限公司）
通信开销严重阻碍了分布式机器学习系统的可扩展性。最近，人们对使用梯度压缩来减少分布式训练的通信开销越来越感兴趣。然而，对将梯度压缩应用于自适应梯度方法的理解很少。此外，其性能优势往往受到不可忽略的压缩开销的限制。在本文中，我们首先介绍了一种新的自适应梯度方法的梯度压缩。我们证明了该方法对非凸问题具有$\mathcal{O}(1/\sqrt{T})$的收敛速度。此外，我们开发了一个可扩展的系统，称为BytePS-Compress的双向压缩，其中梯度在工人和参数服务器之间的两个方向上压缩。BytePS-Compress在CPU上实现压缩和解压缩的流水线，并实现高度并行。经验评估表明，我们将ResNet 50，VGG 16和BERT-base的训练时间分别提高了5.0%，58.1%，23.3%，并且在25 Gb/s网络中没有任何准确性损失。此外，对于训练BERT模型，与混合精度训练相比，我们实现了333倍的压缩率。
2021-05-17 cs.DC cs.LG stat.ML
Bilevel reinforcement learning via the development of hyper-gradient without lower-level convexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种利用正则化RL的不动点方程计算超梯度的双层强化学习方法，无需下层凸性假设，设计了基于模型和无模型算法，收敛速率为O(ε⁻¹)，并验证超梯度整合了利用与探索。
2025-02-27 cs.AI cs.LG math.OC
BoostLoRA: Growing Effective Rank by Boosting Adapters
Amazon（亚马逊）
BoostLoRA通过迭代训练和合并最小适配器，提升模型有效秩，实现性能提升，优于单次低参数适配器和全微调方法。
2026-04-30 cs.AI cs.LG
On Analog Gradient Descent Learning over Multiple Access Fading Channels
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
我们考虑一个分布式学习问题，在多址接入信道（MAC）使用一个大型的无线网络。计算是由网络边缘，是基于从大量的分布式节点，通过噪声衰落MAC传输的接收数据。目标函数是节点的局部损失函数之和。这个问题在分布式传感系统中引起了越来越多的兴趣，最近在联邦学习中也引起了越来越多的兴趣。我们开发了一种新的基于代理的多址接入（GBMA）算法来解决分布式学习问题的MAC。具体地，节点使用公共整形波形发送局部梯度的模拟函数，并且网络边缘接收用于更新估计的模拟发送信号的叠加。GBMA不需要功率控制或波束成形来消除衰落效应，如在其他算法中，并直接与噪声失真梯度。从理论上分析了GBMA算法的性能，证明了在大型网络中，GBMA算法的收敛速度接近于集中式梯度下降（GD）算法。具体来说，我们建立了一个有限样本的误差界的凸和强凸损失函数与Lipschitz梯度。此外，我们提供的能量缩放定律接近集中收敛速度的节点数的增加。最后，实验结果支持理论研究结果，并证明了强大的性能，使用合成和真实数据的GBMA。
2019-08-20 cs.IT cs.LG math.IT
Learning IMM Filter Parameters from Measurements using Gradient Descent
Fraunhofer FKIE（弗劳恩霍夫通信、信息处理与人体工程学研究所）
针对传感器系统及目标跟踪参数调优难、需专家知识且部署前部分参数不可观测的问题，提出仅用测量值、借助梯度下降自动优化IMM滤波器参数的方法，模拟消融实验显示其性能追平真值参数配置的滤波器。
2024-01-26 cs.LG cs.RO cs.SY
When majority rules, minority loses: bias amplification of gradient descent
University of Lille（里尔大学）；Toulouse School of Economics（图卢兹经济学院）；Institut Universitaire de France (IUF)（法国大学研究院（IUF））；ANITI；Université de Toulouse（图卢兹大学）；INRIA（法国国家信息与自动化研究所）
本研究建立多数-少数学习任务的正式框架，揭示标准训练如何偏向多数群体并放大偏差，通过理论分析给出三个关键发现，并在深度学习的表格和图像分类实验中验证。
2026-09-16 cs.AI cs.LG math.OC
Growing Steerable Neural Cellular Automata
Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）
本研究提出可导向神经细胞自动机（Steerable NCA），通过允许细胞根据内部状态调整自身朝向，使其具备手性，并展示了仅用两个种子或引入旋转不变性目标即可更简单地训练该模型。
2023-05-17 cs.AI cs.LG cs.NE
PolarGrad: A Class of Matrix-Gradient Optimizers from a Unifying Preconditioning Perspective
University of Pennsylvania（宾夕法尼亚大学）；Wharton（沃顿商学院）
PolarGrad是一种基于矩阵梯度极分解的新型预条件优化方法，通过统一视角分析矩阵感知预条件方法，提升语言模型预训练和矩阵优化性能。
2026-02-05 cs.LG math.OC stat.ML
