On the Theory of Implicit Deep Learning: Global Convergence with Implicit Layers
Harvard University（哈佛大学）
深度平衡模型使用隐式层，隐式层通过无限计算序列的平衡点来隐式定义。它避免了任何显式计算的无穷序列找到一个平衡点直接通过求根和计算梯度通过隐式微分。本文分析了仅在权矩阵和权的非凸目标函数上具有非线性的深度均衡模型的梯度动力学，用于回归和分类。尽管非凸性，收敛到全局最优的线性速率是保证没有任何假设的模型的宽度，允许宽度小于输出尺寸和数据点的数量。此外，我们还证明了深隐层的梯度动力学与浅显层的信赖域牛顿法的动力学之间的关系。这个数学上证明的关系以及我们的数值观察表明，理解隐层的隐偏置的重要性和一个开放的问题。我们的证明涉及隐层、权捆绑和权的非线性，与相关文献中的证明不同。
2021-02-18 cs.AI cs.CV cs.LG
Convex Is Back: Solving Belief MDPs With Convexity-Informed Deep Reinforcement Learning
TU Munich（慕尼黑工业大学）；College of Engineering Penn State University（宾夕法尼亚州立大学工程学院）
本文提出在POMDP的深度强化学习中利用信念空间价值函数的凸性，通过硬强制和软强制凸性两种方法提升智能体性能与鲁棒性，并在两个标准环境中验证了其有效性。
2025-03-12 cs.LG
SoftServe: A Scalable Quasi-Newton Method for Deep Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Flatiron Institute（熨斗研究所）；Cornell University（康奈尔大学）
SoftServe提出一族无需线搜索的拟牛顿方法，通过正定曲率估计和Newton-Schulz迭代实现大规模深度学习优化，在病态任务上优于Adam等基线。
2026-10-02 cs.AI cs.LG
Restricted Strong Convexity of Deep Learning Models with Smooth Activations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, San Diego（加州大学圣地亚哥分校）
我们考虑具有平滑激活函数的深度学习模型的优化问题。虽然从“近初始化”的角度来看，这个问题存在有影响力的结果，我们揭示了相当多的新的光的问题。特别是，我们这样的模型与$L$层，$m$宽度，和$σ_0^2$初始化方差的两个关键技术的贡献。首先，对于合适的$σ_0^2$，我们建立了一个$O(\frac{\text{poly}(L)}{\sqrt{m}})$上界的谱范数的海森模型，大大锐化以前的结果。其次，我们引入了一个新的分析的基础上限制强凸性（RSC），只要预测的平均梯度的平方模是$Ω(\frac{\text{poly}(L)}{\sqrt{m}})$的平方损失的最优化。我们还提出了更一般的损失的结果。基于RSC的分析不需要“接近初始化”的视角，并且保证了梯度下降（GD）的几何收敛。据我们所知，我们是基于RSC为深度学习模型建立GD几何收敛的第一个结果，从而成为不依赖于广泛使用的神经切线核（NTK）的收敛的另一个充分条件。我们分享初步的实验结果支持我们的理论进步。
2022-09-29 cs.LG math.OC
Quantum Powered Credit Risk Assessment: A Novel Approach using hybrid Quantum-Classical Deep Neural Network for Row-Type Dependent Predictive Analysis
IIM Mumbai（印度管理学院孟买分校）
本研究提出一种结合量子深度学习与自适应建模的混合框架，通过行类型依赖预测分析为不同贷款类别定制模型，探索其在银行业信用风险评估中的可行性与性能，为相关预测建模发展提供见解。
2025-02-06 cs.AI cs.LG q-fin.CP
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University（斯坦福大学）
本文研究并行 ReLU 网络的训练问题，提出路径正则化以揭示隐藏凸性并诱导群稀疏，同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
Deep Hedging Under Non-Convexity: Limitations and a Case for AlphaZero
Dalle Molle Institute for Artificial Intelligence (IDSIA) - SUPSI/USI（达摩多人工智能研究所（IDSIA）- SUPSI/USI）
本文研究了深度对冲在非凸性环境下的局限性，提出AlphaZero方法在复制策略上表现更优，具有更高的样本效率。
2025-12-07 cs.LG stat.ML
Unveiling Hidden Convexity in Deep Learning: a Sparse Signal Processing Perspective
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
本文从稀疏信号处理角度探讨深度学习中隐藏的凸性，通过分析ReLU网络的凸等价关系，解决训练和理解神经网络的挑战。
2026-03-25 cs.LG eess.SP stat.ML
Generalized Convexity and Smoothness via Conjugate Duality, with Applications to Deep Network Training
College of Electronics and Information Engineering Tongji University（同济大学电子与信息工程学院）；Zhejiang Yuying College of Vocational Technology（浙江育英职业技术学院）
该研究通过Legendre函数与凸共轭构建DNN训练的统一优化框架，引入广义凸性与光滑性，推导广义梯度类优化器的收敛速率，定量分析训练影响因素，实验验证理论与训练动态的一致性。
2026-10-21 cs.LG
Recent Advances in Non-convex Smoothness Conditions and Applicability to Deep Linear Neural Networks
University of Wisconsin（威斯康星大学）
本文综述了深度学习非凸优化中的新光滑性条件，对其进行排序并给出判定准则，评估其在深度线性神经网络二分类训练中的适用性。
2024-09-20 cs.LG math.OC
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University（莱斯大学）
针对 Nesterov 动量在神经网络训练中的加速收敛难题，本文提出一类仅部分参数满足强凸性的新目标函数，从理论上证明其加速效果，并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
CoNSoLe: Convex Neural Symbolic Learning
Arizona State University（亚利桑那州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
从数据中学习基本方程是许多学科中的基本问题。最近的进展依赖于神经网络（NN），但由于NN的非凸性，在获得精确方程方面没有提供理论保证。在本文中，我们提出了凸神经符号学习（CoNSoLe）在温和的条件下寻求凸性。其主要思想是将恢复过程分解为两步，并对每一步进行凸化。在搜索正确符号的第一步中，我们凸化深度Q学习。关键是在每次迭代中保持负Q函数和负奖励函数的双凸性，从而导致负最优Q函数的可证明凸性，以学习真正的符号连接。在精确搜索结果的条件下，我们构造了一个局部凸方程学习器（LoCaL）神经网络来凸化符号系数的估计。有了这样的设计，我们量化了一个大的区域与严格的凸性损失表面的LoCaL常用的物理功能。最后，我们展示了CoNSoLe框架在不同数据集上的卓越性能。
2022-10-12 cs.AI cs.LG
Convex Dominance in Deep Learning I: A Scaling Law of Loss and Learning Rate
FAIR, Meta Superintelligence Labs（FAIR，Meta超智能实验室）；Independent Researcher（独立研究者）
本研究通过凸性视角构建了深度学习中损失与学习率的缩放定律，揭示了训练初期弱凸特性及学习率调度对损失预测的影响。
2026-02-06 cs.CL cs.LG math.OC
FastAdaBelief: Improving Convergence Rate for Belief-based Adaptive Optimizers by Exploiting Strong Convexity
University of Science and Technology of China（中国科学技术大学）；Duke Kunshan University（昆山杜克大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；Gusu Laboratory of Materials（姑苏材料实验室）
AdaBelief是目前最好的优化器之一，通过观察所观察到的梯度的指数移动平均值，与流行的Adam算法相比，它表现出了卓越的泛化能力。AdaBelief在理论上是吸引人的，因为当目标函数是凸的时，它具有数据依赖的$O(\sqrt{T})$后悔界，其中$T$是时间范围。然而，它仍然是一个悬而未决的问题，是否可以进一步提高收敛速度，而不牺牲其推广能力。%，如何利用强凸性，进一步提高AdaBelief的收敛速度。为此，我们在这项工作中进行了第一次尝试，并设计了一种新的优化算法称为FastAdaBelief，旨在利用其强凸性，以实现更快的收敛速度。特别是，通过调整步长，更好地考虑强凸性和防止波动，我们提出的FastAdaBelief表现出良好的泛化能力以及优越的收敛性。作为一个重要的理论贡献，我们证明了FastAdaBelief达到了一个数据依赖的$O(\log T)$遗憾界，这是大大低于AdaBelief。在实证方面，我们验证了我们的理论分析与广泛的实验在两个场景的强和非强凸性三个流行的基线模型。实验结果是非常令人鼓舞的：FastAdaBelief收敛速度最快的所有主流算法相比，同时保持了良好的泛化能力，在强或非强凸的情况下。FastAdaBelief因此被假定为研究界的新基准模型。
2022-05-25 cs.LG stat.ML
Beyond the convexity assumption: Realistic tabular data generation under quantifier-free real linear constraints
University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
本文提出析取细化层（DRL），使深度生成模型在无量词实数线性约束下生成符合背景知识的真实表格数据，消除违规并提升下游任务性能。
2025-02-25 cs.LG
Adaptively Solving the Local-Minimum Problem for Deep Neural Networks
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
本文旨在克服深度神经网络（DNN）理论和应用中的一个基本问题。我们提出了一种直接解决DNN训练中局部极小值问题的方法。我们的方法是基于交叉熵损失准则的凸化，通过将交叉熵损失转化为风险规避误差（RAE）准则。为了减轻数值计算的困难，归一化RAE（NRAE）。交叉熵损失的凸性区域随着其风险敏感性指数（RSI）的增加而扩大。充分利用凸性区域，我们的方法开始训练广泛的RSI，逐渐减少它，并切换到RAE尽快RAE是数值上可行的。在训练收敛之后，期望得到的深度学习机器处于交叉熵损失的全局最小值的吸引盆内。数值结果表明了该方法的有效性。
2020-12-25 cs.LG stat.ML
Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）；Meta；Tencent（腾讯）
Adam是训练深度神经网络的最有影响力的自适应随机算法之一，通过几个简单的反例指出，即使在简单的凸设置中，Adam也是发散的。为了提高Adam型算法的收敛性，人们进行了许多尝试，如降低自适应学习率、采用大批量、引入时间去相关技术、寻找类似的代理\textit{etc.}等。与现有方法相比，我们引入了一个易于检验的充分条件，该条件仅依赖于基学习率和历史二阶矩的组合参数，从而保证了广义Adam算法求解大规模非凸随机优化问题的全局收敛性.这个观察，加上这个充分条件，对亚当的分歧给出了更深层次的解释。另一方面，在实践中，mini-Adam和distributed-Adam在没有任何理论保证的情况下被广泛使用。进一步分析了分布式系统中批量大小和节点数对Adam收敛性的影响，从理论上证明了采用较大的小批量大小或较大的节点数可以线性加速小批量和分布式Adam的收敛，最后，我们应用通用的亚当和迷你-batch Adam的充分条件来解决反例，并在各种真实世界的数据集上训练几个神经网络。实验结果与理论分析完全一致。
2022-08-08 cs.DC cs.LG math.OC
DeepInit Phase Retrieval
本文展示了如何利用数据驱动的深度生成模型来解决具有挑战性的相位恢复问题，其中人们希望仅从少数强度测量中重建信号。经典的迭代算法是已知的工作良好，如果初始化接近最佳，但否则遭受非凸性，往往陷入局部极小值。因此，我们提出了DeepInit相位检索，它在深度生成数据下使用正则化梯度下降，然后计算快速经典算法的训练初始化（例如随机Kaczmarz方法）。我们的经验表明，我们的混合方法是能够提供非常高的重建结果，在低采样率，即使有显着的发电机模型误差。从概念上讲，学习的初始化可能因此有助于通过开始更接近全局最优的经典下降步骤来克服问题的非凸性。此外，我们的想法表现出优越的运行时性能比传统的基于梯度的重建方法。我们评估我们的方法，通用的测量和经验表明，它也适用于衍射型的测量模型，发现在太赫兹单像素相位检索。
2020-07-16 cs.CV cs.LG eess.IV
Convexity in ReLU Neural Networks: beyond ICNNs?
Ens de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）；Université Claude Bernard Lyon 1（里昂第一大学（克洛德·贝尔纳））；Inria（法国国家信息与自动化研究所）；Université de Toulouse（图卢兹大学）；IRIT（图卢兹计算机科学、集成与系统实验室）
本文给出ReLU神经网络为凸的充分必要条件，并在路径提升框架下刻画其表达能力，证明单隐藏层凸ReLU网络均可由同架构ICNN表达而多层时不成立，并提出大规模网络的精确凸性检验数值方法。
2025-04-08 cs.LG
Adaptive Normalized Risk-Averting Training For Deep Neural Networks
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
本文提出了一组新的错误准则和学习方法，自适应归一化风险规避训练（ANRAT），以解决训练深度神经网络（DNN）中的非凸优化问题。理论上，我们证明了它的有效性的整体和局部凸性下界的标准$L_p$ -范数误差。通过分析凸性指标$λ$上的梯度，我们解释了为什么使用梯度下降自适应地学习$λ$是有效的。在实践中，我们展示了这种方法如何改进深度神经网络的训练，以解决MNIST和CIFAR-10数据集上的视觉识别任务。在不使用预训练或其他技巧的情况下，我们获得的结果与最近文献中使用标准ConvNets + MSE/交叉熵进行相同任务的结果相当或更好。还探讨了深/浅多层感知器和去噪自动编码器的性能。ANRAT可以与其他拟牛顿训练方法，创新的网络变体，正则化技术和DNN中的其他特定技巧相结合。除了无监督预训练之外，它为解决DNN中的非凸优化问题提供了一个新的视角。
2016-06-09 cs.LG cs.NE stat.ML
SAdam: A Variant of Adam for Strongly Convex Functions
Paradigm Inc.（第四范式公司）；Nanjing University（南京大学）
Adam算法在大规模机器学习中非常流行。在凸性条件下，证明了该模型具有数据依赖的$O(\sqrt{T})$遗憾界，其中$T$是时间范围.然而，是否可以利用强凸性，以进一步提高性能仍然是一个悬而未决的问题。在本文中，我们给出了一个肯定的答案，通过发展一个变种的亚当（简称为SAAdam），它实现了一个数据依赖的$O(\log T)$遗憾界的强凸函数。其基本思想是保持一个更快的衰减，但在控制步长利用强凸性。此外，在一个特殊的配置下的超参数，我们的SAAdam减少到SC-RMSProp，最近提出的变体RMSProp强凸函数，我们提供了第一个数据依赖的对数遗憾界。优化强凸函数和训练深度网络的实验结果证明了我们方法的有效性。
2019-05-08 cs.LG stat.ML
On The Convergence of First Order Methods for Quasar-Convex Optimization
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
近年来，深度学习的成功启发了许多研究人员研究一般光滑非凸函数的优化问题。然而，最近的工作已经为这个类函数建立了悲观的最坏情况复杂度，这与它们在现实世界应用中的卓越性能（例如训练深度神经网络）形成了鲜明对比。另一方面，人们发现许多流行的非凸优化问题具有某些结构化的性质，这些性质与凸性有一些相似之处。在本文中，我们研究类的\textit{quasar-convex functions}，以缩小理论和实践之间的差距。我们研究了一阶方法在各种不同的设置和不同的最优性准则下的收敛性。我们证明的复杂性上界是类似的标准结果建立凸函数和更好的国家的最先进的收敛速度的非凸函数。总之，本文表明，\textit{quasar-convexity}允许有效的优化程序，我们期待着看到更多的问题，在实践中表现出类似的属性。
2020-10-27 cs.LG math.OC stat.ML
Learning from time-dependent streaming data with online stochastic algorithms
Sorbonne Université（索邦大学）
该研究针对带时间相关有偏梯度的流式随机优化问题，分析多种一阶SGD方法及其Polyak-Ruppert平均，通过非渐近分析得到加速收敛的启发式规则，并通过模拟与真实数据实验验证理论结论。
2023-07-18 cs.LG math.OC stat.ML
Spike-timing-dependent Hebbian learning as noisy gradient descent
University of Twente（特文特大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本文提出基于噪声梯度下降的Hebb学习机制，证明其在非凸优化中能快速收敛至最优解，突破传统噪声梯度下降的收敛限制。
2026-01-13 cs.LG math.ST stat.TH
Convergence Rates of Training Deep Neural Networks via Alternating Minimization Methods
Tsinghua University（清华大学）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（北京雁栖湖应用数学研究院）
本文提出了一个统一框架，基于非单调$j$步充分下降条件和KL性质分析AM型深度神经网络训练方法的收敛速率，并展示了不同条件下的局部收敛速率与R-线性收敛性。
2023-04-04 cs.LG math.OC
Deep Neural Networks with Multi-Branch Architectures Are Less Non-Convex
Carnegie Mellon University（卡内基梅隆大学）
最近提出的几种神经网络架构，如ResNeXt，Inception，Xception，SqueezeNet和Wide ResNet，都是基于具有多个分支的设计思想，并且在许多应用中表现出了改进的性能。我们表明，这种成功的原因之一是由于这样一个事实，即多分支架构是不那么非凸的二元差距。对偶间隙度量优化问题的内在非凸性程度：相对值的间隙越小，内在非凸性程度越低。目前的挑战是定量测量高度非凸问题（如深度神经网络）的对偶差距。在这项工作中，我们提供了强有力的保证，这两类网络架构的数量。对于具有任意激活函数、多分支结构和铰链损失变量的神经网络，我们证明了随着分支数的增加，种群和经验风险的对偶缺口都缩小到零.这一结果有助于更好地理解过度参数化的力量，其中增加网络宽度往往会使损失表面不那么非凸。对于具有线性激活函数和$\ell_2$损失的神经网络，我们证明了经验风险的对偶间隙为零。我们的两个结果适用于任意深度和对抗性数据，而分析技术可能对更广泛的非凸优化具有独立的兴趣。合成和真实世界的数据集上的实验验证了我们的结果。
2018-06-21 cs.LG stat.ML
On the Convergence of AdaGrad(Norm) on $\R^{d}$: Beyond Convexity, Non-Asymptotic Rate and Acceleration
New York University（纽约大学）；Boston University（波士顿大学）；Northeastern University（东北大学）
该研究针对AdaGrad现有分析存在的有界域依赖、无显式常数、仅分析修改版等不足，在光滑凸与拟凸设定下，给出原始AdaGrad的显式收敛界、最后迭代收敛的变体及带显式参数依赖的加速自适应算法。
2023-10-04 cs.DS cs.LG
Almost Surely Stable Deep Dynamics
University of British Columbia（不列颠哥伦比亚大学）；Honeywell Process Solutions（霍尼韦尔过程解决方案）；Backstrom Systems Engineering Ltd.（巴克斯特罗姆系统工程有限公司）
我们介绍了一种从观测数据中学习可证明稳定的基于深度神经网络的动态模型的方法。具体来说，我们考虑离散时间随机动态模型，因为它们在实际应用中特别感兴趣，如估计和控制。然而，这些方面加剧了保障稳定的挑战。我们的方法通过将李雅普诺夫神经网络嵌入到动态模型中，从而内在地满足稳定性准则。为此，我们提出了两种方法，并将它们应用在确定性和随机设置：一个利用凸性的李雅普诺夫函数，而另一个通过隐式输出层强制稳定。我们通过数值例子证明了每种方法的实用性。
2021-03-26 cs.LG cs.SY eess.SY
Probability Distribution Learning and Its Application in Deep Learning
IEEE Publication Technology Group（IEEE出版技术组）
本文提出概率分布学习框架，从理论上解释深度学习的优化与泛化机制，证明Fenchel-Young损失的必然性，引入广义凸性与光滑性，并推导模型无关的风险界，揭示关键因素影响。
2025-10-08 cs.IR cs.LG stat.ML
Error Bound Analysis for the Regularized Loss of Deep Linear Neural Networks
Po Chen School of Data Science, Fudan University, Shanghai（Po Chen 数据科学学院，复旦大学，上海）；Rujun Jiang School of Data Science, Fudan University, Shanghai（Rujun Jiang 数据科学学院，复旦大学，上海）
本研究分析深度线性网络正则化损失的局部几何，建立其误差界并证实梯度下降可线性收敛至临界点，为相关优化方法提供理论支撑。
2026-08-11 cs.LG math.OC
Is the Skip Connection Provable to Reform the Neural Network Loss Landscape?
Beijing Jiaotong University（北京交通大学）
残差网络现在是深度学习中最有效的结构之一，它利用跳过连接来"保证”性能不会变差。然而，神经网络的非凸性使得不清楚跳跃连接是否确实可证明地提高学习能力，因为非线性可能产生许多局部最小值。在以前的一些工作\cite{freeman2016topology}中，尽管非凸性，但当隐藏节点的数量$m$非常大时，双层ReLU网络的损失景观具有良好的特性。在本文中，我们沿着这条路线来研究拓扑（子水平集）的损失景观的深度ReLU神经网络与跳跃连接，并从理论上证明了跳跃连接网络继承了两层网络的良好性质和跳跃连接可以帮助控制子水平集的连通性，使得任何比一些双层ReLU网络的全局最小值更差的局部最小值将非常“浅”。这些局部最小值的"深度”至多是$O(m^{(η-1)/n})$，其中$n$是输入维数，$η<1$。这为深度学习中跳跃连接的有效性提供了理论解释。
2020-06-10 cs.LG stat.ML
Almost sure convergence rates of stochastic gradient methods under gradient domination
Institute of Mathematics, University of Mannheim（曼海姆大学数学研究所）；CNRS, Grenoble INP, Université Grenoble Alpes（法国国家科学研究中心、格勒诺布尔理工学院、格勒诺布尔阿尔卑斯大学）
针对强凸假设难以满足的问题，本文在全局与局部 β-梯度支配条件下证明 SGD 及带动量 SGD 最后迭代的几乎必然收敛速率，并说明其可用于监督学习与强化学习训练。
2025-03-15 cs.LG math.OC
Hessian-free Optimization for Learning Deep Multidimensional Recurrent Neural Networks
Gracenote Inc.（Gracenote公司）；KAIST（韩国科学技术院）
多维循环神经网络（MDRNs）在语音和手写识别领域表现出了显着的性能。MDRNN的性能通过进一步增加其深度来提高，并且通过使用Hessian-free（HF）优化来克服学习更深网络的困难。鉴于连接主义时间分类（CTC）被用作学习序列标记的MDRNN的目标，CTC的非凸性在将HF应用于网络时带来了问题。作为一种解决方案，一个凸近似的CTC制定和EM算法和Fisher信息矩阵的关系进行了讨论。使用HF成功地训练了深度达15层的MDRNN，从而提高了序列标记的性能。
2015-10-23 cs.LG cs.NE stat.ML
Reevaluating Theoretical Analysis Methods for Optimization in Deep Learning
Boston University（波士顿大学）
本文重新评估深度学习优化算法的理论分析，通过开发新的经验指标对比真实与分析预测的优化行为，发现基于平滑性的分析在多数场景失效，而凸优化中的关键恒等式在全局非凸时仍成立。
2025-10-30 cs.LG math.OC
Deep Learning Optimization Using Self-Adaptive Weighted Auxiliary Variables
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）；Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系）
本文针对深度学习中梯度下降因非凸性和梯度消失导致的低效问题，提出一种通过引入辅助变量分离网络层并重构损失函数的自适应加权优化框架，数值实验验证了其有效性和鲁棒性。
2025-04-30 cs.LG
On the rate of convergence of a deep recurrent neural network estimate in a regression problem with dependent data
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
考虑了一类非独立数据的回归问题。正则性假设的依赖性的数据进行了介绍，它表明，在适当的结构假设的回归函数的深度循环神经网络估计是能够规避灾难的维数。
2020-10-31 cs.LG stat.ML
DANTE: Deep AlterNations for Training nEural networks
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
我们提出了DANTE，一种新的方法训练神经网络使用交替最小化原则。DANTE为传统的基于梯度的反向传播技术提供了另一种视角，该技术通常用于训练深度网络。它利用拟凸性的自适应性将训练神经网络转化为双拟凸优化问题。我们表明，对于具有可微（例如sigmoid）和不可微（例如ReLU）激活函数的神经网络配置，我们可以在此公式中有效地执行交替。DANTE还可以扩展到具有多个隐藏层的网络。在标准数据集上的实验中，发现使用所提出的方法训练的神经网络在解决方案的质量以及训练速度方面都比传统的反向传播技术有前途和竞争力。
2020-08-09 cs.LG stat.ML
A topological model for partial equivariance in deep learning and data analysis
本研究提出拓扑模型编码神经网络部分等变性，引入P-GENEOs算子，研究相关空间性质并证明其良好的逼近与凸性，为深度学习与数据分析提供理论支撑。
2023-08-25 cs.LG math.AT stat.ML
Faster width-dependent algorithm for mixed packing and covering LPs
Georgia Tech（佐治亚理工学院）；Google AI（谷歌人工智能）
本文给出了一个求解混合填充-覆盖LP问题的快速宽度依赖算法。混合填充覆盖LP是计算机科学和运筹学中组合优化的基础。我们的算法在时间上找到了一个$1+\eps$近似解$O(Nw/ \eps)$，其中$N$是约束矩阵中非零元素的数量，$w$是任何约束中非零元素的最大数量。这个运行时间优于Nesterov的平滑算法，后者需要$O(N\sqrt{n}w/ \eps)$，其中$n$是问题的维度。我们的工作利用在[Sherman-FOCS'17]中引入的面积凸性框架来获得对$\eps$的最佳依赖，同时打破臭名昭著的$\ell_{\infty}$障碍以消除$\sqrt{n}$的因素。当前针对该问题的最佳宽度无关算法在时间上运行$O(N/\eps^2)$ [Young-arXiv-14]，因此对$\eps$的运行时间依赖性较差。许多现实生活中的混合包装覆盖问题的实例表现出小的宽度，在这种情况下，我们的算法可以报告更高的精度结果相比，宽度无关的算法。作为我们结果的一个特例，我们报告了一个$1+\eps$近似算法的dennial子图的问题，它运行在时间$O(md/ \eps)$，其中$m$是在图中的边数和$d$是最大图度。
2019-09-26 cs.DS cs.LG math.OC
Neural Slack Variables for Shape Constraints
Imperial College London（伦敦帝国理工学院）；University of St. Gallen（圣加仑大学）
提出神经松弛变量方法，将约束强制执行转化为回归问题，通过联合学习辅助网络实现零违规，应用于单调性和凸性约束及金融波动曲面学习。
2026-06-15 cs.LG
Reverse Engineering Deep ReLU Networks An Optimization-based Algorithm
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
本文提出一种结合输入采样、黑盒超平面查询与约束凸优化的深度 ReLU 网络逆向重构方法，并用带 L1/L2 正则化的梯度下降最小化输出差异。
2023-12-07 cs.LG
ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets
Michigan Technological University（密歇根理工大学）；Symbiosis Centre for Medical Image Analysis（共生医学图像分析中心）；Symbiosis Institute of Technology（共生技术学院）
这项工作引入了一种新的激活单元，可以有效地用于深度神经网络（DNN），并且比传统的整流线性单元（ReLU）表现得更好。开发的函数是专门的理查德曲线的两个参数版本，我们称之为自适应理查德曲线加权激活（ARiA）。该函数是非单调的，类似于新引入的Swish，但是允许通过改变超参数来精确控制其非单调凸性。我们首先展示了两个参数ARiA的数学意义，然后将其应用于MNIST、CIFAR-10和CIFAR-100等基准问题，并将其与ReLU和Swish单元进行了性能比较。我们的研究结果表明，ARiA在所有这些数据集上都具有显著的优越性能，使其成为DNN中ReLU和其他激活的潜在替代品。
2018-05-22 cs.LG cs.NE
Training Quantized Nets: A Deeper Understanding
University of Maryland, College Park（马里兰大学帕克分校）；Cornell University（康奈尔大学）
目前，深度神经网络部署在低功耗便携式设备上，首先使用强大的硬件训练全精度模型，然后导出相应的低精度模型，用于在这种系统上进行有效推理。然而，直接使用粗略量化的权重训练模型是在计算资源、内存容量和功耗有限的嵌入式平台上学习的关键一步。最近有许多出版物研究了训练量化网络的方法，但这些研究大多是经验性的。在这项工作中，我们调查的量化神经网络的训练方法从理论的观点。我们首先探讨了凸性假设下训练方法的精度保证。然后，我们研究了这些算法在非凸问题上的行为，并表明利用高精度表示的训练算法具有纯粹量化训练方法所缺乏的重要贪婪搜索阶段，这解释了使用低精度算法进行训练的困难。
2017-11-13 cs.CV cs.LG stat.ML
Improved Deep Speaker Feature Learning for Text-Dependent Speaker Recognition
Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）；Tsinghua University（清华大学）
最近已经提出了一种深度学习方法来通过深度神经网络（DNN）来导出说话人标识（d向量）。这种方法已被应用到文本相关的说话人识别任务，并显示出合理的性能增益时，与传统的i向量的方法相结合。虽然有前途，现有的d矢量实现仍然不能与i矢量基线竞争。本文提出了对深度学习方法的两项改进：用于规范化音素变化的音素相关DNN结构，以及基于动态时间扭曲（DTW）的新评分方法。文本相关的说话人识别任务的实验表明，所提出的方法可以提供相当大的性能改善现有的d-向量实现。
2015-06-28 cs.CL cs.LG cs.NE
Global Convergence and Generalization Bound of Gradient-Based Meta-Learning with Deep Neural Nets
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
具有深度神经网络（DNN）的基于约束的元学习（GBML）已经成为少样本学习的流行方法。然而，由于DNN的非凸性和GBML中的双层优化，具有DNN的GBML的理论特性在很大程度上仍然未知。在本文中，我们首先要回答以下问题：带有DNN的GBML是否具有全局收敛保证？我们通过证明具有过参数化DNN的GBML保证以线性速率收敛到全局最优值来对此问题提供肯定的答案。我们要解决的第二个问题是：GBML如何利用过去任务的经验快速适应新任务？为了回答这个问题，我们从理论上证明了GBML等价于一个函数梯度下降操作，该操作将经验从过去的任务显式地传播到新的任务，然后我们证明了具有过参数化DNN的GBML的泛化误差界。
2020-11-16 cs.LG stat.ML
A Generalization Bound of Deep Neural Networks for Dependent Data
University of Science, Vietnam National University Ho Chi Minh City（越南国家大学胡志明市分校科学大学）；AISIA Research Lab（AISIA研究实验室）；Dalhousie University（达尔豪斯大学）
针对现有深度神经网络泛化界依赖独立同分布假设、不适用于实际依赖数据场景的问题，该研究建立了非平稳$\phi$-混合数据下前馈神经网络的泛化界。
2023-10-09 cs.LG stat.ML
Generation and Analysis of Feature-Dependent Pseudo Noise for Training Deep Neural Networks
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；UT Southwestern Medical Center（德克萨斯大学西南医学中心）
在有噪声的标记数据集上训练深度神经网络（DNN）是一个具有挑战性的问题，因为在错误标记的样本上学习会降低网络的性能。由于真实数据的可用性受到现实世界噪声数据集的限制，以前的论文通过随机修改干净数据集的训练样本的标签来创建合成噪声数据集。然而，仅仅使用这种随机噪声不能得出最终结论，因为它排除了特征相关的噪声。因此，必须生成额外提供地面实况的特征相关噪声数据集。因此，我们提出了一种直观的方法，通过利用DNN在干净数据集上的训练预测来创建依赖于特征的噪声数据集，这些数据集也保留了真实的标签信息。我们将这些数据集称为“伪噪声数据集”。我们进行了几个实验，以建立伪噪声数据集类似于不同条件下的特征依赖的噪声数据集。我们进一步随机生成具有与伪噪声相同的噪声分布的合成噪声数据集（称为“随机噪声”），以经验地表明i）与随机噪声相比，使用特征相关的标签噪声的学习更容易，ii）不管噪声分布如何，伪噪声数据集模仿特征相关的标签噪声，以及iii）当前的训练方法不能推广到特征相关的标签噪声。因此，我们相信伪噪声数据集将非常有助于研究和开发鲁棒的训练方法。
2021-05-22 cs.LG
Label Dependent Deep Variational Paraphrase Generation
Amazon Alexa AI（亚马逊Alexa人工智能部门）
生成词汇相似但语义不同的释义是一项具有挑战性的任务。这种形式的释义可以用来增加各种NLP任务的数据集，例如机器阅读理解和具有非平凡否定示例的问答。在这篇文章中，我们提出了一个深度变分模型，以产生条件的标签，指定是否释义语义相关或不。我们还提出了新的训练配方和KL正则化技术，提高了变分释义模型的性能。我们提出的模型在提高模型的生成能力方面表现出了良好的效果，通过在释义数据集上采用标签依赖生成。
2019-11-27 cs.CL cs.LG stat.ML
Revisiting Online Learning Approach to Inverse Linear Optimization: A Fenchel$-$Young Loss Perspective and Gap-Dependent Regret Analysis
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）；Kyoto University（京都大学）
本文从Fenchel-Young损失视角重新理解逆线性优化的在线学习方法，并利用最优与次优目标值之间的间隔结构，获得了与时间范围无关的更快遗憾上界，突破了标准O(√T)界。
2025-02-07 cs.LG
Bayesian Convolutional Deep Sets with Task-Dependent Stationary Prior
KAIST（韩国科学技术院）
卷积深度集是深度神经网络（DNN）的架构，可以对静态随机过程进行建模。该架构使用核平滑器和DNN来构造平移等变函数表示，从而将平稳性的归纳偏差反映到DNN中。然而，由于该架构采用称为非参数模型的内核平滑器，因此当数据点的数量没有充分给出时，它可能会产生模糊的表示。为了解决这个问题，我们引入了贝叶斯卷积深度集，它构建了具有静态先验的随机平移等变函数表示。此外，我们提出了如何对每个数据集施加任务相关的先验，因为错误施加的先验形成了比内核平滑器更差的表示。我们使用时间序列和图像数据集验证了所提出的架构及其在各种实验中的训练。
2022-10-22 cs.LG stat.ME stat.ML
An Optimistic Acceleration of AMSGrad for Nonconvex Optimization
Cognitive Computing Lab（认知计算实验室）；Baidu Research（百度研究院）
我们提出了AMSGrad的一个新变体，AMSGrad是一种流行的基于自适应梯度的优化算法，广泛用于训练深度神经网络。我们的算法添加了有关连续小批量梯度序列的先验知识，并利用其底层结构使梯度序列可预测。通过利用乐观在线学习的可预测性和思想，该算法可以加快收敛速度，提高样本效率。在建立了一个更严格的上限在一些凸性条件下的遗憾，我们提供了一个免费的看法，我们的算法，概括了离线和随机版本的非凸优化。在非凸的情况下，我们建立了一个独立于初始化的非渐近收敛界。我们通过数值实验说明了几种深度学习模型的实际加速。
2020-11-03 cs.LG stat.ML
KernelNet: A Data-Dependent Kernel Parameterization for Deep Generative Modeling
State University of New York at Buffalo（纽约州立大学布法罗分校）
核学习是机器学习中的一个重要概念。内核方法的标准方法通常使用预定义的内核，需要仔细选择超参数。为了减轻这一负担，我们在本文中提出了一个框架，以构建和学习一个数据依赖的内核的基础上，随机特征和隐式谱分布参数化的深度神经网络。构建的网络（称为KernelNet）可以应用于各种场景中的深度生成建模，包括深度生成模型中两种流行的学习范式，MMD-GAN和隐式变分自编码器（VAE）。我们表明，我们提出的内核确实存在于应用程序中，并保证是正定的。此外，诱导的最大平均离散（MMD）可以通过简单的正则化赋予弱拓扑的连续性。广泛的实验表明，与相关方法相比，我们提出的KernelNet始终获得更好的性能。
2020-06-25 cs.CV cs.LG stat.ML
Deep learning for $ψ$-weakly dependent processes
CY Cergy Paris Université（巴黎塞吉大学）
在本文中，我们执行深度神经网络来学习$ψ$ -弱依赖过程。这种弱依赖性包括一类弱依赖性条件，如混合、关联、$\cdots$，并且这里考虑的设置覆盖了许多常用的情况，如：回归估计、时间序列预测、时间序列分类、$\cdots$建立了深度神经网络预测器类中的经验风险最小化算法的一致性。我们达到了泛化界，并获得了学习率，这是小于$\mathcal{O}(n^{-1/α})$，所有$α> 2 $。应用于二进制时间序列分类和预测的仿射因果模型与外生协变量进行。提供了一些模拟结果，以及美国经济衰退数据的应用。
2023-02-01 cs.LG math.ST stat.ML
Theoretical analysis of deep neural networks for temporally dependent observations
University of Florida（佛罗里达大学）；George Mason University（乔治梅森大学）
深度神经网络是用非线性模式对随时间推移的观察进行建模的强大工具。尽管神经网络在这样的环境中被广泛使用，但深度神经网络的大多数理论发展都是在独立观测的假设下进行的，并且时间依赖观测的理论结果很少。为了弥补这一差距，我们研究了深度神经网络对非线性时间序列数据建模的理论特性。具体而言，在混合型假设下，建立了具有ReLU激活函数的（稀疏）前馈神经网络的预测误差的非渐近界。这些假设是温和的，使得它们包括广泛的时间序列模型，包括自回归模型。与独立观测值相比，建立的收敛速率具有额外的对数因子，以补偿由于数据点之间的依赖性而导致的额外复杂性。通过各种数值模拟设置以及应用到宏观经济数据集的理论结果的支持。
2022-10-20 cs.LG stat.ML
