Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations
ETH Zürich（苏黎世联邦理工学院）
该研究提出核序列演化的理论框架，证明非线性激活的深度神经网络中核序列全局收敛到唯一不动点，拓展至残差与归一化层网络也成立，为理解深度网络隐式偏差及架构对表征演化的影响提供新见解。
2024-10-29 cs.AI cs.LG stat.ML
Eve: A Gradient Based Optimization Method with Locally and Globally Adaptive Learning Rates
Carnegie Mellon University（卡内基梅隆大学）
随机优化的自适应梯度方法局部地调整每个参数的学习率。然而，还有一个全局学习率必须调整，以获得最佳性能。在本文中，我们提出了一种新的算法，适应学习率本地为每个参数分别，也为所有参数一起全局。具体来说，我们修改了Adam，这是一种用于训练深度学习模型的流行方法，使用一个系数来捕获目标函数的属性。从经验上讲，我们的方法（我们称之为Eve）在训练深度神经网络方面优于Adam和其他流行的方法，例如用于图像分类的卷积神经网络和用于语言任务的递归神经网络。
2018-06-11 cs.LG
Neural Collapse is Globally Optimal in Deep Regularized ResNets and Transformers
Institute of Science and Technology (ISTA) Austria（科学与技术研究所（ISTA）奥地利）
该研究针对现有神经坍缩理论仅关注数据无关模型或多层感知机的局限，证明深度正则化ResNets和Transformers的全局最优解近似神经坍缩且深度越高越显著，还将大深度网络训练等价为无约束特征模型，实验在视觉和语言数据集上验证了结论。
2025-05-21 cs.AI cs.LG stat.ML
Think Globally, Act Locally: A Deep Neural Network Approach to High-Dimensional Time Series Forecasting
Amazon（亚马逊）；UT Austin（得克萨斯大学奥斯汀分校）
预测高维时间序列在需求预测、金融预测等应用中起着至关重要的作用。现代数据集可以有数百万个相关的时间序列一起演化，也就是说，它们是非常高维的（每个时间序列都是一维）。有必要利用全球模式，并将它们与本地校准相结合，以实现更好的预测。然而，文献中最新的深度学习方法都是一维的，即即使它们是在整个数据集上训练的，在预测过程中，单个维度的未来预测主要取决于同一维度的过去值。在本文中，我们试图纠正这一缺陷，并提出DeepGLO，这是一种全局思考，局部行动的深度预测模型。特别是，DeepGLO是一种混合模型，它结合了由时间卷积网络正则化的全局矩阵分解模型，以及另一个可以捕获每个时间序列和相关协变量的局部属性的时间网络。我们的模型可以在高维但多样的时间序列上有效地训练，其中不同的时间序列可以具有非常不同的尺度，而无需先验归一化或重新缩放。实证结果表明，DeepGLO可以超越最先进的方法;例如，我们在包含超过100 K维时间序列的公共数据集上看到WAPE比其他方法提高了25%以上。
2019-10-27 cs.LG stat.ML
MPINeuralODE: Multiple-Initial-Condition Physics-Informed Neural ODEs for Globally Consistent Dynamical System Learning
Department of Chemical Engineering, Imperial College London（帝国理工学院伦敦校区化学工程系）
本文提出MPINeuralODE，结合软物理信息残差和多初始条件多步学习策略，有效提升动力系统学习的泛化能力与稳定性，实验显示其在样本外误差、长时域稳定性及哈密顿漂移方面表现优异。
2026-07-07 cs.LG math.DS physics.chem-ph
GlobalCY I: A JAX Framework for Globally Defined and Symmetry-Aware Neural Kähler Potentials
本文提出GlobalCY框架，用于研究全局定义且对称感知的神经Kähler势模型在投影超曲面Calabi-Yau几何中的表现，通过比较三种模型在Cefalú家族难例中的性能，证明全局不变结构对学习Kähler势模型的有效性。
2026-04-13 cs.LG hep-th math.AG
GloNets: Globally Connected Neural Networks
University of Chieti-Pescara（基耶蒂-佩斯卡拉大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of Parma（帕尔马大学）
针对深度学习中的性能退化问题，提出全局连接神经网络GloNet，通过让网络头部均匀接收各层级信息并自我调节信息流，实现任意深度下的稳定训练，成为传统架构的强有力替代方案。
2023-11-27 cs.LG cs.NE
An Empirical Investigation of Global and Local Normalization for Recurrent Neural Sequence Models Using a Continuous Relaxation to Beam Search
Carnegie Mellon University（卡内基梅隆大学）；Deepmind（深度思考）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
全局归一化神经序列模型被认为优于其局部归一化等效模型，因为它们可以改善标签偏差的影响。然而，当考虑对整个输入序列有条件的高容量神经参数化时，两个模型类在它们能够表示的分布方面理论上是等价的。因此，在现代神经方法的背景下，全局归一化的实际优势仍然不清楚。在本文中，我们试图通过实证研究来阐明这一问题。我们通过束搜索的连续松弛来扩展搜索感知训练的方法（Goyal等人，2017 b），以便通过简单的反向传播来训练全局归一化的递归序列模型。然后，我们使用这种技术进行全球规范化，高容量编码器和搜索感知优化之间的相互作用的实证研究。我们观察到，在不精确搜索的背景下，全局归一化神经模型仍然比局部归一化模型更有效。此外，由于我们的训练方法对预训练模型的热启动敏感，我们还提出了一种新的基于自归一化的初始化策略，用于预训练全局归一化模型。我们在两个任务上对我们的方法进行了分析：CCG超级标记和机器翻译，并在使用搜索感知训练的同时，在不同条件下展示了全局规范化的重要性。
2019-04-15 cs.CL cs.LG stat.ML
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练，尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络，它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构，我们表明，学习是NP完全的一般情况下，但当输入分布是高斯，梯度下降收敛到全局最优的多项式时间。据我们所知，这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
Beyond Heuristics: Globally Optimal Configuration of Implicit Neural Representations
Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系）
针对隐式神经表示配置依赖启发式与人工调参的问题，提出 OptiINR 框架，利用贝叶斯优化联合搜索激活函数族与初始化参数，获得全局最优配置并提升跨应用性能。
2025-09-27 cs.LG
Improving Model Robustness with Latent Distribution Locally and Globally
Duke Kunshan University（昆山杜克大学）；University of Liverpool（利物浦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
在这项工作中，我们从全局流形的角度考虑深度神经网络对对抗攻击的模型鲁棒性。利用局部和全局潜在信息，我们提出了一种新的对抗性训练方法，通过鲁棒优化，以及一种易于处理的方法来生成潜在流形对抗性示例（LMAE），通过一个机器人和一个分类器之间的对抗性游戏。所提出的具有潜在分布的对抗性训练（ATLD）方法通过以无监督的方式用潜在流形制作LMAE来防御对抗攻击。ATLD保留了隐流形的局部和全局信息，提高了对对抗攻击的鲁棒性.为了验证我们提出的方法的有效性，我们在不同的数据集上进行了广泛的实验（例如，CIFAR-10、CIFAR-100、SVHN）与不同的对抗攻击（例如，PGD，CW），并表明我们的方法大大优于最先进的（例如，特征散射）在对抗鲁棒性方面具有很大的准确性。源代码可在https://github.com/LitterQ/ATLD-pytorch上获得。
2022-10-03 cs.LG
Pruning Binarized Neural Networks: A Dedicated Framework and Globally Weighted Algorithms
Polytechnique Montreal（蒙特利尔理工学院）
本文针对二值化神经网络剪枝适配问题，提出基于PyTorch的专用框架及全局加权剪枝算法，在VGG11二值化模型上实现70%剪枝率且准确率不变，优于现有最优结果。
2026-08-28 cs.LG
Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research India（微软印度研究院）
我们提供了第一个全局模型恢复结果的IRLS（迭代加权最小二乘）启发式鲁棒回归问题。IRLS是众所周知的，提供优良的性能，尽管坏的初始化和数据损坏，几个参数估计问题。现有的IRLS分析经常需要仔细的初始化，从而只提供局部收敛保证。我们通过对基本的IRLS例程提出增强来弥补这一点，这些例程不仅提供有保证的全局恢复，而且在实践中还优于最先进的鲁棒回归算法。我们的例程在基本回归任务以及线性武装强盗问题等应用任务中更不受超参数错误指定的影响。我们的理论分析依赖于一个新的扩展的概念，强凸性和光滑加权强凸性和光滑性，并建立次高斯设计提供有界加权条件数。这些概念在分析其他算法时也可能是有用的。
2020-06-25 cs.LG math.OC stat.ME
Globally Convergent Variational Inference
University of Michigan（密歇根大学）
该研究针对变分推断中ELBO仅能保证局部收敛的问题，证明了基于前向KL散度的神经后验估计方法的全局收敛性，且实验表明其效果优于基于ELBO的优化。
2025-01-14 cs.LG stat.ML
Generative Adversarial Imitation Learning with Neural Networks: Global Optimality and Convergence Rate
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
生成对抗模仿学习（GAIL）在实践中取得了巨大的成功，特别是当与神经网络相结合时。与强化学习不同，GAIL从专家（人）演示中学习策略和奖励函数。尽管其经验上的成功，它仍然不清楚是否GAIL与神经网络收敛到全局最优解。主要困难来自于非凸-非凹极小极大优化结构。为了弥合实践和理论之间的差距，我们分析了基于梯度的算法与交替更新，并建立其次线性收敛到全局最优解。据我们所知，我们的分析建立了全局最优性和收敛速度的GAIL与神经网络的第一次。
2020-06-25 cs.LG math.OC stat.ML
Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
我们研究了最流行的强化学习算法家族之一的actor-critic算法的全局收敛性和全局最优性。虽然大多数现有的作品的演员，评论家采用双层或两个时标更新，我们专注于更实际的单时标设置，演员和评论家同时更新。具体地，在每次迭代中，通过仅一次应用Bellman评估算子来获得评论家更新，同时在使用评论家计算的策略梯度方向上更新行动者。此外，我们考虑了两个函数近似设置，其中演员和评论家都由线性或深度神经网络表示。对于这两种情况下，我们证明了演员序列收敛到一个全局最优的策略在一个次线性$O(K^{-1/2})$率，其中$K$是迭代次数。据我们所知，我们建立了收敛速度和全局最优性的单时标的行动者-评论家与线性函数逼近的第一次。此外，在更广泛的范围内的政策优化与非线性函数逼近，我们证明了行动者-评论家与深度神经网络发现全局最优的政策在一个次线性的速度。
2021-06-13 cs.LG math.OC stat.ML
A Globally Convergent Algorithm for Neural Network Parameter Optimization Based on Difference-of-Convex Functions
ETH Zurich（苏黎世联邦理工学院）；FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）
本文针对单隐藏层神经网络参数优化，提出基于分块差分凸表示并结合分块坐标下降与DCA的全局收敛算法，并给出线性或更快收敛条件，数值实验验证其优于主流梯度求解器。
2024-01-15 cs.LG cs.NE math.OC
Globally Stable Neural Imitation Policies
McGill University（麦吉尔大学）；Universidad Veracruzana（韦拉克鲁斯大学）
本文提出稳定神经动力系统（SNDS），通过基于李雅普诺夫定理的神经策略架构联合训练策略与李雅普诺夫候选函数，实现具有全局稳定性保证的模仿学习，并在仿真和真实机械臂上验证其克服了不稳定、精度低和计算密集等问题。
2024-09-02 cs.LG cs.RO
Learn Locally, Correct Globally: A Distributed Algorithm for Training Graph Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）
尽管图神经网络（GNN）最近取得了成功，但在大型图上训练GNN仍然具有挑战性。现有服务器的资源容量有限，图中节点之间的依赖性，以及由于集中存储和模型学习而引起的隐私问题，促使人们需要设计一种有效的分布式GNN训练算法。然而，现有的分布式GNN训练方法要么会带来过多的通信成本，要么会带来巨大的内存开销，这阻碍了它们的可扩展性。为了克服这些问题，我们提出了一种通信高效的分布式GNN训练技术，名为$\text{Learn Locally, Correct Globally}$（LLCG）。为了减少通信和内存开销，LLCG中的每个本地机器首先通过忽略不同机器之间的节点之间的依赖性来训练其本地数据的GNN，然后将本地训练的模型发送到服务器进行周期性模型平均。但是，忽略节点依赖性可能会导致显著的性能下降。为了解决性能下降，我们建议在服务器上应用$\text{Global Server Corrections}$来改进本地学习的模型。我们严格分析了用于训练GNN的周期性模型平均的分布式方法的收敛性，并表明天真地应用周期性模型平均但忽略节点之间的依赖性将遭受不可约的残差。然而，这种残余误差可以通过利用所提出的全局校正来消除，从而实现快速收敛。在真实数据集上的大量实验表明，LLCG可以在不影响性能的情况下显着提高效率。
2022-03-13 cs.LG
Pulmonary Disease Classification Using Globally Correlated Maximum Likelihood: an Auxiliary Attention mechanism for Convolutional Neural Networks
卷积神经网络（CNN）现在被广泛用于分类和检测胸部X线照片中的肺部异常。CNN的两个互补的泛化特性，平移不变性和等变性，在检测与肺部疾病相关的明显异常时特别有用，无论它们在图像中的空间位置如何。然而，这些属性也伴随着在局部区域中检测到的异常的精确空间信息和全局相对位置的丢失。这些异常的全球相对位置可能有助于区分类似的情况，如COVID-19和病毒性肺炎。在这种情况下，需要一种全局注意力机制，而CNN在其传统架构中不支持这种机制，这些架构旨在通过平移不变性和等变性提供泛化。视觉Transformer提供了一种全局注意力机制，但缺乏平移不变性和等变性，需要更多的训练数据样本来匹配CNN的泛化。为了解决空间信息的丢失和特征之间的全局关系，同时保留CNN的归纳偏差，我们提出了一种新的技术，作为现有CNN架构的辅助注意力机制，以提取显着特征之间的全局相关性。
2021-09-01 cs.CV cs.LG
Globally injective and bijective neural operators
Shimane University（岛根大学）；South Dakota State University（南达科他州立大学）；University of Helsinki（赫尔辛基大学）；Rice University（莱斯大学）
本文研究神经算子的全局单射、满射与可逆条件，利用 Fredholm 及 Leray-Schauder 理论证明深层算子的单射性、有限秩保持和精确反演。
2023-06-06 cs.LG stat.ML
Super-resolution of Sentinel-2 images: Learning a globally applicable deep neural network
ETH Zurich（苏黎世联邦理工学院）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）
哨兵-2号卫星任务提供了以三种不同空间分辨率获取的13个光谱带的多光谱图像。本研究的目的是将低分辨率（20 m和60 m地面采样距离- GSD）波段超分辨到10 m GSD，以便在最大传感器分辨率下获得完整的数据立方体。我们采用最先进的卷积神经网络（CNN）来执行端到端上采样，该上采样是用较低分辨率的数据训练的，即，从40->20 m，分别为360->60 m GSD。通过这种方式，通过对真实的Sentinel-2图像进行下采样，可以访问几乎无限数量的训练数据。我们使用在全球范围内广泛的地理位置采样的数据，以获得一个网络，该网络可以概括不同的气候区和土地覆盖类型，并且可以超分辨率任意Sentinel-2图像，而无需重新训练。在定量评估中（在较低尺度下，可以获得地面真实值），我们的网络（我们称之为DSen 2）在RMSE方面比最佳竞争方法的性能高出近50%，同时更好地保留了频谱特征。它还提供了视觉上令人信服的结果在完整的10米GSD。代码可在https://github.com/lanha/DSen2上获得
2018-10-01 cs.CV cs.LG
Predict Globally, Correct Locally: Parallel-in-Time Optimal Control of Neural Networks
Department of Computing, Imperial College London, London, United Kingdom（帝国理工学院计算系，伦敦，英国）
本文提出了一种新的分布式优化算法，通过将神经网络的层视为动力系统离散动力学，利用最优控制的共态（adjoints）与反向传播的关系，实现参数更新无需等待前向或反向传播完成，从而提高效率。
2019-02-07 cs.LG cs.SY eess.SY
A Tool for Neural Network Global Robustness Certification and Training
Northwestern University（西北大学）；Boston University（波士顿大学）；University of Liverpool（利物浦大学）
随着机器学习技术在安全关键系统中应用的日益广泛，神经网络在外界干扰下的鲁棒性受到越来越多的关注。全局鲁棒性是定义在整个输入域上的鲁棒性属性。经过认证的全局鲁棒网络可以确保其对任何可能的网络输入的鲁棒性。然而，最先进的全局鲁棒性认证算法只能认证最多几千个神经元的网络。在本文中，我们提出了GPU支持的全球鲁棒性认证框架GROCET，这是更有效的比以前的基于优化的认证方法。此外，GROCET提供了可微的全局鲁棒性，这在全局鲁棒神经网络的训练中被利用。
2022-08-15 cs.LG
The loss surface of deep and wide neural networks
Saarland University（萨尔大学）
虽然深度神经网络背后的优化问题是高度非凸的，但在实践中经常观察到，训练深度网络似乎是可能的，而不会陷入次优点。有人认为，这是因为所有局部最小值都接近全局最优。我们证明了这是（几乎）正确的，事实上几乎所有的局部极小值是全局最优的，对于一个完全连接的网络，平方损失和解析激活函数给定的网络的一层的隐藏单元的数量大于训练点的数量，从这一层上的网络结构是金字塔。
2017-06-12 cs.AI cs.CV cs.LG
Neural Policy Gradient Methods: Global Optimality and Rates of Convergence
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
策略梯度方法与行动者-批评者方案展示了巨大的经验成功，特别是当行动者和批评者被神经网络参数化时。然而，仍然不太清楚这种“神经”策略梯度方法是否收敛到全局最优策略，以及它们是否收敛。我们在过度参数化的制度中肯定地回答了这两个问题。详细地，我们证明了神经自然策略梯度以次线性速率收敛到全局最优策略。此外，我们表明，神经香草策略梯度次线性收敛到一个稳定点。同时，通过将不动点的次优性与神经元的表现能力联系起来，证明了在弱正则性条件下所有不动点的全局最优性.特别是，我们证明了全局最优性和收敛性的关键是演员和评论家之间的“兼容性”，这是通过共享神经架构和随机初始化演员和评论家来确保的。据我们所知，我们的分析建立了第一个全局最优性和收敛保证神经策略梯度方法。
2019-11-12 cs.LG math.OC stat.ML
Correctness Verification of Neural Networks
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个新的框架，指定和验证的正确性全局神经网络的感知任务。感知任务的神经网络验证大多集中在鲁棒性验证上。与鲁棒性验证不同，鲁棒性验证旨在验证网络的预测在标记点周围的某些局部区域中是稳定的，我们的框架提供了一种在整个目标输入空间中全局指定正确性的方法，并验证网络对所有目标输入都是正确的（或找到网络不正确的区域）。我们通过1）由世界的所有相关状态组成的状态空间和2）从世界的状态产生神经网络输入的观察过程来提供规范。用有限数量的瓦片平铺状态和输入空间，从状态瓦片获得地面真值边界，从输入瓦片获得网络输出边界，然后比较地面真值和网络输出边界，为任何感兴趣的输入提供网络输出误差的上限。所提出的框架还可以检测非法输入--不包含在（或接近）由状态空间和观察过程定义的目标输入空间中的输入（神经网络不是设计来处理它们的），这样我们就可以在没有保证时进行标记。两个案例研究的结果突出了我们的技术在整个目标输入空间验证误差界的能力，并显示了误差界在状态和输入空间的变化。
2022-08-23 cs.CR cs.CV cs.LG
Theoretical insights into the optimization landscape of over-parameterized shallow neural networks
University of Southern California（南加州大学）
在本文中，我们研究的问题，学习浅人工神经网络，最适合的训练数据集。我们研究这个问题的过参数化制度中的观察的数量少于模型中的参数的数量。我们表明，二次激活的优化景观训练这样浅的神经网络具有某些有利的特点，允许全局最优模型，有效地使用各种本地搜索算法。该结果适用于输入/输出对的任意训练数据。对于可微的激活函数，我们还表明，梯度下降，适当的初始化时，以线性速度收敛到一个全局最优模型。此结果集中于一个可变现模式，其中输入数据乃按独立同日法选择。从高斯分布和标签生成根据种植的权重系数。
2022-08-24 cs.IT cs.LG math.IT
Taxonomizing local versus global structure in neural network loss landscapes
University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）
在统计力学学习方法中，根据损失景观来查看神经网络模型有着悠久的历史，近年来，它在机器学习中受到了关注。除此之外，局部度量（例如损失景观的平滑度）已被证明与模型的全局属性（例如良好的泛化性能）相关。在这里，我们对数千个神经网络模型的损失景观结构进行了详细的实证分析，系统地改变了学习任务，模型架构和/或数据的数量/质量。通过考虑一系列试图捕捉损失景观不同方面的指标，我们证明了最佳的测试精度是在以下情况下获得的：损失景观是全局良好连接的;训练模型的集合彼此更相似;模型收敛到局部平滑区域。我们还表明，当模型很小或者当它们被训练成较低质量的数据时，可能会出现全局连接不良的景观;并且，如果损失景观是全局连接不良的，那么训练到零损失实际上会导致更差的测试准确性。我们详细的实证结果揭示了学习阶段（以及随之而来的双下降行为），良好泛化的基本与偶然决定因素，负载和温度参数在学习过程中的作用，模型和数据对损失景观的不同影响，以及局部和全局度量之间的关系，最近感兴趣的所有主题。
2021-12-12 cs.LG
Multi-objective and categorical global optimization of photonic structures based on ResNet generative neural networks
Stanford University（斯坦福大学）
我们表明，基于全局拓扑优化网络（GLOnets）的深度生成神经网络可以被配置为执行光子器件的多目标和分类全局优化。剩余网络方案使GLOnets能够从深度架构（需要在优化过程的早期适当搜索整个设计空间）发展到浅层网络（生成全局最优设备的窄分布）。作为概念验证的演示，我们调整我们的方法来设计由多种材料类型组成的薄膜叠层。具有已知全局优化的抗反射结构的基准测试表明，与传统算法相比，GLOnets可以以更快的数量级速度找到全局最优值。我们还展示了我们的方法在复杂的设计任务中的实用性，其应用程序的白炽灯滤光片。这些结果表明，深度学习中的先进概念可以推动光子学逆向设计算法的能力。
2020-07-20 cs.LG physics.app-ph
Global-Decision-Focused Neural ODEs for Proactive Grid Resilience Management
本文提出PATOG框架，通过整合停电预测与全局优化干预，解决预测与优化目标不一致问题，提升电网韧性。
2025-12-08 cs.LG
Ionospheric activity prediction using convolutional recurrent neural networks
ONERA, The French Aerospace Lab（法国航空航天实验室（ONERA））；Irfu, CEA（法国原子能和替代能源委员会（CEA）萨克雷核研究中心（Irfu））；Université Paris-Saclay（巴黎萨克雷大学）；BCG (The Boston Consulting Group)（波士顿咨询集团（BCG））
电离层电磁活动是卫星通信、全球导航卫星系统（GNSS）和其他重要空间应用质量的一个主要因素。能够在全球范围内预测总电子含量（TEC）将能够更好地预测潜在的性能下降。一些研究已经提出了能够预测局部TEC的模型，但大多数都不能在全球范围内预测。由于大量的记录，过去的TEC地图公开，我们提出了一种基于深度神经网络（DNN）的方法来预测一系列的全球TEC地图连续的输入序列的TEC地图，而不引入任何先验知识以外的地球自转周期。通过结合几个国家的最先进的架构，所提出的方法是有竞争力的TEC预测与以前的作品，同时预测全球的TEC。
2018-11-06 cs.CV cs.LG
Towards Stable, Globally Expressive Graph Representations with Laplacian Eigenvectors
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Department of EECS, Massachusetts Institute of Technology（麻省理工学院电子工程与计算机科学系）；School of ECE, Georgia Institute of Technology（佐治亚理工学院电子与计算机工程系）
提出一种利用可学习的O(p)-不变表示和平滑处理数值接近特征值的方法，以增强图神经网络中拉普拉斯特征向量的稳定性和全局表达性。
2026-05-31 cs.LG
A Formally Verified Robustness Certifier for Neural Networks (Extended Version)
University of Melbourne（墨尔本大学）；University of Queensland（昆士兰大学）
针对全局鲁棒神经网络认证函数缺乏实现级验证且近似算法不保证可靠性的问题，本文在 Dafny 中实现并形式化验证了一个鲁棒性认证器。
2025-05-11 cs.LG cs.PL
Globally Injective ReLU Networks
Rice University（莱斯大学）；University of Helsinki（赫尔辛基大学）；University of Basel（巴塞尔大学）
内射性在生成模型中起着重要的作用，它可以进行推理;在逆问题和具有生成先验的压缩感知中，它是适定性的先驱。我们建立了全连接和卷积ReLU层和网络的注入性的清晰特征。首先，通过逐层分析，我们证明了扩张因子为2是必要的和足够的注入性，通过构建适当的权重矩阵。我们表明，全球注入性与iid高斯矩阵，一个常用的听话的模型，需要更大的膨胀率之间的3.4和10.5。我们还通过逆的最坏情况Lipschitz常数刻画了内射网络的逆的稳定性。然后，我们使用微分拓扑的参数来研究深度网络的内射性，并证明任何Lipschitz映射都可以被内射ReLU网络近似。最后，使用一个参数的基础上随机投影，我们表明，一个端到端-而不是逐层-加倍的尺寸足够的注入性。我们的结果为利用神经网络研究非线性逆问题和推理问题奠定了理论基础。
2021-10-08 cs.LG stat.ML
Verification of Neural Networks' Global Robustness
Technion（以色列理工学院）
针对现有神经网络全局鲁棒性验证无法给出精确保证的问题，提出基于混合整数规划、依赖剪枝和对抗攻击推广的VHAGaR随时验证器，计算最小全局鲁棒界，精度和速度显著优于现有方法。
2024-03-06 cs.CR cs.LG cs.PL
Conceptual Views of Neural Networks: A Framework for Neuro-Symbolic Analysis
本文提出概念视角框架，用于解释神经网络，通过实验展示其在模型比较和规则学习中的有效性。
2026-03-15 cs.AI cs.CV cs.LG
Globally-Aware Multiple Instance Classifier for Breast Cancer Screening
Center for Data Science, New York University（纽约大学数据科学中心）；Department of Radiology, New York University School of Medicine（纽约大学医学院放射学系）；Department of Computer Science, Courant Institute, New York University（纽约大学库朗研究所计算机科学系）；Facebook AI Research（脸书人工智能研究院）；CIFAR Azrieli Global Scholar（加拿大高等研究院阿兹里埃利全球学者）
为自然图像的视觉分类任务设计的深度学习模型在医学图像分析中已经变得普遍。然而，医学图像在许多方面不同于典型的自然图像，例如显著更高的分辨率和更小的感兴趣区域。此外，在医学图像分析任务中，全局结构和局部细节都起着重要作用。为了解决这些独特的属性的医学图像，我们提出了一个神经网络，能够分类乳腺癌病变利用信息从全球显着图和多个地方补丁。所提出的模型优于基于ResNet的基线，并实现了放射科医生水平的性能在筛查乳腺X射线摄影的解释。虽然我们的模型仅使用图像级标签进行训练，但它能够生成像素级显著性图，从而提供可能的恶性发现的定位。
2019-08-20 cs.LG eess.IV stat.ML
Learning to Solve the AC Optimal Power Flow via a Lagrangian Approach
Department of Electrical and Computer Engineering University of Washington（华盛顿大学电气与计算机工程系）
利用深度神经网络预测交流最优潮流（ACOPF）问题的解一直是一个活跃的研究方向。然而，由于ACOPF是非凸的，它是很难构建一个良好的数据集，包含大多数全局最优解。为了克服训练数据可能包含次优解的挑战，我们提出了一种基于拉格朗日的方法。首先，我们使用神经网络来学习ACOPF问题的对偶变量。然后，我们使用第二个神经网络来预测从预测的对偶变量的部分拉格朗日的解决方案。由于部分拉格朗日函数具有更好的优化效果，因此我们使用神经网络的预测解作为ACOPF问题的热启动。使用标准和修改的IEEE 22总线，39总线和118总线网络，我们表明，我们的方法是能够获得全局最优的成本，即使训练数据主要是由次优的解决方案。
2021-10-04 cs.LG cs.SY eess.SY
Learning Neural Contracting Dynamics: Extended Linearization and Global Guarantees
University of California, Santa Barbara（加州大学圣巴巴拉分校）
提出首个可在任意度量下获得全局收缩保证的神经网络动力学系统 ELCD，并通过潜空间微分同胚实现数据空间的全局收缩。
2025-01-08 cs.LG math.OC
Shapley Interpretation and Activation in Neural Networks
Barclays（巴克莱银行）
我们提出了一种新的Shapley值方法来帮助解决神经网络的可解释性和“消失梯度”问题。我们的方法是基于对具有ReLU激活的神经元的Shapley值的精确解析近似。这种分析近似允许跨神经网络层的相关性的线性传播，从而导致对神经网络的决策过程的简单、快速和明智的解释。然后，我们导出了一个全局连续且非零的Shapley梯度，它可以用ReLU激活来代替训练神经网络层的传统梯度，并带来更好的训练性能。我们进一步推导了Shapley激活（SA）函数，它是ReLU的近似，但具有Shapley梯度。SA易于在现有的机器学习框架中实现。数值测试表明，SA在训练收敛性，准确性和稳定性方面始终优于ReLU。
2019-09-17 cs.LG cs.NE stat.ML
Convergent Block Coordinate Descent for Training Tikhonov Regularized Deep Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
通过将ReLU函数提升到更高维的空间，我们开发了一种用于训练前馈深度神经网络（DNN）的光滑多凸公式。这使我们能够开发一个块坐标下降（BCD）训练算法，由一系列数值上表现良好的凸优化组成。利用凸分析中邻近点方法的思想，证明了该BCD算法将以一阶R-线性收敛速度全局收敛到一个稳定点。在MNIST数据库的实验中，使用该BCD算法训练的DNN始终比通过Caffe工具箱中的所有随机梯度下降（SGD）变体训练的相同DNN架构产生更好的测试集错误率。
2017-11-20 cs.CV cs.LG stat.ML
A more globally accurate dimensionality reduction method using triplets
Department of Computer Science, University of California, Santa Cruz（加州大学圣克鲁兹分校计算机科学系）
我们首先表明，常用的降维（DR）方法，如t-SNE和LargeVis在低维嵌入中捕获数据的全局结构很差。我们通过对DR方法的一些测试来证明这一点，任何从业者都可以轻松地将其应用于手头的数据集。令人惊讶的是，t-SNE执行最好的w.r.t.常用的奖励局部邻域准确性的措施，如精确召回，而在我们的测试中具有最差的性能为全球结构。然后，我们将这两种DR方法的性能与我们的新方法TriMap进行对比。TriMap背后的主要思想是用三元组信息（而不是t-SNE和LargeVis使用的成对信息）捕获更高阶的结构，并最小化鲁棒的损失函数以满足所选的三元组。我们在大型自然数据集上提供了令人信服的实验证据，证明了TriMap DR结果的明显优势。与LargeVis一样，TriMap随数据点的数量线性缩放。
2018-03-01 cs.LG
Exploiting Elasticity in Tensor Ranks for Compressing Neural Networks
The University of Hong Kong（香港大学）
在压缩深度神经网络（DNN）时，已经探索了深度、宽度、核大小和分辨率方面的弹性。认识到卷积神经网络（CNN）中的内核是4向张量，我们进一步利用沿输入输出通道的新弹性维度。具体而言，提出了一种新的核范数秩最小化因子分解（NRMF）方法，用于在训练过程中动态全局搜索降低的张量秩。揭示了多层张量秩之间的相关性，并在模型大小和精度之间获得了一个优雅的折衷。实验结果表明，NRMF优于以前的非弹性变分贝叶斯矩阵分解（VBMF）计划。
2021-05-10 cs.LG
Imbalanced Graph Classification via Graph-of-Graph Neural Networks
Vanderbilt University（范德堡大学）；Snap Research（Snap研究院）
图神经网络（GNN）在识别图的分类标签方面取得了前所未有的成功。然而，大多数现有的GNN图分类问题都遵循平衡数据分割的协议，这与许多现实场景不一致，其中一些类的标签比其他类少得多。在这种不平衡的情况下直接训练GNN可能会导致少数类别中的图的无信息表示，并损害整体分类性能，这表明开发有效的GNN对处理不平衡图分类的重要性。现有的方法要么是针对非图结构化数据量身定制的，要么是专门为不平衡节点分类而设计的，而很少关注不平衡图分类。为此，我们引入了一个新的框架，图的图神经网络（G $^2$ GNN），它通过从相邻图中全局导出额外的监督和从图的随机扩充中局部导出额外的监督来解决图的不平衡问题。在全球范围内，我们构建了一个图形的图形（GoG）的基础上内核相似性和执行GoG传播聚合相邻的图形表示。在局部，我们采用拓扑增强通过掩蔽节点功能或下降的边缘与自洽正则化生成每个图的随机增强，提高模型的泛化能力。在七个基准数据集上进行的广泛的图分类实验表明，我们提出的G $^2$ GNN在F1宏观和F1微观分数上都优于许多基线约5%。G $^2$ GNN的实现可在https：//github.com/YuWVandy/G2GNN}{https：//github.com/YuWVandy/G2GNN
2022-09-28 cs.LG cs.SI
Towards Understanding Learning in Neural Networks with Linear Teachers
Tel Aviv University（特拉维夫大学）
最小化交叉熵的神经网络能学习线性可分数据吗？尽管深度学习理论取得了进展，但这个问题仍然没有解决。在这里，我们证明了SGD全局优化了具有Leaky ReLU激活的双层网络的学习问题。原则上，学习网络可以非常复杂。然而，经验证据表明，它往往是近似线性的。我们证明了如果网络权重收敛到两个权重簇，这将意味着一个近似线性的决策边界，从而为这一现象提供了理论支持。最后，我们展示了导致权重聚类的优化条件。我们提供的实证结果验证了我们的理论分析。
2021-07-28 cs.LG
QPM: Discrete Optimization for Globally Interpretable Image Classification
Intel Labs（英特尔实验室）
针对深度模型全局解释难题，提出QPM模型，通过离散优化学习每类约5个共享特征的二元分配，实现可对比的全局可解释表示，并在准确性与可解释性上均达到最先进水平。
2025-02-27 cs.AI cs.CV cs.HC
Semantics for Global and Local Interpretation of Deep Neural Networks
The University of Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
具有高表现力的深度神经网络（DNN）在许多任务中已经实现了最先进的性能。然而，它们的分布式特征表示很难从语义上解释。在这项工作中，人类可解释的语义概念与特征空间中的向量相关联。关联过程在数学上被表述为优化问题。从最优解获得的语义向量被应用于全局和局部地解释深度神经网络。全局解释对于理解DNN学习的知识是有用的。对本地行为的解释可以帮助更好地理解DNN做出的个人决策。实证实验演示了如何使用识别的语义来解释现有的DNN。
2019-10-21 cs.CV cs.LG
Deep-ICE: the first globally optimal algorithm for minimizing 0-1 loss in two-layer ReLU and maxout networks
本文提出首个全局最优算法，用于最小化两层ReLU和maxout网络的经验风险，其最坏时间复杂度为O(N^{DK+1})，并引入新方法处理大规模数据，显著减少误分类。
2026-05-10 cs.LG
Learning Locally, Revising Globally: Global Reviser for Federated Learning with Noisy Labels
College of Computer Science, Sichuan University, Chengdu, China（四川大学计算机学院，中国成都）；Engineering Research Center of Machine Learning（机器学习工程研究中心）；University of Sydney, Sydney, Australia（悉尼大学，澳大利亚悉尼）；Southeast University, Nanjing, China（东南大学，中国南京）
针对联邦学习中标签噪声与数据异质性共存的问题，提出一种利用全局模型慢记忆特性的联邦全局修正器（FedGR），通过三个模块协同修正噪声标签并正则化局部训练，在三个基准上优于八种基线方法。
2026-05-28 cs.CV cs.LG
Are Deep Neural Networks "Robust"?
Rutgers University（罗格斯大学）
将离群值与内值分离是计算机视觉中鲁棒性的定义。本文描述了深度神经网络与典型的鲁棒估计器的不同之处。深度神经网络在传统定义下并不健壮。
2020-08-25 cs.CV cs.LG
Residual neural networks overcome the curse of dimensionality for semilinear heat equations
University of Freiburg（弗赖堡大学）
本文证明残差神经网络可克服半线性热方程的维数灾难，给出其参数数量的显式界，通过ResNet实现多级皮卡估计器的确定性完成近似任务。
2026-09-04 cs.LG cs.NA math.AP
hp-VPINNs: Variational Physics-Informed Neural Networks With Domain Decomposition
Brown University（布朗大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
我们制定了一个一般的框架，hp变分物理信息神经网络（hp-VPINNs）的基础上的非线性近似的浅层和深层神经网络和hp细化通过区域分解和投影到空间的高阶多项式。试验空间是神经网络的空间，它是在整个计算域上全局定义的，而测试空间包含分段多项式。具体来说，在这项研究中，惠普细化对应于一个全局近似与本地学习算法，可以有效地本地化网络参数优化。我们展示了hp-VPINNs的精度和训练成本的几个数值例子的函数逼近和求解微分方程的优势。
2020-03-11 cs.LG cs.NA cs.NE
Theory for groupoid equivariant neural networks: an approach for steerable CNNs on bounded domains
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Ciencias Matemáticas ICMAT (CSIC-UAM-UC3M-UCM)（数学科学研究所（ICMAT））
本文提出群胚等变神经网络理论，用于有界域上的可转向CNN，通过二分等变核定理和输运约束实现局部对称性，实验表明精度提升至少一个数量级。
2026-09-23 cs.LG math.DG
