SplineCam: Exact Visualization and Characterization of Deep Network Geometry and Decision Boundaries
Rice University（莱斯大学）；Meta AI；FAIR（FAIR（Facebook AI研究院））
SplineCam提出首个可证明精确计算深度网络几何与决策边界的方法，基于CPWL样条理论，无需采样或简化架构，支持多种激活函数及回归网络，可用于架构比较、泛化性度量和决策边界采样。
2024-06-06 cs.CV cs.LG
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们开发了一个变分框架来理解通过将具有整流线性单元激活的深度神经网络拟合到数据而学习到的函数的性质。我们提出了一个新的函数空间，这让人想起经典的有界变分型空间，它捕获了与深层神经网络相关的组成结构。我们推导出一个表示定理，表明深度ReLU网络是这个空间中函数的正则化数据拟合问题的解决方案。函数空间由Radon域中二阶有界变差的Banach空间的函数组成。这些是具有稀疏促进规范的Banach空间，可以深入了解稀疏性在深度神经网络中的作用。神经网络解决方案具有跳跃连接和秩有界权矩阵，为这些常见的结构选择提供了新的理论支持。我们研究的变分问题可以被改写为一个有限维的神经网络训练问题，其正则化方案与权重衰减和路径范数正则化的概念有关。最后，我们的分析建立在变分样条理论的技术基础上，提供了深度神经网络和样条之间的新联系。
2021-09-26 cs.LG stat.ML
On the influence of over-parameterization in manifold based surrogates and deep neural operators
Johns Hopkins University（约翰斯·霍普金斯大学）；Brown University（布朗大学）
构建精确的和可推广的逼近表现出高度非光滑的动态复杂的物理化学过程是具有挑战性的。在这项工作中，我们提出了新的发展，并对两种有前途的方法进行了比较：基于流形的多项式混沌扩展（m-PCE）和深度神经算子（DeepONet），我们研究了过参数化对泛化的影响。我们证明了这些方法的泛化精度方面的性能，通过解决2D时间相关的不确定性源的反应扩散系统，模拟两个物种之间的自催化化学反应。我们首先提出了一个扩展的m-PCE通过构建由两个单独的嵌入输入函数和输出QoIs形成的潜在空间之间的映射。为了提高DeepONet的准确性，我们在损失函数中引入了权重自适应。我们证明了m-PCE和DeepONet的性能在相对平滑的输入-输出映射的情况下是相当的。然而，当考虑高度非平滑的动态时，DeepONet显示出更高的准确性。我们还发现，对于m-PCE，适度的过参数化导致更好的泛化，无论是内部和外部的分布，而积极的过参数化导致过度拟合。相比之下，即使是高度过度参数化的DeepONet，也能为平滑和非平滑动态带来更好的泛化能力。此外，我们将上述模型的性能与另一种算子学习模型傅立叶神经算子进行了比较，并表明其过参数化也会导致更好的泛化。我们的研究表明，m-PCE可以以非常低的训练成本提供非常好的准确性，而高度过度参数化的DeepONet可以提供更好的准确性和对噪声的鲁棒性，但训练成本更高。在这两种方法中，推理成本可以…
2022-03-09 cs.LG
Binary segmentation of medical images using implicit spline representations and deep learning
SINTEF（辛泰夫研究院）；Oslo University Hospital（奥斯陆大学医院）；The Intervention Centre（介入中心）
我们提出了一种基于隐式样条表示与深度卷积神经网络相结合的图像分割新方法。这是通过预测二元样条函数的控制点来完成的，该二元样条函数的零集表示分割边界。我们适应几个现有的神经网络架构和设计新的损失函数，是专门为提供隐式样条曲线近似。先天性心脏病计算机断层扫描医学成像数据集上的方法进行评估。通过测量不同网络和损失函数的各种标准度量的性能进行实验。我们确定，样条二次$(1,1)$与$128\times128$系数分辨率进行最佳的$512\times 512$分辨率CT图像。对于我们最好的网络，我们实现了几乎92%的平均体积测试Dice得分，这达到了这个先天性心脏病数据集的最新水平。
2021-03-19 cs.CV cs.LG eess.IV
Approximation of Lipschitz Functions using Deep Spline Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
Lipschitz约束神经网络在机器学习中有着广泛的应用。由于设计和训练表达性Lipschitz约束网络非常具有挑战性，因此需要改进方法和更好的理论理解。不幸的是，事实证明，ReLU网络在这种情况下具有可证明的缺点。因此，我们建议使用可学习的样条激活函数，至少有3个线性区域。我们证明，这种选择是最佳的所有组件明智的$1$ -Lipschitz激活函数的意义上说，没有其他的重量约束架构可以近似一个更大的功能类。此外，这种选择至少与最近引入的用于谱范数约束权重的非分量Groupsort激活函数一样具有表达性。以前发表的数值结果支持我们的理论研究结果。
2022-04-13 cs.LG math.OC
Mad Max: Affine Spline Insights into Deep Learning
Rice University（莱斯大学）
我们通过样条函数和算子在深度网络（DN）和近似理论之间建立了严格的桥梁。我们的主要结果是，一大类DN可以写成最大仿射样条算子（MASO）的组合，这提供了一个强大的门户网站，通过它来查看和分析其内部工作。例如，在输入信号的条件下，MASO DN的输出可以写为输入的简单仿射变换。这意味着DN构建了一组依赖于信号的类特定模板，通过简单的内积将信号与之进行比较;我们通过匹配滤波器和数据记忆效应探索了与经典最优分类理论的联系。更进一步，我们提出了一个简单的惩罚项，可以添加到任何DN学习算法的成本函数中，以迫使模板彼此正交;这会显着提高分类性能并减少过度拟合，而不会改变DN架构。由MASO隐式诱导的输入信号空间的样条划分直接将DN与矢量量化（VQ）和$K$均值聚类理论联系起来，这为研究DN如何以分层方式组织信号开辟了新的几何途径。为了验证VQ解释的实用性，我们开发并验证了一种新的信号和图像的距离度量，该距离度量量化了它们的VQ编码之间的差异。(This这篇论文是ICML 2018中深度学习的样条理论的显著扩展版本。
2018-11-11 cs.LG stat.ML
SplineNet: An Isogeometric Deep Learning Method for Complex Shells
Global College, Shanghai Jiao Tong University（上海交通大学全球学院）
本文提出样条网络这一等几何深度学习方法，用于复杂壳体结构设计分析。基于封闭样条表示构建，能无数据或数据驱动应用。无数据时可结合CAE需求，数据驱动时可作主干网提供可解释性，经数值示例验证了该方法的有效性。
2026-07-08 cs.LG cs.NA math.NA
Robust Basis Spline Decoupling for the Compression of Transformer Models
NUMA, Department of Computer Science, KU Leuven（NUMA计算机科学系，鲁文大学）
本文提出了一种基于B-样条的解耦框架，通过利用B-样条的局部支持和灵活的光滑性控制，改进了传统张量解耦方法，提高了数值稳定性和表达能力，实验表明该方法在保持竞争力精度的同时实现了显著的参数减少。
2026-05-11 cs.AI cs.LG
Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit
为了从理论上理解经过训练的深度神经网络的行为，有必要研究梯度方法从随机初始化中诱导的动力学。然而，这些模型的非线性和组成结构使得这些动态难以分析。为了克服这些挑战，大宽度渐近最近成为一个富有成效的观点，并导致了对现实世界深度网络的实际见解。对于两层神经网络，通过这些渐近性可以理解，训练模型的性质根据初始随机权重的规模而发生根本性变化，范围从核机制（对于大的初始方差）到特征学习机制（对于小的初始方差）。对于更深的网络更多的制度是可能的，在本文中，我们详细研究了“小"初始化对应的“平均场”限制的神经网络，我们称之为可积参数化（IP）的具体选择。首先，我们证明了在标准i.i.d.零均值初始化，具有多于四层的神经网络的可积参数化在无限宽度极限中的静止点处开始，并且不发生学习。然后，我们提出了各种方法来避免这种琐碎的行为，并详细分析了由此产生的动态。特别是，这些方法之一，包括在使用大的初始学习率，我们表明，它相当于最近提出的最大更新参数化$μ$ P的修改。我们证实了我们的结果与数值实验上的图像分类任务，这也表明了强烈的差异，在行为之间的各种选择的激活函数，尚未捕获的理论。
2021-12-20 cs.LG
Physics-Informed Deep B-Spline Networks
本文提出了一种新的方法，通过神经网络学习B样条控制点来近似具有不同参数和初始边界条件的偏微分方程族，从而在理论上和实践中提升了求解复杂PDEs的效率和准确性。
2026-03-14 cs.LG cs.SY eess.SY
Speeding up deep neural network-based planning of local car maneuvers via efficient B-spline path construction
Institute of Robotics and Machine Intelligence, Poznan University of Technology（波兹南理工大学机器人与机器智能研究所）
本文演示了如何使用B样条的规划路径的有效表示，以及利用神经网络的归纳偏差的构造过程，加快了基于DNN的运动规划器的推理和训练。我们建立在我们最近的工作学习本地汽车演习从过去的经验，使用DNN架构，引入一种新的B样条路径构建方法，使其能够在几乎恒定的时间约11毫秒，尊重一些约束所施加的环境地图和运动学的汽车一样的车辆。我们彻底评估新的规划，采用最近的Bench-MR框架，以获得定量的结果表明，我们的方法优于国家的最先进的规划者在考虑的任务的大幅度。
2022-03-14 cs.AI cs.LG cs.RO
Adaptive Parameterization of Deep Learning Models for Federated Learning
Aarhus University（奥胡斯大学）
本文提出在联邦学习中使用并行 Adapter 对模型进行自适应参数化，在保持与全模型训练相近推理性能的同时，将通信开销降低约 90%，并验证了其在跨孤岛、跨设备及非独立同分布数据场景下的适用性。
2023-05-25 cs.LG
Deep Learning Generalization, Extrapolation, and Over-parameterization
Yale Center for Medical Informatics（耶鲁医学信息学中心）；VA Connecticut Healthcare System（康涅狄格州退伍军人医疗系统）
我们研究了过参数化深度网络（用于图像分类）相对于其训练集的凸包的泛化。尽管它们取得了巨大的成功，但深度网络的泛化仍然被认为是一个谜。这些模型的参数比训练样本多几个数量级，即使训练图像被随机标记，或者图像内容被随机噪声替换，它们也可以在训练集上达到完美的精度。这些模型的训练损失函数具有无限数量的近零极小值，其中只有一小部分极小值具有很好的推广性。总的来说，目前尚不清楚为什么模型需要过度参数化，为什么我们应该使用非常特定的训练机制来训练它们，以及为什么它们的分类对不可感知的对抗性扰动（称为对抗性脆弱性的现象）\cite{papernot2016limitations,shafahi2018adversarial,tsipras2018robustness}如此敏感。最近的一些研究在回答这些问题上取得了进展，但他们只考虑插值。我们表明插值不足以理解深度网络的泛化，我们应该拓宽我们的视角。
2022-03-19 cs.LG
Max-Affine Spline Insights into Deep Generative Networks
Rice University（莱斯大学）；UTLN（土伦大学）
我们将一大类生成深度网络（GDN）与样条算子连接起来，以获得它们的属性，限制和新的机会。通过对生成流形的特征空间划分、维数和棱角性的刻画，将流形维数和逼近误差与样本量联系起来。每个区域的流形仿射子空间定义了一个局部坐标基，我们提供了必要和充分的条件，这些基向量与解纠缠。我们还推导出映射到生成的流形上的输出概率密度的潜在空间密度，这使得计算关键的统计数据，如香农熵。这一发现也使计算的GDN的可能性，这提供了一个新的机制，模型比较，以及提供一个质量测量（生成）的样本下学习的分布。我们证明了低熵和/或多峰分布如何不自然地由DGN建模，并且是训练不稳定性的原因。
2020-02-26 cs.CG cs.CV cs.LG
Spectral Tensor Train Parameterization of Deep Learning Layers
ETH Zurich（苏黎世联邦理工学院）；HSE University（俄罗斯国立高等经济大学）；KU Leuven（鲁汶大学）
我们研究了在深度学习背景下嵌入谱属性的权重矩阵的低秩参数化。低秩属性导致参数效率，并允许在计算映射时采取计算捷径。在优化问题中，谱特性常常受到约束，从而导致更好的模型和优化的稳定性。首先，我们看看紧凑的SVD参数化的权重矩阵，并确定冗余源的参数化。我们进一步应用张量训练（TT）分解的紧凑SVD组件，并提出了一个非冗余的可微参数化固定TT秩张量流形，称为谱张量训练参数化（STTP）。我们展示了神经网络压缩在图像分类设置中的效果，以及在生成对抗训练设置中的压缩和改进的训练稳定性。
2021-07-13 cs.CV cs.LG stat.ML
A representer theorem for deep neural networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们建议通过向代价函数添加相应的函数正则化来优化深度神经网络的激活函数。我们证明使用二阶全变差准则。这使我们能够推导出深度神经网络的一般表示器定理，该定理与样条和稀疏性直接相关。具体而言，我们表明，最佳的网络配置可以实现与激活函数，是非均匀的线性样条自适应结。底线是每个神经元的动作都是由样条编码的，样条的参数（包括节点的数量）在训练过程中得到了优化。该方案产生的计算结构与现有的深度ReLU，参数ReLU，APL（自适应分段线性）和MaxOut架构兼容。它还提出了新的优化挑战，同时明确了与$\ell_1$最小化和稀疏促进技术的联系。
2019-02-01 cs.LG stat.ML
Deep neural networks for smooth approximation of physics with higher order and continuity B-spline base functions
AGH University of Science and Technology（AGH科技大学）；Jagiellonian University（雅盖隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文主要研究以下几个重要问题。传统上，神经网络采用与线性算子级联的非线性激活函数来近似给定的物理现象。他们用激活函数和线性算子的串联“填充空间”，并调整它们的系数以近似物理现象。我们主张，最好是“填充空间”的光滑高阶B样条基函数的线性组合，采用等几何分析，并利用神经网络来调整线性组合的系数。也就是说，评估了用神经网络逼近B样条基函数系数和直接逼近解的可能性。Maziar Raissi等人在2017年通过引入物理信息神经网络（PINN）提出了用神经网络求解微分方程，PINN自然地将潜在的物理定律编码为先验信息。使用函数作为输入的系数的近似利用了神经网络作为通用函数近似器的公知能力。本质上，在PINN方法中，网络近似于给定点处给定字段的值。本文提出了一种新的方法，将物理量近似为光滑B样条基函数的线性组合，用神经网络逼近B样条基函数的系数。本研究比较了DNN逼近B样条基函数的线性组合系数与DNN直接逼近解的结果。我们表明，我们的方法是更便宜，更准确的近似光滑的物理场。
2022-01-03 cs.LG cs.NA math.NA
Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning
Google Research（谷歌研究院）；MILA, Université de Montréal（蒙特利尔大学MILA）；UC Berkeley（加州大学伯克利分校）
我们在使用自举的基于值的深度RL方法中发现了一种隐式的参数化不足现象：当使用深度神经网络近似的价值函数使用梯度下降进行训练时，使用迭代回归到由值网络的先前实例生成的目标值上，更多的梯度更新会降低当前值网络的表达能力。我们通过学习值网络特征的排名下降来表征这种表达能力的损失，并表明这通常对应于性能下降。我们在Atari和Gym基准测试中展示了这种现象，无论是离线还是在线RL设置。我们正式分析这种现象，并表明它是从一个病态的相互作用之间的自举和基于梯度的优化。我们进一步表明，通过控制秩崩溃来减轻隐式欠参数化可以提高性能。
2021-10-25 cs.LG stat.ML
On the Geometry of Deep Learning
Brown University（布朗大学）；Rice University（莱斯大学）
本文综述深度学习数学基础中深度网络与仿射样条函数逼近的关联，梳理相关几何性质（尤其是输入空间剖分）的十年研究，指出该几何视角为分析和改进深度网络提供了有力工具。
2025-01-14 cs.AI cs.CV cs.LG
Enhancing the Parameterization of Reservoir Properties for Data Assimilation Using Deep VAE-GAN
Departamento de Engenharia de Minas e de Petróleo, Escola Politécnica, Universidade de São Paulo（圣保罗大学采矿与石油工程系，理工学院）；Department of Earth Science and Engineering, Imperial College London（伦敦帝国理工学院地球科学与工程系）
提出将VAE-GAN与ESMDA结合，以同时实现高质量储层描述和良好历史拟合，克服传统方法在非高斯分布和有限集合大小上的局限。
2026-03-22 cs.LG
Weight-Parameterization in Continuous Time Deep Neural Networks for Surrogate Modeling
Sandia National Labs（沙伊国家实验室）
本研究针对连续时间深度学习模型训练时变权重的难题，提出基于多项式基的低维权重参数化策略，实验证明勒让德多项式基可在模型表达性与训练效率间实现良好权衡。
2025-07-29 cs.LG math.OC
Direct Parameterization of Lipschitz-Bounded Deep Networks
Australian Centre for Robotics（澳大利亚机器人中心）；The University of Sydney（悉尼大学）
本文提出具有 ℓ² Lipschitz 保证且完备的深度网络直接参数化 sandwich layer，可用标准梯度训练，并在图像分类的经验与认证鲁棒精度上优于已有方法。
2023-06-06 cs.AI cs.LG
A Deep Learning Approach to Data-driven Parameterizations for Statistical Parametric Speech Synthesis
Carnegie Mellon University（卡内基梅隆大学）
几乎所有的统计参数语音合成器今天使用梅尔倒谱系数作为声道参数化的语音信号。梅尔倒谱系数从来没有打算在参数语音合成框架中工作，但是到目前为止，在创建更适合于合成的更好的参数化方面几乎没有成功。在本文中，我们使用深度学习算法来研究一种数据驱动的参数化技术，该技术是针对合成的特定要求而设计的。我们通过训练锥形堆叠去噪自动编码器（SDA）来创建Mel Log Spectrum的可逆，低维，噪声鲁棒编码。然后，将该SDA解包并用作多层感知器（MLP）的初始化。通过训练MLP来微调它以在输出层重建输入。然后将该MLP从中间拆分，以形成编码和解码网络。这些网络产生Mel对数谱的参数化，旨在更好地满足合成的要求。结果报告的实验进行了使用这一结果的参数化与MixterGen语音合成器。
2014-09-30 cs.CL cs.LG cs.NE
Online Test of a Neural Network Deep Convection Parameterization in ARP-GEM1
CNRM, Université de Toulouse, Météo-France, CNRS（法国国家科研中心-图卢兹大学-法国气象局国家气象研究中心）
本研究借助OASIS耦合器的Python接口，将神经网络深对流参数化方案集成进全球大气模型ARP-GEM1，5年模拟验证其效果与原物理方案吻合良好，且通过GPU部署提升了推理速度。
2024-10-29 cs.LG physics.ao-ph
Max-Affine Spline Insights Into Deep Network Pruning
Rice University（莱斯大学）；Meta AI Research（Meta AI研究院）
本文基于连续分段仿射网络理论分析深度网络剪枝，揭示了剪枝对决策边界的影响，提供了早鸟彩票现象的解释，并提出了性能媲美现有最先进方法的逐层和全局剪枝策略。
2025-03-03 cs.AI cs.LG
Towards a Robust Parameterization for Conditioning Facies Models Using Deep Variational Autoencoders and Ensemble Smoother
PUC-RIO（里约热内卢天主教大学）；Petrobras（巴西国家石油公司）
关于历史拟合的文献是巨大的，尽管在过去十年中提出了令人印象深刻的方法和报告的重大进展，调节储层模型的动态数据仍然是一项具有挑战性的任务。基于集成的方法是目前可用于历史匹配的最成功和最有效的技术之一。这些方法通常能够实现合理的数据匹配，特别是如果采用迭代公式。然而，它们有时不能保持模型的地质真实性，这在具有复杂相分布的储层中特别明显。这主要是因为这些方法中固有的高斯假设。这一事实鼓励了密集的研究活动，以开发相历史匹配的参数化。尽管大量的出版物，强大的参数化相的发展仍然是一个悬而未决的问题。深度学习技术已经在许多不同的领域取得了令人印象深刻的成果，并且在地球科学数据同化中的第一个应用已经开始出现在文献中。本文报告了我们的调查使用深神经网络对建设一个连续的参数化相，可用于数据同化集成方法的当前结果。具体来说，我们使用卷积变分自动编码器和集成平滑多个数据同化。我们测试了三个合成的历史匹配问题与渠化相的参数化。我们关注这种类型的相，因为它们是数据同化后最具挑战性的相之一。参数化显示出优于以前方法的有前途的结果，并产生定义明确的通道化相。
2018-12-17 cs.LG stat.ML
Towards Physically Consistent Deep Learning For Climate Model Parameterizations
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Bremen（不来梅大学）
本文提出高效监督学习框架，通过识别真正物理驱动特征并仅用其微调神经网络，使气候模型的深度学习参数化兼具物理一致性、可解释性与原有预测性能。
2024-10-16 cs.LG physics.ao-ph
Paraformer: Parameterization of Sub-grid Scale Processes Using Transformers
Northeastern University（东北大学）；Microsoft Corporation（微软公司）；The Institute for Experiential AI（体验式人工智能研究所）；Roux Institute（鲁克斯研究所）；Zeus AI（宙斯人工智能公司）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出基于ClimSim数据集的“记忆感知”Transformer模型Paraformer，用于次网格尺度物理过程参数化，成功捕捉复杂非线性依赖并优于经典深度学习架构。
2024-12-21 cs.LG physics.ao-ph
Learning Efficient Surrogate Dynamic Models with Graph Spline Networks
KAIST（韩国科学技术院）；DiffeqML, AI4CO（DiffeqML，AI4CO）；Stanford University（斯坦福大学）；Mila and University of Montreal（米拉研究所和蒙特利尔大学）；OMELET
提出 GraphSplineNets 深度学习方法，利用可微正交样条配置和空间自适应策略减小网格尺寸与迭代步数，在多种动力系统预测中显著提升了精度与加速的权衡。
2023-10-25 cs.LG cs.NA math.NA
Direct Optimization of a 3D Finite-Source Reflector via Neural-Network Parameterization
Eindhoven University of Technology（埃因霍温理工大学）；Signify（昕诺飞）
该研究提出一种用神经网络参数化三维自由形式反射器的直接优化方法，结合可微分光线追踪、H⁻¹型谱权重及带特定更新规则的BFGS算法，可在单GPU上数秒内可靠收敛，实现有限光源到指定远场分布的转换。
2026-09-02 cs.LG physics.optics
On the Parameterization of Second-Order Optimization Effective Towards the Infinite Width
Tokyo Institute of Technology（东京工业大学）；Artificial Intelligence Research Center（人工智能研究中心）；AIST（日本产业技术综合研究所）
本文提出一种面向无限宽度的二阶优化参数化方法，通过揭示超参数适当尺度，使K-FAC和Shampoo在宽网络中稳定促进特征学习并实现超参数跨宽度迁移。
2024-06-08 cs.LG
How Much Over-parameterization Is Sufficient to Learn Deep ReLU Networks?
最近一系列关于深度学习的研究集中在极端过度参数化的设置上，并表明当网络宽度大于训练样本大小$n$和目标误差$ε^{-1}$的倒数的高次多项式时，通过（随机）梯度下降学习的深度神经网络具有良好的优化和泛化保证。最近，研究表明，在对训练数据的某些裕度假设下，多对数宽度条件足以使双层ReLU网络收敛和泛化（Ji and Telgarsky，2019）。然而，深度神经网络是否可以通过这种温和的过度参数化来学习仍然是一个悬而未决的问题。在这项工作中，我们肯定地回答了这个问题，并为通过（随机）梯度下降训练的深度ReLU网络建立了更清晰的学习保证。具体而言，在一定的假设下，在以前的工作中，我们的优化和推广保证持有$n$和$ε^{-1}$的网络宽度多对数。我们的研究结果将过度参数化深度神经网络的研究推向了更实用的设置。
2021-12-30 cs.LG math.OC stat.ML
An Analysis of Posterior Collapse, Parameterization and Initialization in Variational Deep Gaussian Processes
Department of Computer Science and Artificial Intelligence（计算机科学与人工智能系）；Universidad de Granada（格拉纳达大学）；Department of Quantitative Methods（定量方法系）；CUNEF Universidad Madrid, Spain（CUNEF马德里大学, 西班牙）；Department of Computer Science and Centro de Investigación Avanzada en Física Fundamental（计算机科学系和先进物理基础研究中心）；Universidad Autónoma de Madrid（马德里自治大学）
研究变分深度高斯过程的后验坍缩问题，发现线性先验均值函数的优势源于改善初始化时的优化条件，提出零先验均值的替代初始化方法，避免后验坍缩并提升稳定性。
2026-06-25 cs.LG
Spline-Based Probability Calibration
Lucena Consulting（Lucena咨询公司）
在许多分类问题中，希望输出不同类别的校准好的概率。我们提出了一个强大的，非参数的校准概率的方法称为SplineCalibb，利用平滑样条来确定校准函数。我们演示了如何将某些转换作为校准过程的一部分来应用，以提高深度学习和其他得分往往“过于自信”的领域中的问题的性能。我们适应的方法，多类问题，发现更好的校准可以提高精度，以及更好地解决不确定的情况下，日志丢失。最后，我们提出了一个交叉验证的方法来校准保存数据。在几个不同的问题上显示了对对数损失和准确性的显着改善。我们还介绍了ml-insights python包，其中包含SplineCalib算法的实现。
2018-09-20 cs.AI cs.LG math.PR
Stabilizing Gradients for Deep Neural Networks via Efficient SVD Parameterization
Amazon/A9（亚马逊/A9）
梯度消失和梯度爆炸是训练深度神经网络的两个主要障碍，特别是在捕获递归神经网络~（RNN）中的长程依赖关系方面。在本文中，我们提出了RNN的转移矩阵的有效参数化，使我们能够稳定其训练中出现的梯度。具体来说，我们通过奇异值分解（SVD）来参数化转移矩阵，这允许我们显式地跟踪和控制其奇异值。我们通过使用数值线性代数中常见的工具来实现效率，即Householder反射器用于表示SVD中出现的正交矩阵。通过显式控制奇异值，我们提出的Spectral-RNN方法使我们能够轻松解决梯度爆炸问题，并且我们观察到它在很大程度上凭经验解决了梯度消失问题。我们注意到SVD参数化可以用于任何矩形权重矩阵，因此它可以很容易地扩展到任何深度神经网络，例如多层感知器。从理论上讲，我们证明了我们的参数化不会失去任何表达能力，并展示了它如何控制RNN的分类任务的泛化。%，并展示它如何潜在地使优化过程更容易。我们广泛的实验结果也表明，所提出的框架收敛速度更快，具有良好的泛化能力，特别是在捕捉长范围的依赖关系，如合成添加和复制任务，以及MNIST和Penn Tree Bank数据集。
2018-03-25 cs.LG stat.ML
KernelNet: A Data-Dependent Kernel Parameterization for Deep Generative Modeling
State University of New York at Buffalo（纽约州立大学布法罗分校）
核学习是机器学习中的一个重要概念。内核方法的标准方法通常使用预定义的内核，需要仔细选择超参数。为了减轻这一负担，我们在本文中提出了一个框架，以构建和学习一个数据依赖的内核的基础上，随机特征和隐式谱分布参数化的深度神经网络。构建的网络（称为KernelNet）可以应用于各种场景中的深度生成建模，包括深度生成模型中两种流行的学习范式，MMD-GAN和隐式变分自编码器（VAE）。我们表明，我们提出的内核确实存在于应用程序中，并保证是正定的。此外，诱导的最大平均离散（MMD）可以通过简单的正则化赋予弱拓扑的连续性。广泛的实验表明，与相关方法相比，我们提出的KernelNet始终获得更好的性能。
2020-06-25 cs.CV cs.LG stat.ML
Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
神经网络（NN）的学习动力学和归纳偏差的理解受到NN参数和所表示的函数之间关系的不透明性的阻碍。我们建议将ReLU NN重新参数化为连续分段线性样条。使用这种样条透镜，我们研究了浅单变量ReLU NN的学习动态，为几个令人困惑的现象找到了意想不到的见解和解释。我们开发了一个令人惊讶的简单和透明的视图的损失表面的结构，包括其临界点和不动点，海森，和海森谱。我们还表明，标准的权重初始化产生非常平坦的函数，这种平坦性，加上overparametrization和初始权重规模，是负责隐式正则化的强度和类型，与最近的工作arXiv：1906.05827。我们的隐式正则化结果是对最近独立完成的工作arXiv：1906.07842的补充，该工作表明初始化规模通过基于内核的参数严格控制隐式正则化。我们基于样条的方法再现了他们的关键隐式正则化结果，但以更直观和透明的方式。展望未来，我们基于样条的方法很可能会自然地扩展到多元和深层环境，并将在理解神经网络的努力中发挥基础作用。使用基于样条的可视化学习动态的视频可在http://shorturl.at/tFWZ2上获得。
2020-08-04 cs.LG stat.ML
R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks
Australian Centre for Robotics（澳大利亚机器人中心）；School of Aerospace, Mechanical and Mechatronic Engineering（航空航天、机械与机电工程学院）；The University of Sydney（悉尼大学）
本文提出鲁棒循环深度网络（R2DN），通过将线性时不变系统与1-Lipschitz深度前馈网络反馈互联，直接参数化权重以保证模型稳定（收缩）且对小输入扰动鲁棒（Lipschitz），相比循环均衡网络（REN）无需迭代求解均衡层，显著提升GPU上的推理和反向传播速度，并在非线性系统辨识、观测器设计和基于学习的反馈控制中实现相近性能下训练和推理速度提升一个数量级。
2026-09-18 cs.LG cs.SY eess.SY
Spectral Gating Networks
Sun Yat-sen University, China（中山大学，中国）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）
谱门网络通过引入紧凑的频谱路径和可学习门控，提升模型在保持稳定性和可扩展性的同时的准确率与效率权衡。
2026-02-07 cs.AI cs.LG
Distance-Aware Error for Spline Networks: A Bottom-Up Approach to Uncertainty
Department of Electrical and Computer Engineering of University of Maine（缅因大学电气与计算机工程系）；Electrical and Microelectronic Engineering Department of Rochester Institute of Technology（罗切斯特理工学院电气与微电子工程系）
本文提出一种自下而上的距离感知误差界方法，用于刻画样条神经网络的逼近误差，通过分析神经元误差传播得到整体网络误差界，方法确定性高且适用于稀疏激光扫描和无结构环境中的安全导航。
2026-04-30 cs.LG eess.SP
3D CNN-PCA: A Deep-Learning-Based Parameterization for Complex Geomodels
Stanford University（斯坦福大学）
地质参数化使得地质模型能够以相对较小的变量集来表示。因此，参数化在数据同化和不确定性量化方面非常有用。在这项研究中，一个基于深度学习的地质参数化算法，CNN-PCA，开发了复杂的三维地质模型。CNN-PCA需要使用卷积神经网络作为地质模型的低维主成分分析表示的后处理器。这里介绍的3D处理与2D CNN-PCA程序中使用的处理略有不同。具体来说，我们引入了一种新的基于监督学习的重建丢失，它与风格丢失和硬数据丢失结合使用。风格损失使用从预训练用于视频分类的3D CNN提取的特征。三维CNN-PCA算法适用于生成有条件的三维实现，定义在$60\times60\times40$网格上，用于三种地质情况（二元和双峰通道化系统，以及三相通道-堤坝-泥浆系统）。CNN-PCA实现显示出与使用基于对象的方法生成的参考模型在视觉上一致的地质特征。3D CNN-PCA模型测试集的流量响应统计（$\text{P}_{10}$、$\text{P}_{50}$、$\text{P}_{90}$百分位数结果）与参考地质模型一致。最后，将CNN-PCA与ESMDA成功地应用于双模信道化系统的历史匹配。
2020-07-16 cs.CE cs.CV cs.LG
Fast spline detection in high density microscopy data
Niels Bohr Institute, University of Copenhagen（哥本哈根大学尼尔斯·玻尔研究所）
针对多生物显微数据中重叠细长体检测难的问题，提出端到端深度学习方法，可在低分辨率下快速追踪数千个重叠样条，基于合成数据训练并能泛化到真实线虫实验视频。
2023-01-13 cs.CV cs.LG q-bio.QM
Deep Learning Based Cloud Cover Parameterization for ICON
University of Lausanne（洛桑大学）；Columbia University（哥伦比亚大学）；Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR)（德国航空航天中心）；Max Planck Institute for Meteorology（马克斯·普朗克气象研究所）；University of Bremen（不来梅大学）
本文在 ICON 框架中利用风暴解析模式粗粒度数据训练三类神经网络云量参数化，结合 SHAP 可解释性分析揭示模型偏差来源，证明深度学习可从全球 SRM 推导准确且可解释的云量参数化，并指出邻域模型是准确性与泛化性的良好折中。
2022-12-06 cs.LG physics.ao-ph
Vec2Instance: Parameterization for Deep Instance Segmentation
Asian Institute of Technology（亚洲理工学院）
目前深度学习的进展正在使计算机视觉任务（如对象分类、定位、语义分割和实例分割）达到人类水平的准确性。在本文中，我们描述了一种新的深度卷积神经网络架构，称为Vec2Instance，用于实例分割。Vec2Instance为实例的参数化提供了一个框架，允许卷积神经网络有效地估计实例在其质心周围的复杂形状。我们证明了所提出的架构的可行性，卫星图像上的实例分割任务，有广泛的应用。此外，我们证明了新方法的实用性，从卫星图像中提取建筑物的足迹。我们的方法的总像素精度为89%，接近最先进的Mask RCNN的精度（91%）。Vec2Instance是复杂实例分割管道的另一种方法，提供了简单性和直观性。根据本研究开发的代码可在Vec2Instance GitHub存储库中获得，https://github.com/lakmalnd/Vec2Instance
2020-10-06 cs.CV cs.LG eess.IV
Deep-SITAR: A SITAR-Based Deep Learning Framework for Growth Curve Modeling via Autoencoders
Department of Mathematics University of the Basque Country（数学系巴斯克大学）；Neurologyca science and marketing（神经学、科学与营销）；School of Science and Technology IE University（科技学院IE大学）
本文提出 Deep-SITAR，一种融合自编码器、深度神经网络与 B 样条的监督式框架，用于估计 SITAR 生长模型并免重估预测新个体随机效应。
2025-05-14 cs.LG stat.ML
Mitigating severe over-parameterization in deep convolutional neural networks through forced feature abstraction and compression with an entropy-based heuristic
Auckland University of Technology（奥克兰理工大学）
卷积神经网络（CNN），如ResNet-50，DenseNet-40和ResNeXt-56是严重过度参数化的，因此需要增加模型训练所需的计算资源，模型训练以指数方式增加模型深度。在本文中，我们提出了一个基于熵的卷积层估计（EBCLE）启发式算法，这是强大的，简单的，但有效地解决了过度参数化的问题，关于CNN模型的网络深度。EBCLE启发式算法采用输入数据集的熵数据分布的先验知识来确定卷积网络深度的上限，超过该上限，恒等变换是普遍的，为增强模型性能提供了微不足道的贡献。通过强制特征压缩和抽象来限制深度冗余，限制了过度参数化，同时减少了24.99% - 78.59%的训练时间，而不会降低模型性能。我们提出了经验证据来强调使用EBCLE启发式训练的较宽但较浅的模型的相对有效性，该模型保持或优于较窄但较深的模型的基线分类准确性。EBCLE启发式算法在架构上是不可知的，并且基于EBCLE的CNN模型限制深度冗余，从而增强了对可用计算资源的利用。提出的EBCLE启发式是一种令人信服的技术，研究人员可以分析证明他们对CNN的HyperParameter（HP）选择。EBCLE启发式训练CNN模型的经验验证是在五个基准数据集（ImageNet 32，CIFAR-10/100，STL-10，MNIST）和四个网络架构（DenseNet，ResNet，ResNeXt和EfficientNet B 0-…
2021-06-27 cs.CV cs.LG
The Benefits of Over-parameterization at Initialization in Deep ReLU Networks
Salesforce Research（Salesforce研究院）；Mila
在现有文献中已经注意到，ReLU网络中的过度参数化通常会提高性能。虽然这背后可能涉及几个因素，但我们证明了ReLU网络在初始化时可能享有的一些理想的理论属性。具体来说，众所周知，深度ReLU网络中的He初始化渐进地保留了无限宽网络的前向传递中的激活方差和后向传递中的梯度方差，从而保留了两个方向上的信息流。我们的论文超越了这些结果，并显示了在He初始化下的新性质：i）每层的隐激活范数等于输入的范数，ii）每层的权重梯度范数等于输入向量的范数与输出层误差的乘积。这些结果是使用PAC分析框架得出的，并且适用于大规模的数据集，因此ReLU网络的宽度只需要大于某个有限的下限。正如我们所展示的，这个下限取决于网络的深度和样本的数量，并且由于是一个下限，过度参数化的ReLU网络被赋予了这些理想的属性。对于前面提到的He初始化下的隐藏激活范数性质，我们进一步扩展了我们的理论，并证明了即使当数据样本的数量是无限时，这个性质也适用于有限宽度的网络。因此，我们克服了现有论文的一些局限性，并在初始化时展示了深度ReLU网络的新特性。
2019-10-02 cs.LG stat.ML
Effect of Depth and Width on Local Minima in Deep Learning
MIT（麻省理工学院）；Harvard University（哈佛大学）
在本文中，我们分析了深度和宽度的局部极小值的质量的影响，没有强烈的过度参数化和简化的假设在文献中。在没有任何简化假设的情况下，对于具有平方损失的深度非线性神经网络，我们从理论上证明了随着深度和宽度的增加，局部极小值的质量趋于向全局极小值改善。此外，在深度非线性神经网络上具有局部诱导结构，神经网络的局部极小值的值在理论上被证明不劣于相应的经典机器学习模型的全局最优值。我们经验上支持我们的理论观察与合成数据集以及MNIST，CIFAR-10和SVHN数据集。当与以前的研究与强大的过参数化的假设相比，本文的结果不需要过参数化，而是显示了逐步的过参数化的一般结果的后果的影响。
2019-07-09 cs.LG cs.NE math.OC
Memorization and Optimization in Deep Neural Networks with Minimum Over-parameterization
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；EPFL（洛桑联邦理工学院）
本文研究了次线性层宽设置下深层网络的神经正切核条件性，给出了参数量约 $Ω(N)$、神经元量约 $Ω(\sqrt{N})$ 的最小过参数化网络的最小 NTK 特征值下界，并证明了其记忆容量与梯度下降优化保证。
2023-05-21 cs.IT cs.LG math.IT
Continual Learning in Deep Networks: an Analysis of the Last Layer
Université de Montréal（蒙特利尔大学）；MILA - Quebec AI Institute（MILA - 魁北克人工智能研究所）
我们研究了深度神经网络的不同输出层参数化如何影响持续学习设置中的学习和遗忘。以下三种影响可能导致输出层中的灾难性遗忘：（1）权重修改，（2）干扰，以及（3）投影漂移。在本文中，我们的目标是提供更多关于如何改变输出层参数化可以解决（1）和（2）的见解。本文提出了解决这些问题的一些可能方案，并在几个持续学习场景中进行了评估。我们表明，性能最好的输出层类型取决于数据分布漂移和/或可用数据量。特别地，在标准线性层可能失败的某些情况下，改变参数化足以实现显著更好的性能，而无需引入任何连续学习算法，而是通过使用标准SGD来训练模型。我们的分析和结果揭示了输出层在持续学习场景中的动态变化，并提出了一种为给定场景选择最佳输出层类型的方法。
2022-08-17 cs.AI cs.LG
Wahkon: A Statistically Principled Deep RKHS Superposition Network
Harvard University（哈佛大学）；University of Georgia（佐治亚大学）
Wahkon结合Kolmogorov超位置原理与RKHS正则化，提供有限维深度表示定理，实现训练可行性与层间复杂度控制，通过统计保证提升预测准确性与解释性。
2026-05-13 cs.LG stat.ME
Uncertainty Estimation by Density Aware Evidential Deep Learning
Department of Industrial and Systems Engineering, KAIST, Daejeon, Republic of Korea（工业与系统工程系，韩国科学技术院）
针对证据深度学习在OOD检测和分类上的不足，提出密度感知证据深度学习（DAEDL），融合特征密度并改进参数化，理论性质优良，在多项任务上达到最先进性能。
2024-09-13 cs.LG stat.ML
Reconsidering Analytical Variational Bounds for Output Layers of Deep Networks
Criteo AI Lab（Criteo人工智能实验室）；Durham University（杜伦大学）
重新参数化技巧与变分自动编码器的结合在贝叶斯深度学习中引起了轰动，允许训练图像的真实生成模型，并大大提高了我们使用可扩展潜变量模型的能力。重新参数化的技巧是必要的模型，其中没有分析变分界限是可用的，并允许噪声梯度计算任意模型。然而，对于神经网络的某些标准输出层，分析边界是可用的，并且可以使用变分自动编码器，而不需要重新参数化技巧或任何蒙特卡罗近似。在这项工作中，我们表明，使用Jaakola和Jordan界，我们可以产生一个二进制分类层，允许贝叶斯输出层进行训练，使用标准的随机梯度下降算法。我们进一步证明，一个潜在的变量模型，利用布沙尔界多类分类允许快速训练的完全概率的潜在因素模型，即使当类的数量是非常大的。
2019-10-03 cs.LG stat.ML
PostHoc FREE Calibrating on Kolmogorov Arnold Networks
Institute for Clarity in Documentation（文献研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康校区）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文研究了KAN的置信度校准问题，分析了四个关键超参数的影响，并提出温度缩放损失(TSL)直接整合温度参数至训练目标，显著降低校准误差并提升预测可靠性。
2025-03-03 cs.CV cs.LG
