Optimal Approximation with Sparse Neural Networks and Applications
我们使用深度稀疏连接的神经网络来测量$L^2(\mathbb R^d)$中的函数类的复杂性，通过限制存储神经网络的连接和内存要求。我们还介绍了表示系统-一个可数的函数集合，以指导神经网络，因为近似理论与表示系统已经在数学中得到了很好的发展。然后我们证明了基本界定理，这意味着函数类本身的一个内在量可以给出有关神经网络和表示系统的逼近能力的信息。我们还提供了一种将现有的表示系统逼近理论转化为神经网络逼近理论的方法，极大地放大了神经网络的实用价值。最后，利用神经网络逼近B样条函数，生成B样条曲线。然后，我们分析了一类称为$β$卡通函数的复杂性，使用率失真理论和楔形波构造。
2021-08-14 cs.AI cs.LG math.OC
Binary segmentation of medical images using implicit spline representations and deep learning
SINTEF（辛泰夫研究院）；Oslo University Hospital（奥斯陆大学医院）；The Intervention Centre（介入中心）
我们提出了一种基于隐式样条表示与深度卷积神经网络相结合的图像分割新方法。这是通过预测二元样条函数的控制点来完成的，该二元样条函数的零集表示分割边界。我们适应几个现有的神经网络架构和设计新的损失函数，是专门为提供隐式样条曲线近似。先天性心脏病计算机断层扫描医学成像数据集上的方法进行评估。通过测量不同网络和损失函数的各种标准度量的性能进行实验。我们确定，样条二次$(1,1)$与$128\times128$系数分辨率进行最佳的$512\times 512$分辨率CT图像。对于我们最好的网络，我们实现了几乎92%的平均体积测试Dice得分，这达到了这个先天性心脏病数据集的最新水平。
2021-03-19 cs.CV cs.LG eess.IV
Spline parameterization of neural network controls for deep learning
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Cornell University（康奈尔大学）
基于将深度学习转换作为最优控制问题的连续解释，本文研究了采用B样条基函数对各层神经网络控制进行参数化的好处。我们选择固定数量的B样条基函数，其系数是神经网络的可训练参数，而不是为离散ODE网络的每一层配备一组可训练的权重。将可训练参数从神经网络的层中解耦，使我们能够研究和适应与优化学习问题分离的网络传播的准确性。我们数值计算表明，基于样条的神经网络增加了鲁棒性的学习问题对超参数由于增加的稳定性和准确性的网络传播。此外，直接对B样条系数而不是层权重进行训练可以减少可训练参数的数量。
2021-02-27 cs.LG
A comparison of deep networks with ReLU activation function and linear spline-type methods
Leiden University（莱顿大学）
深度神经网络（DNN）生成的函数空间比浅网络丰富得多。由于浅网络诱导的函数空间有几个近似理论的缺点，这并不一定解释了深网络的成功。在这篇文章中，我们采取了另一种方法，将DNN与ReLU激活函数的表达能力与分段线性样条方法进行比较。我们发现，MARS（多元自适应回归样条）是不适当的学习DNN的意义上，对于任何给定的功能，可以表示为一个功能的MARS与$M$参数存在一个多层神经网络与$O(M \log (M/\varepsilon))$参数，近似这个功能，以超范数误差$\varepsilon.$我们显示了类似的结果扩展相对于Faber-Schauder系统。在此基础上，我们推导出风险比较不等式，约束的统计风险拟合的神经网络基于样条函数的方法。这表明深度网络的性能比所考虑的样条方法更好或仅略差。给出了函数逼近的构造性证明。
2018-09-24 cs.LG stat.ME stat.ML
Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality
Brevan Howard Centre for Financial Analysis（布赖恩·霍华德金融分析中心）；Imperial Business School（帝国理工商学院）
该研究提出几何约束KANs，通过每条边的标量指数p学习边几何，在50个符号回归任务中，其在噪声下稳定性优于多数固定基模型，小样本表现更优，可学习指数具可解释性。
2026-08-27 cs.LG stat.ML
From Uniform to Learned Knots: A Study of Spline-Based Numerical Encodings for Tabular Deep Learning
BASF（巴斯夫）；Clausthal University of Technology（克劳斯塔尔工业大学）；Amazon Music（亚马逊音乐）；Bielefeld School of Business, Hochschule Bielefeld (HSBI)（比勒费尔德商学院，比勒费尔德应用科学大学）
本文研究了基于样条的数值编码在表格深度学习中的应用，探讨了不同样条家族在不同编码策略下的表现，发现编码效果依赖于任务、输出大小和模型结构，学习结变体在稳定性上表现良好但训练成本较高。
2026-08-18 cs.LG
Max-Affine Spline Insights into Deep Generative Networks
Rice University（莱斯大学）；UTLN（土伦大学）
我们将一大类生成深度网络（GDN）与样条算子连接起来，以获得它们的属性，限制和新的机会。通过对生成流形的特征空间划分、维数和棱角性的刻画，将流形维数和逼近误差与样本量联系起来。每个区域的流形仿射子空间定义了一个局部坐标基，我们提供了必要和充分的条件，这些基向量与解纠缠。我们还推导出映射到生成的流形上的输出概率密度的潜在空间密度，这使得计算关键的统计数据，如香农熵。这一发现也使计算的GDN的可能性，这提供了一个新的机制，模型比较，以及提供一个质量测量（生成）的样本下学习的分布。我们证明了低熵和/或多峰分布如何不自然地由DGN建模，并且是训练不稳定性的原因。
2020-02-26 cs.CG cs.CV cs.LG
SplineNet: An Isogeometric Deep Learning Method for Complex Shells
Global College, Shanghai Jiao Tong University（上海交通大学全球学院）
本文提出样条网络这一等几何深度学习方法，用于复杂壳体结构设计分析。基于封闭样条表示构建，能无数据或数据驱动应用。无数据时可结合CAE需求，数据驱动时可作主干网提供可解释性，经数值示例验证了该方法的有效性。
2026-07-08 cs.LG cs.NA math.NA
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们开发了一个变分框架来理解通过将具有整流线性单元激活的深度神经网络拟合到数据而学习到的函数的性质。我们提出了一个新的函数空间，这让人想起经典的有界变分型空间，它捕获了与深层神经网络相关的组成结构。我们推导出一个表示定理，表明深度ReLU网络是这个空间中函数的正则化数据拟合问题的解决方案。函数空间由Radon域中二阶有界变差的Banach空间的函数组成。这些是具有稀疏促进规范的Banach空间，可以深入了解稀疏性在深度神经网络中的作用。神经网络解决方案具有跳跃连接和秩有界权矩阵，为这些常见的结构选择提供了新的理论支持。我们研究的变分问题可以被改写为一个有限维的神经网络训练问题，其正则化方案与权重衰减和路径范数正则化的概念有关。最后，我们的分析建立在变分样条理论的技术基础上，提供了深度神经网络和样条之间的新联系。
2021-09-26 cs.LG stat.ML
Approximation of Lipschitz Functions using Deep Spline Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
Lipschitz约束神经网络在机器学习中有着广泛的应用。由于设计和训练表达性Lipschitz约束网络非常具有挑战性，因此需要改进方法和更好的理论理解。不幸的是，事实证明，ReLU网络在这种情况下具有可证明的缺点。因此，我们建议使用可学习的样条激活函数，至少有3个线性区域。我们证明，这种选择是最佳的所有组件明智的$1$ -Lipschitz激活函数的意义上说，没有其他的重量约束架构可以近似一个更大的功能类。此外，这种选择至少与最近引入的用于谱范数约束权重的非分量Groupsort激活函数一样具有表达性。以前发表的数值结果支持我们的理论研究结果。
2022-04-13 cs.LG math.OC
Mad Max: Affine Spline Insights into Deep Learning
Rice University（莱斯大学）
我们通过样条函数和算子在深度网络（DN）和近似理论之间建立了严格的桥梁。我们的主要结果是，一大类DN可以写成最大仿射样条算子（MASO）的组合，这提供了一个强大的门户网站，通过它来查看和分析其内部工作。例如，在输入信号的条件下，MASO DN的输出可以写为输入的简单仿射变换。这意味着DN构建了一组依赖于信号的类特定模板，通过简单的内积将信号与之进行比较;我们通过匹配滤波器和数据记忆效应探索了与经典最优分类理论的联系。更进一步，我们提出了一个简单的惩罚项，可以添加到任何DN学习算法的成本函数中，以迫使模板彼此正交;这会显着提高分类性能并减少过度拟合，而不会改变DN架构。由MASO隐式诱导的输入信号空间的样条划分直接将DN与矢量量化（VQ）和$K$均值聚类理论联系起来，这为研究DN如何以分层方式组织信号开辟了新的几何途径。为了验证VQ解释的实用性，我们开发并验证了一种新的信号和图像的距离度量，该距离度量量化了它们的VQ编码之间的差异。(This这篇论文是ICML 2018中深度学习的样条理论的显著扩展版本。
2018-11-11 cs.LG stat.ML
Conformalized Deep Splines for Optimal and Efficient Prediction Sets
Genentech（基因泰克公司）
提出SPICE保形回归方法，用神经网络参数化样条估计条件密度，并结合SPICE-ND与SPICE-HPD分数，在预测集大小和条件覆盖上取得最优表现。
2023-11-01 cs.LG
Physics-Informed Deep B-Spline Networks
本文提出了一种新的方法，通过神经网络学习B样条控制点来近似具有不同参数和初始边界条件的偏微分方程族，从而在理论上和实践中提升了求解复杂PDEs的效率和准确性。
2026-03-14 cs.LG cs.SY eess.SY
Max-Affine Spline Insights Into Deep Network Pruning
Rice University（莱斯大学）；Meta AI Research（Meta AI研究院）
本文基于连续分段仿射网络理论分析深度网络剪枝，揭示了剪枝对决策边界的影响，提供了早鸟彩票现象的解释，并提出了性能媲美现有最先进方法的逐层和全局剪枝策略。
2025-03-03 cs.AI cs.LG
Deep neural networks for smooth approximation of physics with higher order and continuity B-spline base functions
AGH University of Science and Technology（AGH科技大学）；Jagiellonian University（雅盖隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文主要研究以下几个重要问题。传统上，神经网络采用与线性算子级联的非线性激活函数来近似给定的物理现象。他们用激活函数和线性算子的串联“填充空间”，并调整它们的系数以近似物理现象。我们主张，最好是“填充空间”的光滑高阶B样条基函数的线性组合，采用等几何分析，并利用神经网络来调整线性组合的系数。也就是说，评估了用神经网络逼近B样条基函数系数和直接逼近解的可能性。Maziar Raissi等人在2017年通过引入物理信息神经网络（PINN）提出了用神经网络求解微分方程，PINN自然地将潜在的物理定律编码为先验信息。使用函数作为输入的系数的近似利用了神经网络作为通用函数近似器的公知能力。本质上，在PINN方法中，网络近似于给定点处给定字段的值。本文提出了一种新的方法，将物理量近似为光滑B样条基函数的线性组合，用神经网络逼近B样条基函数的系数。本研究比较了DNN逼近B样条基函数的线性组合系数与DNN直接逼近解的结果。我们表明，我们的方法是更便宜，更准确的近似光滑的物理场。
2022-01-03 cs.LG cs.NA math.NA
A representer theorem for deep neural networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们建议通过向代价函数添加相应的函数正则化来优化深度神经网络的激活函数。我们证明使用二阶全变差准则。这使我们能够推导出深度神经网络的一般表示器定理，该定理与样条和稀疏性直接相关。具体而言，我们表明，最佳的网络配置可以实现与激活函数，是非均匀的线性样条自适应结。底线是每个神经元的动作都是由样条编码的，样条的参数（包括节点的数量）在训练过程中得到了优化。该方案产生的计算结构与现有的深度ReLU，参数ReLU，APL（自适应分段线性）和MaxOut架构兼容。它还提出了新的优化挑战，同时明确了与$\ell_1$最小化和稀疏促进技术的联系。
2019-02-01 cs.LG stat.ML
Fast spline detection in high density microscopy data
Niels Bohr Institute, University of Copenhagen（哥本哈根大学尼尔斯·玻尔研究所）
针对多生物显微数据中重叠细长体检测难的问题，提出端到端深度学习方法，可在低分辨率下快速追踪数千个重叠样条，基于合成数据训练并能泛化到真实线虫实验视频。
2023-01-13 cs.CV cs.LG q-bio.QM
Learning Efficient Surrogate Dynamic Models with Graph Spline Networks
KAIST（韩国科学技术院）；DiffeqML, AI4CO（DiffeqML，AI4CO）；Stanford University（斯坦福大学）；Mila and University of Montreal（米拉研究所和蒙特利尔大学）；OMELET
提出 GraphSplineNets 深度学习方法，利用可微正交样条配置和空间自适应策略减小网格尺寸与迭代步数，在多种动力系统预测中显著提升了精度与加速的权衡。
2023-10-25 cs.LG cs.NA math.NA
Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
神经网络（NN）的学习动力学和归纳偏差的理解受到NN参数和所表示的函数之间关系的不透明性的阻碍。我们建议将ReLU NN重新参数化为连续分段线性样条。使用这种样条透镜，我们研究了浅单变量ReLU NN的学习动态，为几个令人困惑的现象找到了意想不到的见解和解释。我们开发了一个令人惊讶的简单和透明的视图的损失表面的结构，包括其临界点和不动点，海森，和海森谱。我们还表明，标准的权重初始化产生非常平坦的函数，这种平坦性，加上overparametrization和初始权重规模，是负责隐式正则化的强度和类型，与最近的工作arXiv：1906.05827。我们的隐式正则化结果是对最近独立完成的工作arXiv：1906.07842的补充，该工作表明初始化规模通过基于内核的参数严格控制隐式正则化。我们基于样条的方法再现了他们的关键隐式正则化结果，但以更直观和透明的方式。展望未来，我们基于样条的方法很可能会自然地扩展到多元和深层环境，并将在理解神经网络的努力中发挥基础作用。使用基于样条的可视化学习动态的视频可在http://shorturl.at/tFWZ2上获得。
2020-08-04 cs.LG stat.ML
Distance-Aware Error for Spline Networks: A Bottom-Up Approach to Uncertainty
Department of Electrical and Computer Engineering of University of Maine（缅因大学电气与计算机工程系）；Electrical and Microelectronic Engineering Department of Rochester Institute of Technology（罗切斯特理工学院电气与微电子工程系）
本文提出一种自下而上的距离感知误差界方法，用于刻画样条神经网络的逼近误差，通过分析神经元误差传播得到整体网络误差界，方法确定性高且适用于稀疏激光扫描和无结构环境中的安全导航。
2026-04-30 cs.LG eess.SP
Deep-SITAR: A SITAR-Based Deep Learning Framework for Growth Curve Modeling via Autoencoders
Department of Mathematics University of the Basque Country（数学系巴斯克大学）；Neurologyca science and marketing（神经学、科学与营销）；School of Science and Technology IE University（科技学院IE大学）
本文提出 Deep-SITAR，一种融合自编码器、深度神经网络与 B 样条的监督式框架，用于估计 SITAR 生长模型并免重估预测新个体随机效应。
2025-05-14 cs.LG stat.ML
Stability-Constrained Approximation in Spline KANs: Exact Layer Balancing and Budget-Compatible Saturation
针对样条KAN，研究硬Lipschitz预算下的逼近，精确求解层平衡，给出保持预算的离散化定理及极小极大下界，并证明层误差不抵消。
2026-09-17 cs.LG cs.NA math.NA
Wahkon: A Statistically Principled Deep RKHS Superposition Network
Harvard University（哈佛大学）；University of Georgia（佐治亚大学）
Wahkon结合Kolmogorov超位置原理与RKHS正则化，提供有限维深度表示定理，实现训练可行性与层间复杂度控制，通过统计保证提升预测准确性与解释性。
2026-05-13 cs.LG stat.ME
Batch Normalization Explained
Meta AI；Rice University（莱斯大学）
在现代深度网络（DN）中，一个至关重要、无处不在但却知之甚少的成分是批量归一化（BN），它将特征图集中并归一化。到目前为止，只有有限的进展已经了解为什么BN提高DN的学习和推理性能;工作完全集中在显示BN平滑DN的损失景观。在本文中，我们研究BN理论上从函数逼近的角度来看，我们利用的事实，大多数今天的国家的最先进的DN是连续的分段仿射（CPA）样条拟合预测的训练数据通过仿射映射定义在输入空间的分区（所谓的“线性区域”）。{ \em我们证明BN是一种无监督学习技术，它独立于DN的权重或基于梯度的学习，适应DN的样条分区的几何形状以匹配数据。} BN提供了一个“智能初始化”，提高了DN学习的性能，因为它甚至可以适应用随机权重初始化的DN，以将其样条分区与数据对齐。我们还表明，小批量之间的BN统计的变化引入了一个辍学式的随机扰动的分区边界，因此分类问题的决策边界。这种每小批扰动通过增加训练样本和决策边界之间的裕度来减少过拟合并提高泛化能力。
2022-09-29 cs.AI cs.CG cs.CV
Exploring Cumulative Effects in Survival Data Using Deep Learning Networks
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
CENNSurv通过深度学习方法有效建模时间依赖性暴露对生存结果的累积效应，揭示了长期环境暴露与生存结果的滞后关联及短期行为变化，提升了生存分析的可解释性和可扩展性。
2025-12-29 cs.LG stat.ML
Multilevel Training for Kolmogorov Arnold Networks
Theoretical Division, Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室理论 division）；Center for Computing Research, Sandia National Laboratories（桑迪亚国家实验室计算研究中心）
本文提出多级训练方法，利用KANs的结构特性提升训练效率，尤其在物理信息神经网络中表现显著。
2026-03-05 cs.AI cs.LG cs.NA
Sprecher Networks: A Parameter-Efficient Kolmogorov-Arnold Architecture
Department of Mathematics, Stockholm University（斯德哥尔摩大学数学系）；Department of Mathematics, KTH Royal Institute of Technology（皇家理工学院数学系）
Sprecher Networks通过线性扩展的宽度和高效的参数使用，实现了参数高效的Kolmogorov-Arnold架构，适用于内存受限的边缘推理场景。
2026-01-26 cs.AI cs.LG cs.NA
Deep Unrolling of Sparsity-Induced RDO for 3D Point Cloud Attribute Coding
department of EECS, York University（EECS系，约克大学）
研究3D点云属性编码中多分辨率B样条投影框架下的有损压缩问题，核心方法是将RD优化算法展开为前馈网络计算投影低通系数，主要贡献是使投影操作端到端可微且能数据驱动优化预测。
2026-07-16 cs.IT cs.LG eess.IV
Learning Expressive Random Feature Models via Parametrized Activations
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
提出RFLAF模型，将激活函数参数化为基函数加权和，扩展函数空间，理论证明样本和随机特征数量需求，实验显示RBF和样条基优于其他模型且RBF计算效率更高。
2026-06-23 cs.LG
The Geometry of Deep Networks: Power Diagram Subdivision
Rice University（莱斯大学）
我们研究了具有分段仿射和凸非线性的深度（神经）网络（DN）的几何结构。这种DN的层已经被证明是{ \em最大仿射样条算子}（MASO），其划分其输入空间并将区域相关仿射映射应用于其输入以产生其输出。我们证明了每个MASO层的输入空间分区对应于{ \em功率图}（经典Voronoi平铺的扩展），其区域数量相对于单元（神经元）的数量呈指数增长。我们进一步表明，MASO层的组合物（例如，整个DN）产生逐步细分的功率图并提供其分析形式。细分过程将仿射映射约束在（指数级多的）幂图区域上，以大大降低它们的复杂性。对于分类问题，我们得到一个公式的MASO DN的决策边界在输入空间加上一个衡量其曲率取决于DN的非线性，权重和架构。大量的数值实验支持和扩展了我们的理论结果。
2019-05-21 cs.LG stat.ML
KAN/MultKAN with Physics-Informed Spline fitting (KAN-PISF) for ordinary/partial differential equation discovery of nonlinear dynamic systems
Rice University（莱斯大学）
提出KAN-PISF框架，结合SRDD去噪、KAN识别结构与PISF过滤函数，实现非线性动态系统ODE/PDE方程发现，避免了黑箱性质。
2024-11-18 cs.LG physics.comp-ph
Equidistribution-based training of Free Knot Splines and ReLU Neural Networks
本文针对单变量函数逼近，提出基于等分布原理的两阶段训练方法，结合自由结点样条与预处理，实现浅层及深层ReLU神经网络的高效、良态训练，并验证其在正则、奇异及快速变化函数上的有效性。
2025-01-23 cs.LG cs.NA math.NA
Optimal Nonparametric Inference via Deep Neural Network
Texas Tech University（德克萨斯理工大学）；Indiana University–Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；New Jersey Institute of Technology（新泽西理工学院）
深度神经网络是现代科学技术中的一种先进方法。许多统计文献致力于了解其在非参数估计中的性能，然而由于冗余的对数牺牲，结果是次优的。在本文中，我们表明，这样的对数因子是不必要的。我们推导出非参数估计下的$L^2$极大极小风险的上界。充分条件的网络架构，使上界成为最佳的（没有日志牺牲）。我们的证明依赖于一个显式构造的网络估计的张量积B样条。我们还推导出所构建的网络的渐近分布和相关的假设检验程序。在适当的网络结构下，进一步证明了测试过程是最小最大最优的。
2021-08-16 cs.LG stat.ML
