Controlling the Complexity and Lipschitz Constant improves polynomial nets
EPFL(洛桑联邦理工学院)
虽然多项式网络类表现出与神经网络(NN)相当的性能,但它目前既没有理论上的泛化特性,也没有鲁棒性保证。为此,我们得到了新的复杂性边界的集合的耦合CP-分解(CCP)和嵌套耦合CP-分解(NCP)模型的多项式网的$\ell_\infty$ -运营商范数和$\ell_2$ -运营商范数。此外,我们推导出两个模型的Lipschitz常数的界限,以建立其稳健性的理论证明。理论结果使我们能够提出一个原则性的正则化方案,我们还在六个数据集上进行了实验评估,并表明它提高了模型对对抗性扰动的准确性和鲁棒性。我们展示了如何将这种正则化与对抗训练相结合,从而实现进一步的改进。
2022-02-10 cs.LG
The Complexity of Min-Max Optimization for Quadratic Polynomials
Bocconi University(博科尼大学);Politecnico di Milano(米兰理工学院);University of Oxford(牛津大学)
证明超立方体上极小极大优化的近似稳定点计算对二次多项式是PPAD难的,即使多项式是多线性的且每个变量最多出现在三个单项式中。
2026-06-16 cs.CC cs.GT cs.LG
Elucidating Rectified Flow with Deterministic Sampler: Polynomial Discretization Complexity for Multi and One-step Models
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
在现实有界支撑假设下,本文首次为带确定性采样器的多步和单步整流流模型证明了多项式离散化复杂度,并通过引入Langevin校正器证明其优于扩散模型,为RF模型的优异经验性能提供了理论解释。
2025-08-12 cs.LG
Bayesian polynomial neural networks and polynomial neural ordinary differential equations
University of California, Santa Barbara(加州大学圣巴巴拉分校);Science for Life Laboratory(生命科学实验室);Uppsala University(乌普萨拉大学)
针对多项式神经网络符号回归和多项式神经常微分方程仅能输出参数点估计、无法处理噪声数据的问题,提出并验证三种贝叶斯推断方法,发现拉普拉斯近似效果最优,且该工作可扩展至更广泛的符号神经网络类别。
2023-08-25 cs.AI cs.CE cs.LG
On the Expressive Power of Deep Polynomial Neural Networks
Princeton University(普林斯顿大学);New York University(纽约大学)
我们研究了具有多项式激活的深度神经网络,特别是它们的表达能力。对于固定的结构和激活度,多项式神经网络定义了从权重到多项式的代数映射。这个映射的图像是与网络相关联的函数空间,并且在取闭包时它是一个不可约代数簇。本文提出了这种多样性的维数作为多项式神经网络表达能力的精确度量。我们得到了几个理论结果,关于这个维度作为一个功能的架构,包括一个精确的公式,高激活度,以及上界和下界的层宽度,以深多项式网络,以填补周围的功能空间。我们还提出了计算证据,它是有利可图的表现力层宽度单调增加,然后单调减少。最后,我们将我们的研究与训练权重时的有利优化特性联系起来,并与张量和多项式分解建立了有趣的联系。
2019-05-29 cs.LG cs.NE math.AG
Learning quantum Hamiltonians at any temperature in polynomial time with Chebyshev and bit complexity
本文提出基于切比雪夫展开的平坦多项式近似,将学习量子哈密顿量转化为多项式优化问题,并证明在温和假设下可在多项式时间内学习有界度k-局部哈密顿量。
2024-02-08 cs.LG math.OC quant-ph
Interpretable Polynomial Neural Ordinary Differential Equations
University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对标准 neural ODE 不可解释且训练区域外泛化差的问题,提出在其框架内嵌深度多项式神经网络的多项式神经 ODE,实现训练区域外预测与无需 SINDy 的直接符号回归。
2022-08-09 cs.AI cs.LG
Ladder Polynomial Neural Networks
Tufts University(塔夫茨大学)
多项式函数具有许多有用的分析性质,但它们很少用作学习模型,因为它们的函数类被认为是受限的。这项工作表明,当训练得当时,多项式函数可以成为强大的学习模型。特别地,这项工作构造多项式前馈神经网络使用产品激活,一个新的激活函数构造的乘法。新的神经网络是一个多项式函数,并提供其多项式阶数的精确控制。它可以通过标准训练技术进行训练,例如批量归一化和dropout。这个新的前馈网络覆盖了几个以前的多项式模型作为特殊情况。与普通的前馈神经网络相比,多项式前馈网络具有一些有趣量的封闭形式计算,这在贝叶斯学习中非常有用。在一系列的回归和分类任务的实证研究中,所提出的模型优于以往的多项式模型。
2021-06-29 cs.LG cs.NE
Bayesian Tensor Network with Polynomial Complexity for Probabilistic Machine Learning
Capital Normal University(首都师范大学)
众所周知,描述或计算多个事件的条件概率是指数级昂贵的。在这项工作中,贝叶斯张量网络(BTN)提出了有效地捕捉多个事件的多项式复杂性的条件概率。BTN是形成TN的子集的有向非循环图模型。为了证明其有效性指数多事件,BTN实现的图像识别,其中的分类映射到捕捉条件概率在指数大的样本空间。具有简单的树形网络结构的BTN实现了具有竞争力的性能。类似于量子系统的张量网络模拟,简单树BTN的有效性意味着图像识别问题中波动的“面积定律”。
2020-01-07 cond-mat.str-el cs.LG math.ST
Complexity aspects of local minima and related notions
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们考虑的概念(i)临界点,(ii)二阶点,(iii)局部极小值,(iv)严格局部极小值的多元多项式。对于每种类型的点,作为多项式次数的函数,我们研究了决定(1)给定点是否属于该类型以及(2)多项式是否具有该类型的点的复杂性。我们的研究结果的特点,这两个问题的复杂性,为所有程度的开放先前的文献。我们的主要贡献表明,这些问题中的许多原来是易处理的三次多项式。特别地,我们给出了三次多项式点的局部极小的一个可有效检验的充要条件。我们还表明,一个局部极小值的三次多项式可以有效地解决半定规划的大小线性的变量的数量。相反,我们证明了判定一个三次多项式是否有临界点是强NP-难的。我们还证明了任何三次多项式的二阶点集是一个谱面体,反之,任何谱面体是一个三次多项式的二阶点集的投影。在我们的最后一节中,我们简要地介绍了一个潜在的应用程序,找到局部极小的三次多项式的设计一个三阶牛顿法。
2021-06-15 cs.CC cs.LG math.OC
Polynomial Threshold Functions of Bounded Tree-Width: Some Explainability and Complexity Aspects
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);HUN-REN-SZTE Research Group on AI(HUN-REN-SZTE人工智能研究组)
本研究针对布尔变量,探讨有界树宽多项式阈值函数,给出其在贝叶斯网络分类器中的两个XAI应用,并证明正与一般多项式阈值函数的表示能力存在分离。
2025-01-14 cs.AI cs.LG
Analysis of Deep Neural Networks with Quasi-optimal polynomial approximation rates
The University of Tennessee(田纳西大学)
我们展示了一个能够近似一大类高维近似的深度神经网络的存在。建议的神经网络的建设是基于准最佳的多项式逼近。我们表明,该网络实现了一个差错率,是次指数的多项式函数,$M$,用于多项式逼近的数量。实现该次指数速率的网络的复杂性在$M$中被证明是代数的。
2019-12-04 cs.LG cs.NA math.NA
Sampling from multi-modal distributions with polynomial query complexity in fixed dimension via reverse diffusion
CREST, ENSAE Institut Polytechnique de Paris(CREST,ENSAE 巴黎高等理工学院)
本文提出一种固定维度下基于反向扩散的多模态分布采样算法,通过自归一化蒙特卡洛估计得分函数,实现多项式查询复杂度,避免亚稳态且无需模态先验知识。
2025-10-23 cs.LG math.ST stat.CO