Adversarial Noises Are Linearly Separable for (Nearly) Random Neural Networks
Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学);Stanford University(斯坦福大学);Peking University(北京大学)
对抗性示例通常是针对特定模型的特定输入生成的,在神经网络中无处不在。在本文中,我们揭示了对抗性噪声放在一起时的一个令人惊讶的特性,即,如果配备有相应的标签,则由一步梯度方法制作的对抗性噪声是线性可分离的。我们从理论上证明了这个属性的两层网络随机初始化的条目和神经切线核设置的参数是不远处的初始化。证明的思想是表明标签信息可以有效地反向传播到输入,同时保持线性可分性。我们的理论和实验证据进一步表明,用训练数据的对抗性噪声训练的线性分类器能够很好地分类测试数据的对抗性噪声,说明对抗性噪声实际上对原始数据的分布注入了一种分布扰动。此外,我们的经验表明,当上述条件受到损害时,对抗性噪声可能变得不那么线性可分离,而它们仍然比原始特征更容易分类。
2022-06-09 cs.AI cs.LG stat.ML
A Non-Monotone Preconditioned Trust-Region Method for Neural Network Training
UniDistance Suisse(UniDistance瑞士);King Abdullah University of Science and Technology(卡布斯大学);Università della Svizzera italiana(瑞士意大利大学)
本文提出一种非单调预-conditioned信任区域方法,结合并行子域修正与全局粗空间方向,通过窗口接受准则控制目标函数增长,提升训练效率。
2026-05-14 cs.LG math.OC
Shallow Neural Network can Perfectly Classify an Object following Separable Probability Distribution
KAIST(韩国科学技术院)
指导神经网络的设计对于节省大量的建筑参数经验决策资源具有重要意义。本文构造了一种浅层S型神经网络,该网络对线性可分性条件下的数据集实现了100%的分类准确率。在这项工作中的可分性条件比广泛使用的线性可分性更宽松。此外,构造的神经网络保证完美的分类从一个可分离的概率分布采样的任何数据集。这种泛化能力来自于sigmoid函数的饱和,它利用了可分离概率分布形成的区间边界附近的小余量。
2019-04-19 cs.IT cs.LG math.IT
An alternative approach to train neural networks using monotone variational inequality
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
本研究受广义线性模型参数估计相关工作启发,提出将神经网络训练转化为单调变分不等式求解的替代方法,具备高效收敛与特定场景理论保证,适用于多类网络训练及预训练模型微调,性能媲美或优于随机梯度下降法。
2024-03-11 cs.LG stat.ML
Fast Convergence in Learning Two-Layer Neural Networks with Separable Data
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of British Columbia(不列颠哥伦比亚大学)
本文研究两层神经网络上归一化梯度下降的收敛性,证明在找到插值模型时训练损失线性收敛至全局最优,并通过算法稳定性分析建立有限时间泛化界,证明其不会过拟合。
2023-06-26 cs.LG
Randomly Initialized One-Layer Neural Networks Make Data Linearly Separable
Brandeis University(布兰迪斯大学);MIT(麻省理工学院)
本文证明了足够宽的随机初始化单层神经网络无需训练即可高概率使两类数据线性可分,给出了两种宽度界,其中一种与输入维度无关,克服了维度灾难,证明结合了几何原理与随机矩阵集中性。
2023-10-08 cs.LG math.PR stat.ML
Multi-Scale Separable Fourier Neural Networks for Solving High-Frequency PDEs
University of Science and Technology of China(中国科学技术大学)
提出多尺度可分离傅里叶神经网络(MS-SFNN),通过可分离表示、随机固定权重和傅里叶特征嵌入,高效精确求解线性和非线性高频偏微分方程。
2026-07-14 cs.LG
Can neural operators always be continuously discretized?
Shimane University(岛根大学);South Dakota State University(南达科他州立大学);Rice University(莱斯大学);University of Helsinki(赫尔辛基大学)
针对神经算子能否连续离散化的问题,论文证明一般无限维微分同胚存在不可能性,并提出强单调与逐层强单调神经算子以保证离散化不变性及表示收敛,还给出双 Lipschitz 神经算子的分解、有限秩逼近与定量结果。
2024-12-04 cs.LG
Interpretable global minima of deep ReLU neural networks on sequentially separable data
Department of Mathematics, University of Texas at Austin(德克萨斯大学奥斯汀分校数学系)
本文通过构造零损失分类器,利用累积参数确定截断映射,研究了在小且分离的簇数据及依次线性可分等价类情况下,深度ReLU网络的全局极小值描述。
2025-06-22 cs.AI cs.LG math-ph
Neural operators approximate strongly continuous convex monotone semigroups
ETH Zurich(苏黎世联邦理工学院);LMU Munich(慕尼黑大学)
该研究提出切尔诺夫-神经算子、包络-神经算子,通过迭代传播单步近似误差实现对强连续凸单调半群的通用近似,推导了定量近似率,并在多类数值例子中验证了方法的有效性。
2026-09-03 cs.LG cs.NA math.AP
Depthwise Separable Convolutions for Neural Machine Translation
Google Brain(谷歌大脑);University of Toronto(多伦多大学)
依赖可分离卷积减少了卷积运算中使用的参数和计算的数量,同时提高了表示效率。他们已经被证明是成功的图像分类模型,无论是在获得更好的模型比以前可能为一个给定的参数计数(Xception架构),并大大减少了参数的数量需要在一个给定的水平(MobileNets系列的架构)。最近,卷积序列到序列网络已被应用于机器翻译任务,并取得了良好的效果。在这项工作中,我们研究如何dependently可分离卷积可以应用于神经机器翻译。我们引入了一种受Xception和ByteNet启发的新架构,称为SliceNet,它可以显着减少获得ByteNet等结果所需的参数计数和计算量,并且使用类似的参数计数,实现了新的最先进的结果。除了证明dependency可分离卷积在机器翻译中表现良好外,我们还研究了它们所带来的架构变化:我们观察到,由于dependency可分离性,我们可以增加卷积窗口的长度,从而消除对滤波器膨胀的需要。我们还引入了一个新的“超可分离”卷积运算,进一步减少了参数的数量和计算成本,以获得最先进的结果。
2017-06-16 cs.CL cs.LG
Separable Neural Architectures as Physical World Models: from Mathematical Theory to Applications
Kevin T. Crofton Department of Aerospace and Ocean Engineering, Virginia Polytechnic Institute and State University(弗吉尼亚理工大学凯文·T·克罗夫顿航空航天与海洋工程系)
提出可分离神经架构(SNA),结合神经逼近与张量分解,通过变分框架求解偏微分方程,实现高维问题代数级缩放,并在工程案例中取得显著加速。
2026-06-16 cs.AI cs.LG
Separable Physics-Informed Neural Networks for the solution of elasticity problems
University of Nizhny Novgorod(下诺夫哥罗德大学);Huawei Nizhny Novgorod Research Center(华为下诺夫哥罗德研究中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
提出结合深度能量法的可分离物理信息神经网络SPINN,用于求解复杂几何上的线性弹性问题,实验证明其收敛速度和精度显著优于PINN及基于PDE的SPINN。
2024-01-24 cs.AI cs.LG cs.NA
Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach
Georgia Institute of Technology(佐治亚理工学院);University of California, Santa Barbara(加利福尼亚大学圣塔芭芭拉分校)
隐式神经网络是一类通用的学习模型,它用隐式代数方程代替传统前馈模型中的层。与传统的学习模型相比,隐式网络提供了有竞争力的性能和更少的内存消耗。然而,他们可以保持脆弱的输入对抗扰动。本文提出了一种隐式神经网络的鲁棒性验证的理论和计算框架,我们的框架融合了混合单调系统理论和收缩理论。首先,给定一个隐式神经网络,我们介绍了一个相关的嵌入式网络,并表明,给定一个$\ell_\infty$ -范数箱约束的输入,嵌入式网络提供了一个$\ell_\infty$ -范数箱过逼近给定的网络的输出。其次,利用$\ell_{\infty}$ -矩阵测度,我们提出了原系统和嵌入式系统的适定性的充分条件,并设计了一个迭代算法来计算可达性和分类问题的$\ell_{\infty}$ -范数框鲁棒性裕度。第三,独立值,我们提出了一种新的相对分类器变量,导致更严格的边界上的认证对抗性的鲁棒性分类问题。最后,我们在MNIST数据集上训练的非欧单调算子网络(NEMON)上进行了数值模拟。在这些模拟中,我们比较的准确性和运行时间我们的混合单调收缩方法与现有的鲁棒性验证方法在文献中估计认证的对抗鲁棒性。
2021-12-10 cs.LG cs.SY eess.SY
Exploring Linear Feature Disentanglement For Neural Networks
Shandong University(山东大学);CSIRO(澳大利亚联邦科学与工业研究组织);Nanjing University of Science and Technology(南京理工大学);Shandong Jianzhu University(山东建筑大学)
非线性激活函数,例如,Sigmoid、ReLU和Tanh在神经网络(NN)中取得了巨大的成功。由于样本具有复杂的非线性特征,这些激活函数的目标是将样本从其原始特征空间投影到线性可分的特征空间。这一现象激发了我们的兴趣,探索在当前典型的神经网络中,是否所有的特征都需要通过所有的非线性函数来转换,即,在中间层中是否存在到达线性可分特征空间的特征的一部分,其不需要进一步的非线性变化而是需要仿射变换。为了验证上述假设,本文研究了神经网络的线性特征解纠缠问题。具体来说,我们设计了一个可学习的掩码模块来区分线性和非线性特征。通过我们设计的实验,我们发现一些特征比其他特征更早到达线性可分空间,并且可以部分地从神经网络中分离出来。探索的方法还提供了一个容易可行的修剪策略,几乎不影响原模型的性能。我们在四个数据集上进行了实验,并提出了有希望的结果。
2022-03-22 cs.AI cs.LG
The Implicit Bias of Gradient Descent on Separable Data
Technion(以色列理工学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文证明无正则化逻辑回归的梯度下降在线性可分数据上会隐式收敛至最大间隔 SVM 方向,并推广到多类与深度网络受限情形。
2024-10-26 cs.LG stat.ML
Learning Monotone Dynamics by Neural Networks
University of Florida(佛罗里达大学);Duke University(杜克大学)
前馈神经网络(FNN)是将人工智能(AI)应用于物理世界的标准构建模块。它们允许学习未知物理系统的动态(例如,生物和化学){预测其未来行为}。然而,如果不加以适当处理,它们很可能违反这些系统的物理限制。这项工作的重点是施加两个重要的物理约束:单调性(即,系统状态的部分顺序随时间保持)和稳定性(即,系统状态随时间收敛)。对于单调性约束,我们建议使用非负神经网络和批量归一化。对于单调性和稳定性约束,我们建议同时学习系统动力学和相应的李雅普诺夫函数。实例研究表明,我们的方法可以保持FNN的稳定性和单调性,并显着降低其预测误差。
2022-06-22 cs.LG math.DS math.OC
Separable Physics-Informed Neural Networks
Sungkyunkwan University(成均馆大学);KAIST(韩国科学技术院)
本文提出可分离物理信息神经网络SPINN,通过按轴运算和前向模式自动微分大幅降低多维偏微分方程求解的计算成本,在保持甚至提升精度的同时显著加速Navier-Stokes方程求解。
2023-10-31 cs.AI cs.LG
FuSeConv: Fully Separable Convolutions for Fast Inference on Systolic Arrays
IIT Madras(印度理工学院马德拉斯分校)
正在探索高效的神经网络和硬件加速器,以加快边缘设备上的DNN推理。例如,MobileNet使用深度可分离卷积来实现更低的延迟,而脉动阵列提供更高的每瓦性能。然而,有趣的是,这两个想法的组合是低效的:深度方向可分离卷积的计算模式不是脉动的,并且缺乏数据重用来饱和脉动阵列的约束卷积。在本文中,我们提出FuSeConv(完全可分离卷积)作为深度可分离卷积的替代品。FuSeConv将卷积的分解完全推广到沿着空间和深度维度的可分离的1D卷积。所得到的计算是脉动的,并有效地利用脉动阵列与略有修改的卷积。通过FuSeConv,我们在大小为64 x64的脉动阵列上使用MobileNet系列网络实现了3x-7 x的显着速度提升,并且在ImageNet数据集上具有相当的准确性。高速提升激励了对硬件感知神经运算符搜索(NOS)的探索,以补充神经架构搜索(NAS)的持续努力。
2021-05-27 cs.AR cs.LG
Learning truly monotone operators with applications to nonlinear inverse problems
CentraleSupelec(中央高等电力学院);Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);School of Mathematics and Computer Sciences, Heriot-Watt University(赫瑞瓦特大学数学与计算机科学学院);Maxwell Institute for Mathematical Sciences(麦克斯韦数学科学研究所)
本文提出一种通过新惩罚损失学习单调神经网络的方法,利用FBF算法在Lipschitz常数未知时保证收敛,并成功将其应用于求解非线性逆问题。
2025-03-06 cs.LG cs.NA math.NA
SGD Learns Over-parameterized Networks that Provably Generalize on Linearly Separable Data
The Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦特尼克计算机科学学院);School of Computer Science and Engineering, The Hebrew University(希伯来大学计算机科学与工程学院)
神经网络表现出良好的泛化行为在过参数化制度,其中网络参数的数量超过观察的数量。尽管如此,目前神经网络的泛化界限无法解释这一现象。为了弥补这一差距,我们研究了学习一个两层过参数化神经网络的问题,当数据是由一个线性可分函数。在网络具有Leaky ReLU激活的情况下,我们为过参数化网络提供优化和泛化保证。具体来说,我们证明了SGD的收敛速度的全局最小值,并提供泛化保证这个全局最小值是独立的网络大小。因此,我们的结果清楚地表明,使用SGD进行优化既找到了全局最小值,又避免了过度拟合,尽管模型容量很大。这是第一次从理论上证明了SGD在学习过指定神经网络分类器时可以避免过拟合。
2017-10-27 cs.LG
On the Depth of Monotone ReLU Neural Networks and ICNNs
Department of Computer Science, the University of Copenhagen(计算机科学系,哥本哈根大学);University of Technology Nuremberg(纽伦堡技术大学);Worcester Polytechnic Institute(沃思堡理工学院);Department of Mathematics, Technion-IIT(数学系,技术学院-以色列理工学院)
本文研究单调ReLU网络和输入凸神经网络(ICNN)的表达能力,证明了单调网络无法计算或近似最大值函数,并给出了ICNN计算该函数的精确深度下界,同时证明了ReLU网络与ICNN之间的深度分离。
2026-11-10 cs.DM cs.LG cs.NE
Communication-Efficient Separable Neural Network for Distributed Inference on Edge Devices
National Taiwan University(台湾大学)
神经网络的推理通常受到资源的限制(例如,计算能力、内存、带宽)。除了改进硬件设计和部署高效模型之外,还可以聚合许多设备的计算能力以启用机器学习模型。本文提出了一种利用模型并行性分离神经网络进行分布式推理的新方法。为了在通信延迟、计算延迟和性能之间取得更好的平衡,我们采用神经架构搜索(NAS)来搜索最佳传输策略,减少通信量。与基线相比,我们发现的最佳模型减少了86.6%的数据传输量,并且对性能影响不大。实验表明,在适当的设备规格和模型配置下,大型神经网络在边缘集群上的推理可以实现分布式和加速,为物联网智能应用的部署提供了一种新的解决方案。
2021-11-03 cs.DC cs.LG
Global Convergence and Geometric Characterization of Slow to Fast Weight Evolution in Neural Network Training for Classifying Linearly Non-Separable Data
University of California, Irvine(加州大学欧文分校);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
在本文中,我们研究了梯度下降的动态学习神经网络分类问题。与现有的工作不同,我们考虑线性不可分的情况下,不同类别的训练数据位于正交子空间。我们表明,当网络有足够的(但不是非常大)数量的神经元,(1)相应的最小化问题有一个理想的景观,所有的临界点是完美的分类的全局极小值;(2)梯度下降是保证收敛到全局极小值。此外,我们发现了一个几何条件的网络权重,以便当它被满足时,权重的演变过渡到一个缓慢的阶段的权重方向扩散到一个快速阶段的权重收敛。几何条件是指投影在单位球面上的权值的凸包包含原点。
2020-12-10 cs.LG math.OC stat.ML
Depthwise Separable Convolutions Versus Recurrent Neural Networks for Monaural Singing Voice Separation
Tampere University(坦佩雷大学);Fraunhofer-IDMT(弗劳恩霍夫数字媒体技术研究所)
最近的音乐源分离方法几乎完全基于深度神经网络,主要采用递归神经网络(RNN)。尽管RNN在许多情况下优于其他类型的深度神经网络进行序列处理,但它们在训练和并行化方面存在特定的困难,特别是对于音乐源分离中遇到的通常较长的序列。在本文中,我们提出了一个用深度可分离(DWS)卷积替换RNN的用例,DWS卷积是典型卷积的一种轻量级和更快的变体。我们专注于歌声分离,采用RNN架构,我们用DWS卷积(DWS-CNN)代替RNN。我们进行了一项消融研究,并通过利用信号与伪影、信号与干扰和信号失真比的标准度量,研究了DWS-CNN的通道数量和层数对源分离性能的影响。我们的结果表明,通过用DWS-CNN代替RNN,分别获得了1.20,0.06,0.37 dB的改进,而仅使用RNN架构参数量的20.57%。
2020-07-06 cs.LG cs.SD eess.AS
Generalized Depthwise-Separable Convolutions for Adversarially Robust and Efficient Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
尽管卷积神经网络(CNN)取得了巨大的成功,但它的计算/存储成本很高,而且容易受到对抗性扰动的影响。最近关于鲁棒模型压缩的工作通过将模型压缩技术与对抗训练相结合来解决这些挑战。但这些方法无法提高现实硬件的吞吐量(每秒帧数),同时保持对对抗性扰动的鲁棒性。为了克服这个问题,我们提出了广义深度可分离(GDWS)卷积的方法-标准2D卷积的有效,通用,训练后近似。GDWS极大地提高了标准预训练网络在现实硬件上的吞吐量,同时保持了其鲁棒性。最后,GDWS可扩展到大型问题,因为它在预先训练的模型上运行,不需要任何额外的训练。我们建立了GDWS的最优性作为一个二维卷积逼近器,并提出了精确的算法,用于构建最佳的GDWS卷积的复杂性和误差约束。我们通过在CIFAR-10,SVHN和ImageNet数据集上的广泛实验证明了GDWS的有效性。我们的代码可以在https://github.com/hsndbk4/GDWS上找到。
2021-11-06 cs.CV cs.LG
Building separable approximations for quantum states via neural networks
Université de Genève(日内瓦大学);Institute for Quantum Optics and Quantum Information — IQOQI Vienna, Austrian Academy of Sciences(奥地利科学院量子光学与量子信息研究所——维也纳量子光学与量子信息研究所);Technische Universität Wien(维也纳工业大学)
找到与给定目标状态最接近的可分离状态是一项非常困难的任务,甚至比确定一个状态是纠缠态还是可分离态还要困难。为了解决这个任务,我们用神经网络参数化可分离状态,并训练它,以最小化到给定目标状态的距离,相对于可微距离,如迹距离或希尔伯特-施密特距离。通过检查算法的输出,我们得到了目标态纠缠度的上界,并构造了其最近可分态的近似。我们基准的方法上的各种著名的类的二分态,并找到很好的协议,甚至到本地尺寸的$d=10$,同时提供各向同性和维尔纳状态的结构和分析的见解。此外,我们证明了我们的方法是有效的,在多部的情况下,考虑不同的概念的可分性。检查三,四方GHZ和W状态,我们恢复已知的界限,并获得额外的,例如三分离。
2022-07-07 cond-mat.dis-nn cs.LG quant-ph
Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data
Institute of Natural Sciences & School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学自然科学研究院与数学科学学院);Computer Science and Engineering, Ohio State University(俄亥俄州立大学计算机科学与工程系);Electrical and Systems Engineering & Department of Radiology, University of Pennsylvania(宾夕法尼亚大学电气与系统工程系及放射学系)
本文证明两层ReLU网络在正交可分数据上的梯度流可证明地表现出神经坍缩,放宽了无约束特征假设,并揭示了训练动态隐式偏差的作用。
2025-10-24 cs.LG math.OC
Gradient Flow Based Phase-Field Modeling Using Separable Neural Networks
Michigan Technological University(密歇根理工大学);The Center for Data Sciences(数据科学中心);The Center for Applied Mathematics and Statistics(应用数学与统计中心)
本文提出基于可分离神经网络的最小移动方案求解Allen-Cahn梯度流问题,通过低秩张量分解和tanh变换保证能量稳定性,优于现有机器学习方法且比有限元快一个数量级。
2024-09-27 cs.LG cs.NA math.NA
Hidden Monotonicity: Explaining Deep Neural Networks via their DC Decomposition
Technical University Berlin(柏林工业大学);University of Twente(特文特大学)
通过DC分解提升深度神经网络的可解释性,提出SplitCAM和SplitLRP方法在ImageNet-S上取得最优结果。
2026-01-14 cs.CV cs.LG
Learning linearly separable features for speech recognition using convolutional neural networks
Idiap Research Institute(Idiap研究所);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
自动语音识别系统通常依赖于基于频谱的特征,例如PLP的MFCC。这些特征基于诸如语音感知或/和语音产生的先验知识来提取。最近,卷积神经网络已经被证明能够以完全数据驱动的方式来估计音素条件概率,即,直接使用时间原始语音信号作为输入。该系统在音素识别任务和大规模连续语音识别任务中,使用较少的参数,产生与基于HMM/ANN的系统相似或更好的性能。受这些研究的启发,我们研究了在基于CNN的框架中使用简单的线性分类器。因此,网络从原始语音中学习线性可分离的特征。我们表明,这样的系统产生类似或更好的性能比基于MLP的系统使用基于倒谱的功能作为输入。
2015-04-16 cs.CL cs.LG cs.NE
Separable Gaussian Neural Networks: Structure, Analysis, and Function Approximations
California Polytechnic State University(加州州立理工大学);University of California, Merced(加州大学默塞德分校)
本文提出利用高斯函数可分离性的 SGNN,以 O(dN) 神经元替代 GRBFNN 的 O(N^d) 结构,在保持精度的同时显著加速,并在复杂函数逼近上优于 RuLU-DNN。
2023-08-13 cs.LG
Neural-HSS: Hierarchical Semi-Separable Neural PDE Solver
Gran Sasso Science Institute, L'Aquila, Italy.(格兰萨索科学研究所);University of Edinburgh, UK.(爱丁堡大学)
Neural-HSS通过分层半分离矩阵结构高效求解PDEs,展示在低数据条件下优于基线方法的性能。
2026-02-20 cs.LG cs.NA math.NA
Advancing EEG-Based Gaze Prediction Using Depthwise Separable Convolution and Enhanced Pre-Processing
The George Washington University(乔治华盛顿大学)
本文提出EEG-DCViT方法,结合深度可分离卷积、视觉Transformer与数据聚类预处理,在基于脑电图的注视预测任务中将RMSE降至51.6毫米,刷新基准。
2024-08-06 cs.LG
Frequency-Separable Hamiltonian Neural Network for Multi-Timescale Dynamics
本文提出频率可分离哈密顿神经网络,通过分解哈密顿函数为快慢模式,提升多时间尺度动态建模能力,改进长周期预测性能。
2026-03-15 cs.LG cs.SY eess.SY
Learning Traveling Solitary Waves Using Separable Gaussian Neural Networks
California Polytechnic State University(加州州立理工大学)
本研究提出将新型可分离高斯神经网络(SGNN)融入物理信息神经网络(PINNs)框架,通过转换至共行波坐标系解决大域传播失效问题,以极少神经元实现了多类偏微分方程孤立波解的高精度逼近。
2024-03-07 cs.LG nlin.PS
Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection
Indian Institute of Technology Bombay(印度理工学院孟买分校)
Submodular functions and variants, through their ability to characterize diversity and coverage, have emerged as a key tool for data selection and summarization. Many recent approaches to learn submodular functions suffer from limited expressiveness. In this work, we propose FLEXSUBNET, a family of flexible neural models for both monotone and non-monotone submodular functions. To fit a latent submodular function from (set, value) observations, FLEXSUBNET applies a concave function on modular functions in a recursive manner. We do not draw the concave function from a restricted family, but rath…
2022-10-20 cs.LG
Source Separation and Depthwise Separable Convolutions for Computer Audition
University of Minnesota(明尼苏达大学)
鉴于深度音乐声源分离的最新进展,我们提出了一种特征表示方法,该方法将声源分离与最先进的表示学习技术相结合,该技术适用于计算机试听(即机器收听)。我们训练一个具有挑战性的电子舞曲(EDM)数据集上的深度可分离的卷积神经网络,并比较其性能的卷积神经网络上的源分离和标准的频谱图。结果表明,声源分离提高了分类性能,在有限的数据设置相比,标准的单谱图的方法。
2020-12-06 cs.LG cs.SD eess.AS
Monotone Neural Policy Iteration for High-Dimensional First-Order Hamilton--Jacobi--Bellman Equations
Seoul National University of Science and Technology(首尔科学技术大学);POSTECH;Gachon University(成均馆大学)
本文提出稳定神经HJB求解器,通过混合方法分析误差并应用于强化学习,验证了求解器在模型误差和策略不匹配下的稳定性。
2026-09-11 cs.AI cs.LG cs.NA
Monotone Peridynamic Neural Operator for Nonlinear Material Modeling with Conditionally Unique Solutions
Department of Mathematics, Lehigh University(数学系,莱维大学);Department of Mathematics, University of California, San Diego(数学系,加州大学圣地亚哥分校);Department of Mathematical Sciences, Worcester Polytechnic Institute(数学科学系,沃斯堡技术学院);Center for Computing Research, Sandia National Laboratories(计算研究中心,沙ia国家实验室)
提出单调近场动力学神经算子(MPNO),通过单调梯度网络确保能量密度函数凸性与解唯一性,在合成与真实数据上验证了其收敛性、泛化能力及在分子动力学建模中的实用性。
2025-05-02 cs.LG cs.NA math.NA
Symplectic Neural Networks for Learning Non-Separable Hamiltonians
Czech Technical University in Prague(捷克布拉格理工大学);University of California at San Diego(加州大学圣地亚哥分校);Athena Research and Innovation Center(雅典研究与创新中心);HSBC Holdings(汇丰控股)
提出基于隐式辛积分器的哈密顿神经网络训练方法,通过伴随系统的辛离散化实现高效反向传播,在不可分混沌系统中实现系统辨识与能量守恒,并利用后向误差分析改进哈密顿量近似。
2026-09-15 cs.LG
Compact and Efficient Neural Networks for Image Recognition Based on Learned 2D Separable Transform
Belarusian State University of Informatics and Radioelectronics(白俄罗斯信息与无线电电子国立大学)
该研究提出学习型二维可分离变换LST层,通过行、列共享FC权重显著降低参数量,并在MNIST和FPGA上手写识别中验证其紧凑高效。
2025-05-10 cs.CV cs.LG
A Low-Cost Neural ODE with Depthwise Separable Convolution for Edge Domain Adaptation on FPGAs
Keio University(庆应义塾大学)
本文提出结合Neural ODE与深度可分离卷积的紧凑模型dsODENet,设计并实现了基于FPGA的边缘域适应加速系统,在保持准确率的同时大幅减少参数量并实现23.8倍推理加速。
2023-03-17 cs.AR cs.LG
Convergence of Gradient Descent on Separable Data
Technion(以色列理工学院);USC(南加利福尼亚大学);TTI Chicago(芝加哥丰田技术研究所)
我们提供了一个详细的研究梯度下降的隐式偏差优化损失函数时,严格单调的尾巴,如逻辑损失,在可分离的数据集。我们看两个基本问题:(一)什么条件下的损失函数的尾部梯度下降收敛在$L_2$最大利润分离的方向?(b)保证金收敛的速度如何取决于损失函数的尾部和步长的选择?我们发现,对于一个大家庭的超多项式尾部损失,梯度下降迭代线性网络的任何深度收敛的方向$L_2$最大利润的解决方案,而这并不适用于损失较重的尾巴。在这个家庭中,对于简单的线性模型,我们证明了最优利率与固定步长确实得到了常用的指数尾损失,如逻辑损失。然而,在固定步长的情况下,最佳收敛速度与$1/\log(t)$一样非常慢,Soudry等人(2018)也证明了这一点。对于指数损失的线性模型,我们进一步证明了收敛速度可以提高到$\log (t) /\sqrt{t}$通过使用积极的步长,补偿迅速消失的梯度。数值结果表明,这种方法可能是有用的深层网络。
2019-03-24 cs.LG stat.ML
An Iterative Deep Ritz Method for Monotone Elliptic Problems
The Chinese University of Hong Kong(香港中文大学)
提出迭代深度 Ritz 方法(IDRM)求解单调椭圆问题,通过编码函数空间几何并引入凸惩罚提升性能,在收敛性理论上有所突破,且在精度上优于现有神经 PDE 求解器。
2025-01-25 cs.LG cs.NA math.NA
Separable PINN: Mitigating the Curse of Dimensionality in Physics-Informed Neural Networks
Sungkyunkwan University(成均馆大学)
针对 PINN 计算成本高且随维度和网格分辨率指数增长的问题,提出 SPINN 架构,通过按轴计算配合前向模式 AD 减少前向传播,在多种 PDE 上以更短训练时间达到相当精度。
2023-11-03 cs.LG
Learning Gradients of Convex Functions with Monotone Gradient Networks
Carnegie Mellon University(卡内基梅隆大学)
虽然很多努力一直致力于推导和分析信号处理问题的有效凸公式,凸函数的梯度也有关键的应用,从基于梯度的优化,以最佳的运输。最近的工作已经探索了数据驱动的方法来学习凸目标函数,但学习其单调梯度的研究很少。在这项工作中,我们提出了C-MGN和M-MGN,两个单调梯度神经网络结构,直接学习凸函数的梯度。我们表明,与最先进的方法相比,我们的网络更容易训练,更准确地学习单调梯度场,并使用更少的参数。我们进一步展示了他们学习最佳传输映射以增强驾驶图像数据的能力。
2023-03-17 cs.LG math.OC
S$^{2}$-PINN: Stochastic Separable Physics-Informed Neural Networks
Lehigh University(理海大学)
针对随机PDE的UQ,提出S$^{2}$-PINN,利用可分离张量结构结合gPC基,在多个基准上优于九种基线,参数更少,并验证了泛化能力。
2026-11-05 cs.LG math-ph math.MP
Circuit realization and hardware linearization of monotone operator equilibrium networks
University of Sydney(悉尼大学)
本文证明电阻-二极管网络的端口行为对应于ReLU单调算子均衡网络的解,并提出硬件线性化方法实现网络在硬件中的直接训练,通过器件级电路仿真验证。
2026-10-08 cs.LG cs.NE cs.SY
COVIDLite: A depth-wise separable deep neural network with white balance and CLAHE for detection of COVID-19
International Institute of Information Technology, Bangalore(班加罗尔国际信息技术学院);Infineon Technologies AG(英飞凌科技股份公司)
背景和目的:目前,全球正面临一种大流行性疾病,即新型冠状病毒(COVID-19),它在200多个国家传播,约有330万活跃病例,约有440万人死亡。由于病例数量迅速增加,而检测试剂盒供应有限,因此有必要提供替代诊断方法,以在早期阶段遏制COVID-19病例的传播并减少死亡人数。为了提供替代诊断方法,我们提出了一种基于深度神经网络的诊断方法,该方法可以轻松地与移动设备集成,用于使用胸部X射线(CXR)图像检测COVID-19和病毒性肺炎。方法:在这项研究中,我们提出了一种名为COVIDLite的方法,它是白平衡、对比度限制自适应直方图均衡(CLAHE)和深度可分离卷积神经网络(DSCNN)的组合。在该方法中,白平衡之后的CLAHE被用作图像预处理步骤以增强CXR图像的可见性,并且使用稀疏交叉熵训练的DSCNN被用于具有较少参数和显著更轻尺寸的图像分类,即,8.4 MB无量化。结果:与没有预处理的香草DSCNN相比,所提出的COVIDLite方法提高了性能。所提出的方法实现了更高的准确率为99.58%的二进制分类,而96.43%的多类分类,并优于各种国家的最先进的方法。结论:我们提出的方法COVIDLite在各种性能指标上取得了优异的结果。通过详细的模型解释,COVIDLite可以帮助放射科医生从CXR图像中检测COVID-19患者,并可以显著缩短诊断时间。
2020-06-19 cs.CV cs.LG eess.IV
Separable Physics-informed Neural Networks for Solving the BGK Model of the Boltzmann Equation
Department of Mathematical Sciences, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院数学科学系);Department of Mathematics, Gyeongsang National University(庆尚国立大学数学系);Department of Mathematics, Sungkyunkwan University(全州大学数学系);Department of Electrical and Computer Engineering, Sungkyunkwan University(全州大学电子与计算机工程系)
提出基于可分离物理信息神经网络(SPINNs)的方法求解玻尔兹曼方程BGK模型,利用分解结构降低计算成本,结合高斯函数与相对损失提升多尺度特征逼近精度,五项实验验证了其高效性与准确性。
2024-03-10 cs.LG cs.NA math.NA
Sound Event Detection with Depthwise Separable and Dilated Convolutions
Tampere University(坦佩雷大学);Fraunhofer-IDMT(弗劳恩霍夫数字媒体技术研究所);South China University of Technology(华南理工大学)
现有技术的声音事件检测(SED)方法通常采用一系列卷积神经网络(CNN)来从输入音频信号中提取有用的特征,然后采用递归神经网络(RNN)来对所提取的特征中的较长时间上下文进行建模。CNN的通道数量和RNN的权重矩阵的大小对SED方法的参数总量有直接影响,其数量达到数百万。此外,通常用作SED方法输入的长序列以及RNN的使用,引入了诸如增加训练时间、梯度流困难以及阻碍SED方法并行化的影响。为了解决所有这些问题,我们提出用dependently可分离卷积替换CNN,用dilated卷积替换RNN。我们比较了所提出的方法的基线卷积神经网络上的SED任务,并实现了减少的参数量的85%和平均训练时间每历元的78%,并增加了平均帧的F1分数和减少的平均出错率分别为4.6%和3.8%。
2020-02-02 cs.LG cs.SD eess.AS
Deep Learning for Mean Field Games with non-separable Hamiltonians
College of Computing, UM6P(穆罕默德六世理工大学计算学院)
本文提出基于深度伽辽金方法的双神经网络框架,用于求解高维非可分哈密顿量随机平均场博弈,可处理300维问题并证明单隐层收敛性。
2023-07-18 cs.LG cs.NA math.AP
SPIKANs: Separable Physics-Informed Kolmogorov-Arnold Networks
Pacific Northwest National Laboratory(西北太平洋国家实验室)
本文提出SPIKANs,通过将变量分离原理应用于PIKANs,使每个维度由独立KAN处理,降低高维PDE训练复杂度,在保持精度的同时提升可扩展性。
2024-11-09 cs.LG cs.NA math.NA