Beyond Periodicity: Towards a Unifying Framework for Activations in Coordinate-MLPs
Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学)
坐标MLP正在成为一种有效的工具,用于建模多维连续信号,克服了许多缺点与离散网格为基础的近似。然而,具有ReLU激活的坐标MLP在其基本形式中,在以高保真度表示信号方面表现出较差的性能,从而促进了对位置嵌入层的需求。最近,Sitzmann等人提出了一种正弦激活函数,该函数能够省略坐标MLP的位置嵌入,同时仍然保持高信号保真度。尽管有潜力,ReLU仍然主导着坐标MLP的空间;我们推测这是由于网络的超敏感性-采用这种正弦激活-对初始化方案。在本文中,我们试图扩大目前的理解激活的影响,在坐标MLP,并表明存在更广泛的一类激活,适合于编码信号。我们确认,正弦激活只是这一类中的一个例子,并提出了几个非周期性的功能,经验证明更强大的性能对随机初始化比正弦曲线。最后,我们主张转向坐标MLP,采用这些非传统的激活函数,由于其高性能和简单性。
2022-03-17 cs.LG
SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions
The University of Alabama(阿拉巴马大学)
提出SineKAN,用重新加权的正弦函数网格替代B-Spline激活函数,在基准视觉任务上性能优于或媲美基线KAN,且速度显著提升,精度可媲美DNN。
2025-01-24 cs.CV cs.LG
Lossy compression of multidimensional medical images using sinusoidal activation networks: an evaluation study
Cardiff University(卡迪夫大学)
在这项工作中,我们评估了如何利用具有周期性激活函数的神经网络来可靠地压缩大型多维医学图像数据集,并将概念验证应用于4D扩散加权MRI(dMRI)。在医学成像领域,多维MRI是开发对潜在组织微结构既敏感又特异的生物标志物的关键研究领域。然而,这些数据的高维性质在存储和共享能力以及相关成本方面提出了挑战,需要能够在低维空间中表示信息的适当算法。深度学习的最新理论发展表明,周期性激活函数是图像隐式神经表示的强大工具,可用于压缩2D图像。在这里,我们将这种方法扩展到4D图像,并展示如何通过正弦激活网络的参数准确地表示任何给定的4D dMRI数据集,实现比标准DEFLATE算法高约10倍的数据压缩率。我们的研究结果表明,所提出的方法优于基准ReLU和Tanh激活感知器架构的均方误差,峰值信噪比和结构相似性指数。随后的分析,使用张量和球谐函数表示表明,所提出的有损压缩准确地再现原始数据的特性,导致相对误差约5至10倍低于基准JPEG 2000有损压缩和类似的标准预处理步骤,如MP-PCA降噪,这表明在目前接受的临床应用水平内的信息丢失。
2022-08-03 cs.CV cs.LG eess.IV
Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions
Brown University(布朗大学);Harvard University(哈佛大学)
我们提出了一种新型的神经网络,克罗内克神经网络(KNN),形成了一个通用的框架,神经网络的自适应激活函数。KNN使用Kronecker乘积,它提供了一种有效的方法来构建一个非常广泛的网络,同时保持参数的数量很低。我们的理论分析表明,在适当的条件下,KNN诱导的损失比前馈网络的衰减更快。这也通过一组计算实例进行了经验验证。此外,在一定的技术假设下,我们建立了KNN的梯度下降的全局收敛性。作为一个特定的情况下,我们提出了Rowdy激活函数,旨在摆脱任何饱和区域注入正弦波动,其中包括可训练的参数。所提出的Rowdy激活函数可以用于任何神经网络结构,如前馈神经网络、递归神经网络、卷积神经网络等。通过各种计算实验,包括使用前馈神经网络的函数逼近,使用物理信息神经网络的偏微分方程的解推理,以及使用卷积和全连接神经网络的标准深度学习基准问题。
2021-10-19 cs.LG
Sinusoidal Approximation Theorem for Kolmogorov-Arnold Networks
Department of Physics and Astronomy, University of Alabama(物理与天文学系,阿拉巴马大学)
本研究提出一种以可学习频率加权正弦函数替代Kolmogorov-Arnold表示中内外函数的新型KAN变体,固定相位为线性间隔常数值并证明其理论有效性,实验显示其性能优于固定频率傅里叶变换、与MLPs相当。
2025-08-01 cs.LG cs.NA math.NA
Training Deep Fourier Neural Networks To Fit Time-Series Data
University of Arkansas(阿肯色大学)
我们提出了一种训练包含正弦激活函数的深度神经网络以拟合时间序列数据的方法。使用快速傅立叶变换初始化权重,然后使用正则化进行训练以提高泛化能力。采用一种简单的动态参数调整方法来调整学习率和正则化项,从而实现稳定性和有效的训练。我们展示了如何使用更稀疏的正弦单位集来利用更深层来对观察到的序列进行建模,以及非均匀正则化如何通过促进权重向更简单的单位转移来提高泛化能力。该方法与时间序列问题表明,它导致有效的外推的非线性趋势。
2014-05-09 cs.LG cs.NE
Deep Learning without Global Optimization by Random Fourier Neural Networks
Sandia National Laboratories(桑迪亚国家实验室);The University of New Mexico(新墨西哥大学)
提出一种基于随机复指数激活函数的深度神经网络训练算法,利用马尔可夫链蒙特卡洛采样迭代训练网络层,避免全局和梯度优化,实现高效多尺度高频特征学习且无吉布斯现象。
2025-03-05 cs.LG cs.NA math.NA
Periodic Activation Functions Induce Stationarity
Aalto University(阿尔托大学);Saab Finland Oy(萨博芬兰有限公司)
众所周知,神经网络模型会强化隐藏的数据偏差,使其不可靠且难以解释。我们试图通过在函数空间中引入归纳偏差来构建“知道他们不知道的”模型。我们发现,贝叶斯神经网络中的周期性激活函数建立了网络权重的先验与不变性、平稳高斯过程先验之间的联系。此外,我们还证明了这种联系超越了正弦(傅立叶)激活,也涵盖了三角波和周期性ReLU激活函数。在一系列实验中,我们表明周期性激活函数对于域内数据获得了相当的性能,并且在深度神经网络中捕获对扰动输入的敏感性,以进行域外检测。
2021-12-20 cs.LG stat.ML
Conservation Laws for Modern Neural Architectures
National University of Singapore(新加坡国立大学);Center for AI Research, VinUniversity(Vin大学人工智能研究中心);Independent Researcher(独立研究者);Hanoi University of Science and Technology(河内科学技术大学)
本文提出统一框架,刻画GELU、SiLU、SwiGLU激活的前馈网络、多头注意力及混合专家模型中的梯度流守恒律,实验验证了理论预测的不变量。
2026-06-17 cs.AI cs.LG
Leveraging sinusoidal representation networks to predict fMRI signals from EEG
Vanderbilt University(范德堡大学)
本文提出结合 SIREN 与编码器-解码器的架构,直接从多通道 EEG 学习频率动态并重建特定脑区 fMRI 信号,在8人同步数据集上优于现有最先进模型。
2024-01-25 cs.CV cs.LG eess.SP
Representing Unordered Data Using Complex-Weighted Multiset Automata
University of Notre Dame(圣母大学)
在多个领域的许多环境中,都会出现无序、大小不一的输入。近年来,面向集合和多集合的神经网络处理这种类型输入的能力一直是许多工作的焦点。我们建议使用复加权多集自动机来表示多集,并展示如何将某些现有神经架构的多集表示视为我们的特例。也就是说,(1)我们为Transformer模型使用正弦函数表示位置提供了一个新的理论和直观的理由,(2)我们扩展了DeepSets模型以使用复数,使其在扩展其任务之一时优于现有模型。
2020-08-28 cs.FL cs.LG
Fast Training of Sinusoidal Neural Fields via Scaling Initialization
Pohang University of Science and Technology (POSTECH)(坡桑科学技术大学(POSTECH))
本文提出通过权重缩放方法提升正弦神经场训练速度,显著提高训练效率。
2026-02-03 cs.AI cs.LG
Parameter-Minimal Neural DE Solvers via Horner Polynomials
Dept. of Electronic Systems and Information Processing(电子系统与信息处理系);Faculty of Electrical Engineering and Computing(电气工程与计算学院);University of Zagreb(Zagreb大学)
通过霍纳多项式实现参数最小的神经微分方程求解器,在保持低参数量的同时提升求解精度和效率。
2026-02-16 cs.LG eess.SP
Minimax Lower Bounds for Ridge Combinations Including Neural Nets
Yale University(耶鲁大学)
$ d $变量的函数的估计被认为是使用脊组合的形式$ \textstyle\sum_{k=1}^m c_{1,k} ϕ(\textstyle\sum_{j=1}^d c_{0,j,k}x_j-b_k) $的激活函数$ ϕ$是一个有界值和导数的函数。这些包括单隐藏层神经网络,多项式和正弦模型。从随机站点$ X \in B = [-1,1]^d $的可能噪声值的大小为$ n $的样本,检查具有激活$ ϕ$的脊函数的$ \ell_1 $壳的闭合中的函数的最小最大均方误差。它被证明是阶$ d/n $的分数幂(当$ d $的阶数小于$ n $时),和阶$ (\log d)/n $的分数幂(当$ d $的阶数大于$ n $时)。约束$ v_0 $和$ v_1 $的内部参数$ c_0 $和外部参数$ c_1 $的$ \ell_1 $规范的依赖性,分别进行了检查。同时给出了分数阶幂的上、下界。分析的核心是发展信息理论包装数为这些类的功能。
2017-02-09 cs.LG stat.ML
WaveQ: Gradient-Based Deep Quantization of Neural Networks through Sinusoidal Adaptive Regularization
University of California San Diego(加州大学圣地亚哥分校);CNRS(法国国家科学研究中心);Université de Bordeaux(波尔多大学);Bordeaux INP(波尔多国立理工学院)
随着深度神经网络进入不同的领域,其计算效率正成为一个一阶约束。深度量化减少了操作的位宽(低于8位),提供了一个独特的机会,因为它可以超线性地减少网络的存储和计算需求。然而,如果不谨慎使用,这可能会导致显著的准确性损失。由于层之间的相互依赖性很强,并且在同一网络中表现出不同的特性,因此选择每层粒度的最佳位宽并不是一件简单的事情。因此,深度量子化打开了一个巨大的超参数空间,对其的探索是一个重大挑战。我们提出了一种新的正弦正则化,称为SINAREQ,用于深度量化训练。利用正弦特性,我们寻求在基于梯度的训练过程中结合学习多个量化参数化。具体地,我们通过学习正弦函数的周期来学习(i)每层量化位宽以及(ii)比例因子。同时,我们利用正弦函数的周期性、可微性和局部凸性特征,自动推动(iii)网络权重朝向在共同确定的水平上量化的值。我们展示了SINAREQ如何平衡计算效率和准确性,并为各种深度网络(AlexNet,CIFAR-10,MobileNet,ResNet-18,ResNet-20,SVHN和VGG-11)的量化提供了异构位宽分配,几乎保持了准确性。此外,我们进行实验,使用固定的同质位宽与3至5位分配,并显示SINAREQ在增强量化训练算法(DoReFa和WRPN)的多功能性,平均约4.8%的精度提高,然后优于多个国家的最先进的技术。
2020-04-24 cs.LG stat.ML
Implicit Neural Representations with Periodic Activation Functions
Stanford University(斯坦福大学)
由神经网络参数化的隐式定义的、连续的、可微分的信号表示已经成为一个强大的范例,提供了许多可能优于传统表示的优点。然而,目前的网络架构,这种隐式神经表示是无法建模的信号与精细的细节,并未能表示信号的空间和时间的衍生物,尽管这些是必不可少的许多物理信号隐式定义为偏微分方程的解决方案。我们建议利用周期性激活函数的隐式神经表示,并证明这些网络,被称为正弦表示网络或警报器,非常适合于表示复杂的自然信号及其衍生物。我们分析了警报激活统计,提出了一个原则性的初始化方案,并展示了图像,波场,视频,声音及其衍生物的表示。此外,我们还展示了如何利用Sirens来解决具有挑战性的边界值问题,例如特定的Eikonal方程(产生符号距离函数),泊松方程以及Helmholtz和波动方程。最后,我们将Sirens与超网络相结合,以学习Siren函数空间的先验知识。
2020-06-17 cs.CV cs.LG eess.IV
Topological Understanding of Neural Networks, a survey
Texas A&M University(德州农工大学)
我们来看看神经网络的内部结构,它通常被视为一个黑匣子。最简单和最容易理解的事情是看一个二进制分类,并试图理解神经网络采取的方法。我们回顾了不同的激活函数的意义,与之相关的网络结构类型,以及一些经验数据。我们发现了一些有趣的观察结果,并有可能在这些想法的基础上验证真实数据集的过程。我们提出了一些可能的实验,期待在三个不同的方向。
2023-01-23 cs.LG math.AT
Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics
Florida State University(佛罗里达州立大学)
该研究针对低维场景下基于坐标的MLP谱偏置严重阻碍高频收敛的问题,通过直接分析ReLU MLP训练动力学中激活区域与梯度下降收敛速度的关联,揭示谱偏置的形成机制及位置编码的作用原理。
2023-05-04 cs.AI cs.LG
Understanding Forward Process of Convolutional Neural Network
本文通过将激活函数解释为统一并量化输入数据旋转特性的辨别机制,揭示了CNN前向过程中的选择性旋转,并发现人工神经网络与人脑在数据处理模式上具有一致性。
2023-12-01 cs.AI cs.LG
Learning in Sinusoidal Spaces with Physics-Informed Neural Networks
物理信息神经网络(PINN)使用物理增强的损失函数,例如,将来自控制偏微分方程(PDE)的残差项合并,以确保其输出与基本物理定律一致。然而,在实际应用中,很多问题都很难训练出精确的PINN模型。在本文中,我们提出了一个新的角度在正弦空间学习的优点与PINN。通过分析模型初始化时的行为,我们首先表明,PINN的表现力增加会导致初始偏差周围平坦的输出函数。值得注意的是,该初始解可以非常接近于满足许多物理偏微分方程,即,落入仅最小化PDE残差的PINN损失的局部最小值,同时仍然远离共同最小化PDE残差和初始和/或边界条件的真实解。梯度下降优化很难从这样的局部最小值陷阱中逃脱,经常导致训练停滞。然后,我们证明了正弦映射的输入,在一个架构中,我们标记为sf-PINN,是有效的,以增加输入梯度的变化,从而避免被困在这种欺骗性的局部最小值。可变性的水平可以被有效地调制,以匹配手头问题中的高频模式。本文的一个关键方面是全面的实证研究,证明了在正弦空间中使用PINN学习跨越多个物理领域的各种正向和反向建模问题的有效性。
2022-03-14 cs.AI cs.CE cs.LG
Sinusoidal Initialization, Time for a New Start
OpenChip(OpenChip公司)
本文提出正弦初始化方法,通过结构化权重矩阵提升深度学习模型的收敛速度、稳定性及准确率。
2025-12-10 cs.AI cs.LG
Complexity of Neural Network Training and ETR: Extensions with Effectively Continuous Functions
University of Helsinki(赫尔辛基大学);University of Sheffield(谢菲尔德大学)
本文研究了不同激活函数下神经网络训练问题的复杂度,证明其与扩展的实数存在理论多项式时间双可归约,发现sigmoid对应指数函数且可解性未知,而正弦激活函数下训练问题不可判定。
2023-05-19 cs.AI cs.CC cs.LG
Implicit Neural Representation of Tileable Material Textures
IMPA(纯数学与应用数学研究所)
本文提出一种基于正弦神经网络与傅里叶级数的隐式表示方法,通过整数频率初始化及泊松正则化,实现可平铺纹理的连续、紧凑且抗锯齿的高质量重建。
2024-02-03 cs.CV cs.GR cs.LG
Error-Correcting Neural Networks for Two-Dimensional Curvature Computation in the Level-Set Method
University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们提出了一种基于误差神经模型的水平集方法来近似二维曲率。我们的主要贡献是重新设计的混合求解器[Larios-Cárdenas and Gibou,J. COMPUT.(2022年5月),10.1016/j.jcp.2022.111291],它依赖于数值方案来实现按需机器学习操作。特别是,我们的例行功能双重预测利用曲率对称不变性有利于精度和稳定性。该求解器的核心是一个在圆形和正弦界面样本上训练的多层感知器。其作用是量化数值曲率近似中的误差,并为沿自由边界选择的网格顶点发出校正估计。这些校正响应于预处理的上下文水平集、曲率和梯度数据而出现。为了提高神经能力,我们采用了样本负曲率归一化、重定向和基于反射的增强。以同样的方式,我们的系统结合了降维,良好的平衡性和正则化,以最大限度地减少外围效应。我们的训练方法同样可以跨网格步长进行扩展。为此,我们在数据生产过程中引入了无量纲参数化和概率子采样。所有这些元素共同提高了欠分辨区域周围曲率计算的准确性和效率。在大多数实验中,我们的策略的性能优于数字基线,其重新距离步骤数量是原来的两倍,而成本仅为原来的一小部分。
2022-09-28 cs.LG cs.NA math.NA
Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories
East China Normal University(华东师范大学);Tsinghua University(清华大学)
从统计角度研究神经网络特征学习,回顾NTK理论等,探讨固定核理论局限,将神经网络视为自适应特征模型,提出过参数化高斯序列模型作为原型,以研究特征学习特性并推动对神经网络的分析。
2026-07-29 cs.LG math.ST stat.TH
Learning High-Frequency Functions Made Easy with Sinusoidal Positional Encoding
The University of Edinburgh(爱丁堡大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);The Alan Turing Institute(艾伦·图灵研究所)
本文提出正弦位置编码(SPE),无需超参数调整即可高效学习高频函数,在三维视图合成、文本到语音和一维回归等任务中实现更高保真度和更快训练,可作为现有位置编码的直接替代品。
2024-07-17 cs.LG
Geographic Location Encoding with Spherical Harmonics and Sinusoidal Representation Networks
Wageningen University(瓦赫宁根大学);Microsoft Research New England(微软研究院新英格兰分部);Harvard Data Science Initiative(哈佛大学数据科学倡议);Center for Research on Computation and Society(计算与社会研究中心);University of Colorado, Boulder(科罗拉多大学博尔德分校);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对现有全球地理坐标嵌入存在伪影、架构设计关注不足的问题,提出结合球谐基函数与SirenNets的新型位置编码器,实验验证二者结合可在多任务中达到SOTA性能。
2024-04-15 cs.AI cs.LG
Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin
University of Minnesota(明尼苏达大学)
本文研究齐次神经网络逃离原点后的梯度流动力学,刻画首个鞍点,证明特定条件下逃离前的稀疏结构会保留至下一个鞍点。
2026-08-06 cs.LG math.OC stat.ML
Expressibility-Enhancing Strategies for Quantum Neural Networks
University of Delaware(特拉华大学);Alfred University(阿尔弗雷德大学)
针对强可表达性QNNs在逼近简单正弦函数时表现不佳的问题,提出四种可表达性增强策略,显著提升了复杂多变量函数逼近性能并降低了电路深度与量子比特需求。
2023-05-16 cs.LG quant-ph
Robustness of classification ability of spiking neural networks
Dalian University of Technology(大连理工大学);Dalian Polytechnic University(大连工业大学)
众所周知,人工神经网络(ANN)的鲁棒性对于其广泛的应用是重要的。在本文中,我们专注于一个脉冲神经网络的分类能力的鲁棒性,它接收扰动输入。实际上,扰动可以是任意形式的。然而,高斯扰动和其他规则的很少被研究。对于分类问题,越接近所需点,输入空间中的扰动点就越多。此外,扰动可以是周期性的。基于这些事实,本文只考虑正弦和高斯扰动。使用SpikeProp算法,我们在经典XOR问题和其他三个基准数据集上进行了大量的实验。数值结果表明,当输入信号受到正弦和高斯扰动时,网络的分类能力没有显著降低。
2018-01-30 cs.LG stat.ML
Sinusoidal wave generating network based on adversarial learning and its application: synthesizing frog sounds for data augmentation
基于理论模型生成观测结果的模拟器是开发、预测和评估信号处理算法的重要工具。为了设计这些模拟器,需要根据其应用构建数学模型。复杂的模型有时是必要的,以代表各种真实的现象。相比之下,从真实观测结果开发的生成模型中获得合成观测结果通常需要少得多的努力。本文提出了一种基于对抗学习的生成模型。考虑到观测值通常是由正弦波和随机噪声的线性组合组成的信号,首先基于对抗网络设计正弦波生成网络。然后可以使用所提出的网络来执行音频波形生成。实验研究了使用对抗学习设计所提出的网络的目标函数的几种方法。此外,两栖动物的声音分类是使用卷积神经网络与真实的和合成的声音训练。定性和定量的结果表明,所提出的生成模型,使真实的信号,是非常有帮助的数据增强和数据分析。
2019-01-07 cs.LG cs.SD eess.AS
Provable Benefits of Sinusoidal Activation for Modular Addition
Toyota Technological Institute at Chicago(丰田技术研究所(芝加哥));University of Chicago(芝加哥大学)
本文研究了正弦激活在模块加法学习中的优势,通过建立表达性差距和泛化界,证明正弦网络在样本复杂度和泛化性能上优于ReLU网络。
2025-11-28 cs.LG stat.ML
Fourier Neural Networks for Function Approximation
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
神经网络在应用于各种任务时提供奇迹般的结果的成功是惊人的。通过研究神经网络的普适逼近性质,可以获得工作中的启示。广泛证明了神经网络是通用逼近器。进一步证明了深度神经网络是更好的逼近器。具体证明了对于一个窄神经网络来逼近一个由深神经网络实现的函数,该网络需要指数数量的神经元。在这项工作中,我们已经实现了各种合成功能的现有方法,并确定其不足之处。此外,我们研究了傅立叶神经网络能够在神经网络中仅具有两层的情况下表现得相当好。提出了一种具有正弦激励和两个隐层的改进的傅立叶神经网络,并给出了计算结果。
2021-10-21 cs.LG
Spectral Bottleneck in Sinusoidal Representation Networks: Noise is All You Need
Technion - Israel Institute of Technology(技术学院-以色列理工学院)
本文提出WINNER初始化方案,通过改进SIREN的频谱特征提升音频和图像拟合性能,揭示初始化对频谱瓶颈的关键影响。
2025-12-23 cs.CV cs.LG cs.SD
Structure-Preserving Physics-Informed Neural Network for the Korteweg--de Vries (KdV) Equation
Oregon State University(俄勒冈州立大学)
针对KdV方程,提出结构保持物理信息神经网络框架,将质量和能量守恒嵌入损失函数,采用正弦激活函数,经案例和消融研究表明该方法能有效再现KdV动力学行为,加速收敛,提高稳定性,无需多阶段预训练。
2026-09-01 cs.LG math-ph math.MP
Predicting nonlinear reshaping of periodic signals in optical fibre with a neural network
Aston University(阿斯顿大学);Université de Franche-Comté(弗朗什-孔泰大学);Université de Bourgogne(勃艮第大学)
本研究提出基于神经网络的监督学习模型,可预测光纤中正弦信号经非线性传输后的时域与频域整形效果,覆盖两种色散 regime,还能快速探测参数空间以定制光梳或实现聚焦。
2023-03-16 cs.LG physics.optics
Improving Transformers using Faithful Positional Encoding
IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Ikerlan Research Center(伊克尔兰研究中心)
该研究针对Transformer提出一种基于坚实数学基础、可保证不丢失输入序列位置顺序信息的忠实位置编码方法,经实验验证其能系统性提升时间序列分类任务的预测性能。
2024-05-16 cs.LG
Understanding Deep Neural Networks Using Topological Data Analysis
Cornell University(康奈尔大学);Air Force Research Laboratory(美国空军研究实验室)
深度神经网络(DNN)是黑箱算法。它们使用梯度下降反向传播技术进行训练,该技术训练每层中的权重,以最小化训练误差。因此,无法直接解释由此产生的权重。使用拓扑数据分析(TDA),我们可以深入了解神经网络是如何思考的,特别是通过分析验证图像通过每一层时的激活值。
2018-10-31 cs.LG
The Vekua Layer: Exact Physical Priors for Implicit Neural Representations via Generalized Analytic Functions
Independent Researcher(独立研究者)
Vekua层通过广义解析函数实现隐式神经表示的精确物理先验,提升频谱优化精度与稳定性。
2025-12-11 cs.LG
Toward Understanding Convolutional Neural Networks from Volterra Convolution Perspective
Guangdong University of Technology(广东工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能综合研究中心)
该研究通过探索卷积神经网络与Volterra卷积的关系,提出将CNN结构转换为Volterra卷积形式的方法,实现对多数CNN的近似并保留其特征,还提出零阶和一阶代理核近似方法,为理解CNN提供新视角。
2022-10-22 cs.LG
Towards Understanding Learning in Neural Networks with Linear Teachers
Tel Aviv University(特拉维夫大学)
最小化交叉熵的神经网络能学习线性可分数据吗?尽管深度学习理论取得了进展,但这个问题仍然没有解决。在这里,我们证明了SGD全局优化了具有Leaky ReLU激活的双层网络的学习问题。原则上,学习网络可以非常复杂。然而,经验证据表明,它往往是近似线性的。我们证明了如果网络权重收敛到两个权重簇,这将意味着一个近似线性的决策边界,从而为这一现象提供了理论支持。最后,我们展示了导致权重聚类的优化条件。我们提供的实证结果验证了我们的理论分析。
2021-07-28 cs.LG
A Residual Learning Approach for Unsteady Aerodynamic Load Prediction
University of Michigan(密歇根大学)
本文以NLR 7301翼型为对象,采用LSTM神经网络,通过残差学习方法学习CFD升力与Wagner模型预测值的差值,其泛化能力优于直接预测CFD升力的神经网络,可用于增强经典低阶气动力理论。
2026-08-19 cs.LG physics.flu-dyn
Unified Source-Filter GAN: Unified Source-filter Network Based On Factorization of Quasi-Periodic Parallel WaveGAN
Nagoya University(名古屋大学)
我们提出了一个统一的方法,数据驱动的源滤波器建模使用一个单一的神经网络开发的神经声码器能够生成高质量的合成语音波形,同时保留灵活性的源滤波器模型,以控制他们的语音特性。我们提出的网络称为统一的源滤波器生成对抗网络(uSFGAN)的开发,通过分解准周期并行WaveGAN(QPPWG),神经声码器的基础上一个单一的神经网络,到一个源激励生成网络和声道共振滤波网络通过额外实现正则化损失。此外,受神经源滤波器(NSF)的启发,仅正弦波形被另外用作最简单的线索以生成周期性源激励波形,同时最小化源滤波器模型中的近似的影响。实验结果表明,uSFGAN优于传统的神经声码器,如QPPWG和NSF在语音质量和音高可控性。
2021-06-27 cs.LG cs.SD eess.AS
The universal approximation power of finite-width deep ReLU networks
ETH Zürich(苏黎世联邦理工学院);University of Vienna(维也纳大学)
我们表明,有限宽度的深度ReLU神经网络产生率失真最佳近似(Bölcskei等人,2018年)的多项式,加窗正弦函数,一维振荡纹理,和维尔斯特拉斯函数,分形函数是连续的,但无处可微。连同他们最近建立的仿射函数系统的普遍逼近性质(Bölcskei等人,2018),这表明深度神经网络近似由仿射群、Weyl-Heisenberg群或通过扭曲甚至某些分形生成的截然不同的信号结构,所有这些都具有近似误差,神经元数量呈指数衰减。我们还证明了在足够光滑的函数的近似中,有限宽度深度网络需要比有限深度宽网络严格更小的连通性。
2018-06-05 cs.LG stat.ML
Parallel Hybrid Networks: an interplay between quantum and classical neural networks
Terra Quantum AG(特拉量子公司)
本文提出一种可解释的并行混合量子神经网络,将经典多层感知器与变分量子电路并行处理输入并线性组合输出,利用量子网络拟合正弦基础、经典网络填补非谐波间隙,在含噪声周期性数据集上提升优化效果。
2023-11-01 cs.LG quant-ph
NeuralDivergence: Exploring and Understanding Neural Networks by Comparing Activation Distributions
Georgia Institute of Technology(佐治亚理工学院)
随着深度神经网络越来越多地用于解决高风险问题,迫切需要了解其内部决策机制。可视化通过帮助解释复杂的深层神经网络来帮助解决这个问题。然而,当前的工具通常只支持单个数据实例,或者孤立地可视化层。我们介绍了NeuralDivergence,一个交互式可视化系统,它使用激活分布作为模型学习的高级摘要。NeuralDivergence使用户能够交互式地总结和比较跨层、类和实例的激活分布(例如,对抗攻击和良性图像对),帮助他们更好地理解神经网络模型。
2019-06-02 cs.CV cs.LG
Investigations on convergence behaviour of Physics Informed Neural Networks across spectral ranges and derivative orders
Mahindra University(马恒达大学)
来自神经切线核(NTK)理论的一个重要推论是频谱偏差(SB)的存在,即,在训练期间,完全连接的人工神经网络(ANN)的目标函数的低频分量比高频分量被学习得显著更快。这是为具有非常低的学习率参数的均方误差(MSE)损失函数建立的。物理信息神经网络(PINNs)被设计用于学习任意阶微分方程(DE)的解;在PINNs中,损失函数被获得为DE的保守形式的残差,并且表示方程的不满意程度。因此,存在一个悬而未决的问题:(a)PINN是否也表现出SB;(b)如果是,这种偏差在DE的阶数之间如何变化。在这项工作中,一系列的数值实验进行了不同的频率,成分和方程阶数的简单正弦函数来研究这些问题。它是坚定地建立在归一化条件下,PINN确实表现出很强的光谱偏差,这与微分方程的阶数增加。
2023-01-07 cs.AI cs.LG cs.NA
Towards Understanding Normalization in Neural ODEs
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所)
规范化是深度学习中一种重要且广泛研究的技术。然而,它在基于常微分方程的网络(神经ODE)中的作用仍然知之甚少。本文研究了不同的归一化技术如何影响神经常微分方程的性能。特别是,我们证明了在CIFAR-10分类任务中可以达到93%的准确率,据我们所知,这是在这个问题上测试的神经ODE中报告的最高准确率。
2020-04-27 cs.LG stat.ML
Understanding Neural Networks with Logarithm Determinant Entropy Estimator
Tiangong University(天津工业大学)
理解深度神经网络的信息行为受到误用估计器和网络结构复杂性的挑战,这导致不一致的观察和多样化的解释。在这里,我们提出了LogDet估计-一个可靠的基于矩阵的熵估计,近似香农差分熵。我们构建信息测量的LogDet估计的基础上,验证我们的方法与可比的实验,并利用它来分析神经网络的行为。我们的结果表明,LogDet估计克服了高度多样性和退化分布的缺点,因此是可靠的估计神经网络的熵。网络分析结果还发现了浅层和深层之间的功能区别,这有助于理解神经网络信息瓶颈理论中的压缩现象。
2021-05-08 cs.LG stat.ML
Neural Network Emulator for Atmospheric Chemical ODE
School of Engineering Science, Lappeenranta-Lahti University of Technology LUT(拉普兰塔-拉赫蒂理工大学工程科学学院);Atmospheric Modelling Centre Lahti, Lahti University Campus(拉赫蒂大学校区拉赫蒂大气建模中心);Institute for Atmospheric and Earth System Research (INAR), The University of Helsinki(赫尔辛基大学大气与地球系统研究所(INAR))
针对大气化学建模复杂且计算量大的问题,提出基于注意力机制的ChemNNE神经网络仿真器,结合正弦时间嵌入、傅里叶神经算子与物理信息损失,在自建大规模化学数据集上实现建模精度与速度的SOTA表现。
2025-01-14 cs.LG physics.ao-ph physics.chem-ph
Neural population geometry: An approach for understanding biological and artificial neural networks
Center for Theoretical Neuroscience, Columbia University(哥伦比亚大学理论神经科学中心)
实验神经科学的进步已经改变了我们探索神经回路结构和功能的能力。与此同时,机器学习的进步释放了人工神经网络(ANN)的非凡计算能力。虽然这两个领域有不同的工具和应用程序,但它们提出了类似的挑战:即理解如何通过高维表示嵌入和处理信息,以解决复杂的任务。解决这一挑战的一种方法是利用数学和计算工具来分析这些高维表示的几何形状,即,神经元群体几何学。我们回顾了几何方法的例子,提供了深入了解生物和人工神经网络的功能:表示解开知觉,几何理论的分类能力,解开和抽象的认知系统,拓扑表示认知地图,动态解开运动系统,和一个动态的认知方法。总之,这些发现说明了机器学习,神经科学和几何学交叉的一个令人兴奋的趋势,其中神经元群体几何学提供了一个有用的群体级机械描述符底层任务的实现。重要的是,几何描述适用于感觉模态、大脑区域、网络架构和时间尺度。因此,神经元群体几何有可能统一我们对生物和人工神经网络的结构和功能的理解,弥合单个神经元,群体和行为之间的差距。
2021-11-20 cs.LG q-bio.NC
Quantum Neural Networks for Solving Power System Transient Simulation Problem
Alfred University(阿尔弗雷德大学)
本文提出正弦友好型与多项式友好型两种QNN,通过配置时间间隔、训练点和经典优化器求解DAEs,实现两个小型电力系统暂态仿真并验证其精度与应用潜力。
2024-05-19 cs.LG cs.SY eess.SP
Understanding the Message Passing in Graph Neural Networks via Power Iteration Clustering
Harbin Institute of Technology(哈尔滨工业大学)
图神经网络的消息传递机制至今仍是一个谜。除了卷积神经网络之外,没有提出GNN的理论起源。令我们惊讶的是,消息传递最好用幂迭代来理解。通过完全或部分去除GNN的激活函数和层权重,我们提出了子空间幂迭代聚类(SPIC)模型,该模型仅使用一个聚合器进行迭代学习。实验表明,我们的模型扩展了GNN,增强了它们处理随机特征网络的能力。此外,我们展示了一些最先进的GNN在设计中的冗余性,并通过消息传递的随机聚合器定义了模型评估的下限。我们的发现推动了对神经网络理论理解的边界。
2021-01-11 cs.LG stat.ML
Methods for Interpreting and Understanding Deep Neural Networks
Technische Universität Berlin(柏林工业大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文为解释深度神经网络模型和解释其预测的问题提供了一个切入点。它基于ICASSP 2017上给出的教程。它介绍了一些最近提出的解释技术,以及理论,技巧和建议,使最有效地利用这些技术的实际数据。它还讨论了一些实际应用。
2017-06-24 cs.LG stat.ML