Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS(里约热内卢联邦大学);City, University of London(伦敦城市大学);University of Siena(锡耶纳大学);Université Côte d’Azur(蔚蓝海岸大学);Rice University(莱斯大学)
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用,在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说,需要改进人工智能系统的可解释性,可解释性和信任度,这需要有原则的方法,正如神经符号计算所建议的那样。在本文中,我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用,以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
Variational Bayesian Neural Networks via Resolution of Singularities
School of Mathematics and Statistics(数学与统计学院);University of Melbourne(墨尔本大学)
在这项工作中,我们主张的重要性,奇异学习理论(ESTA),因为它涉及到贝叶斯神经网络(BNN)的变分推断的理论和实践。首先,我们使用ESTA来消除围绕下游预测性能之间差异的一些困惑,这些差异是通过以下方式测量的,测试测井预测密度和变目标。接下来,我们使用奇异后验分布的SLT校正渐近形式来通知变分族本身的设计。具体来说,我们建立在理想化的变分家庭引入\citet{bhattacharya_evidence_2020},这是理论上有吸引力,但实际上是棘手的。我们的建议形成了一个规范化的流,其中的基础分布是一个精心初始化的广义伽玛。我们进行实验比较,这规范的高斯基分布,并显示在变分自由能和变分推广误差方面的改进。
2023-02-13 cs.AI cs.LG stat.ML
Three-Factor Learning in Spiking Neural Networks: An Overview of Methods and Trends from a Machine Learning Perspective
AGH University of Krakow(克拉科夫AGH大学);Jagiellonian University(雅盖隆大学);ACC Cyfronet AGH;Sano - Centre for Computational Medicine(Sano计算医学中心)
本文从机器学习视角综述脉冲神经网络中的三因子学习规则,涵盖理论基础、算法实现及其在强化学习与神经形态计算中的应用,并指出研究空白与未来方向。
2025-04-25 cs.AI cs.LG cs.NE
Function-Space Regularization in Neural Networks: A Probabilistic Perspective
New York University(纽约大学)
本文提出函数空间经验贝叶斯(FSEB)正则化方法,从概率视角将参数空间正则化视为经验先验,实现显式编码期望预测函数,带来语义偏移检测、不确定性校准和任务适应等改进。
2023-12-28 cs.AI cs.LG stat.ML
New Perspective of Interpretability of Deep Neural Networks
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);Tokyo Institute of Technology(东京工业大学)
深度神经网络(DNN)被称为黑箱模型。换句话说,很难解释模型的内部状态。提高DNN的可解释性是当前的研究热点之一。然而,目前,DNN的可解释性的定义是模糊的,什么是高度解释性模型的问题仍然存在争议。为了解决这个问题,我们提供了模型的人类可预测性的定义,作为DNN可解释性的一部分。本文提出的人类可预测性定义为在扰动DNN模型时预测推理变化的容易性。此外,我们还介绍了一个高度可预测的DNN的例子。我们讨论,我们的定义将有助于研究的DNN考虑各种类型的应用程序的可解释性。
2019-09-12 cs.AI cs.LG stat.ML
Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics
RPI(伦斯勒理工学院);IBM Research(IBM研究院);UCLA(加州大学洛杉矶分校)
在深度学习中,有效的模型选择用于识别适合于下游任务的预训练神经网络是一项基本但具有挑战性的任务。目前的做法需要昂贵的计算成本的模型训练性能预测。在本文中,我们提出了一个新的框架神经网络选择通过分析在训练过程中突触连接(边缘)的支配动力学。我们的框架是建立在这样一个事实,即反向传播在神经网络训练是等效的突触连接的动态演变。因此,收敛的神经网络与由这些边组成的网络系统的平衡状态相关联。为此,我们构建了一个网络映射$ϕ$,将神经网络$G_A$转换为定义在$G_A$中的那些边上的有向线图$G_B$。接下来,我们推导出一个神经电容度量$β_{\rm eff}$作为一个预测性的措施,普遍捕获的泛化能力$G_A$的下游任务,使用只有少数早期的训练结果。我们使用17个流行的预训练ImageNet模型和五个基准数据集(包括CIFAR10,CIFAR100,SVHN,Fashion MNIST和Birds)进行了广泛的实验,以评估我们框架的微调性能。我们的神经电容度量被证明是仅基于早期训练结果的模型选择的强大指标,并且比最先进的方法更有效。
2022-01-14 cs.AI cs.CV cs.LG
Current State and Future Directions for Learning in Biological Recurrent Neural Networks: A Perspective Piece
School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Mila(米拉研究所)
我们简要回顾了生物学习的常见假设与实验神经科学的发现,并将其与循环神经网络中基于梯度的学习的效率进行了对比。本文主要讨论了突触可塑性、神经回路、理论与实验的划分以及目标函数等问题。最后,我们为理论和实验神经科学家提供了建议,以帮助他们设计新的研究,以澄清这些问题。
2022-01-05 cs.AI q-bio.NC
The role of a layer in deep neural networks: a Gaussian Process perspective
Racah Institute of Physics(拉卡物理研究所);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
深度学习中的一个基本问题涉及深度神经网络(DNN)中各个层所扮演的角色以及它们学习的数据表示的可转移属性。如果层有明确的作用,那么应该能够使用逐层损失函数分别优化它们。这样的损失函数将描述在网络的每个深度处什么是良好数据表示的集合,并且为逐层贪婪优化(LEGO)提供目标。在这里,我们推导出高斯过程和SGD训练的深度神经网络之间的新对应关系。利用这种对应关系,我们推导出深高斯逐层损失函数(DGL),我们认为,这是第一个监督逐层损失函数,这是明确的和有竞争力的准确性。由于高度结构化和对称性,DGL为理解DNN生成的内部表示提供了一条有前途的分析途径。
2019-06-13 cond-mat.dis-nn cs.AI cs.LG
Deep neural networks architectures from the perspective of manifold learning
Higher School of Economics(高等经济大学)
本文利用TDA与持续同调分形维数,从流形几何和拓扑角度比较CNN与Transformer在CV、NLP任务中的层内表示变化,以推进可解释AI。
2023-06-06 cs.AI cs.CV cs.LG
Convolutional Neural Networks Demystified: A Matched Filtering Perspective Based Tutorial
University of Montenegro(黑山大学);Imperial College London(伦敦帝国理工学院)
深度神经网络(DNN),特别是卷积神经网络(CNN)是用于分析大量信号和图像的事实标准。然而,它们的发展和基本原则在很大程度上是以特设和黑箱的方式进行的。为了帮助揭开CNN的神秘面纱,我们从第一原理和匹配滤波的角度重新审视它们的操作。我们确定CNN中的卷积运算,它们的主干,代表了一个匹配滤波器,它检查输入信号/图像是否存在预定义的特征。这种观点被证明是有物理意义的,并作为CNN操作的分步教程的基础,包括池化,零填充,各种降维方法。从第一原理开始,前馈传递和学习阶段(通过反向传播)都通过一个计算出的数值例子和相应的可视化进行了详细说明。我们希望本教程将有助于为深度神经网络的理解和进一步开发提供新的思路和物理直觉。
2022-03-22 cs.AI cs.IT cs.NE
FlexLoc: Conditional Neural Networks for Zero-Shot Sensor Perspective Invariance in Object Localization with Distributed Multimodal Sensors
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US DEVCOM Army Research Laboratory(美国DEVCOM陆军研究实验室);Amazon(亚马逊)
本文提出 FlexLoc,通过条件神经网络在运行时依据传感器节点位姿生成部分模型权重,使分布式多模态定位系统无需校准即可泛化到新视角,精度较基线提升近 50%。
2024-06-10 cs.AI cs.CV cs.LG
Towards Efficient In-memory Computing Hardware for Quantized Neural Networks: State-of-the-art, Open Challenges and Perspectives
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文全面综述了基于存内计算(IMC)的量化神经网络(QNN),将软件量化方法与IMC硬件实现相联系,并提出了开放挑战、设计要求、建议、展望及硬件路线图。
2023-07-08 cs.AI cs.AR cs.ET
A Variational Physics-Informed Neural Network Framework Using Petrov-Galerkin Method for Solving Singularly Perturbed Boundary Value Problems
本文提出结合 Petrov-Galerkin 公式与深度神经网络的变分物理信息神经网络框架,通过局部化测试函数与界面惩罚项求解一维奇异摄动边值问题,数值实验证明其精度显著优于标准 VPINN 方法。
2025-09-13 cs.AI cs.NA math.NA
SUNY: A Visual Interpretation Framework for Convolutional Neural Networks from a Necessary and Sufficient Perspective
University of California, Davis(加利福尼亚大学戴维斯分校);National Taiwan University(台湾大学)
本文提出因果驱动的CNN视觉解释框架SUNY,从必要性和充分性双向量化生成解释,提升解释的信息性与说服力,并在多个数据集上达到竞争性能。
2024-05-27 cs.AI cs.CV
A Statistical Learning Perspective on Semi-dual Adversarial Neural Optimal Transport Solvers
Applied AI Institute(应用人工智能研究所);AXXX
从统计学习角度研究半对偶对抗神经最优传输求解器的理论界限,通过建立泛化误差上界,推动最优传输领域未来研究。
2026-02-24 cs.AI cs.LG
The Stability of Singular Distribution: A Spectral Perspective on the Two-Phase Dynamics of Language Model Pre-training
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学先进交叉学科学院);State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(中国科学院人工智能安全国家重点实验室);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学);School of Mathematics, Southeast University, Nanjing, China(东南大学数学学院)
本文发现语言模型预训练中奇异值谱的早期稳定现象(SoSD),并证明该现象与慢下降阶段同步,通过理论分析揭示了权重范数增长导致SoSD阈值,从而限制后续损失下降速率。
2026-05-26 cs.LG
Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective
ShanghaiTech University(上海科技大学)
本文以神经坍缩为分析工具,证明DEQ在均衡条件下存在NC,并揭示其在非均衡数据下仍具有ETF收敛与自对偶优势。
2024-12-03 cs.AI cs.LG
Demystifying the Neural Tangent Kernel from a Practical Perspective: Can it be trusted for Neural Architecture Search without training?
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室);NAVER CLOVA
在神经架构搜索(NAS)中,降低架构评估的成本仍然是最关键的挑战之一。在众多绕过每个候选架构的训练以收敛以进行评估的努力中,神经切线核(NTK)正成为一个有前途的理论框架,其可用于在初始化时估计神经架构的性能。在这项工作中,我们重新审视了几个初始化的指标,可以从NTK,并揭示其关键的缺点。然后,通过对NTK时间演化的实证分析,我们推断出现代神经架构表现出高度的非线性特征,使得基于NTK的度量在没有一定量的训练的情况下无法可靠地估计架构的性能。考虑到这种非线性特性,我们引入了标签梯度对齐(LGA),一种新的基于NTK的度量,其固有的配方使其能够捕获大量的非线性优势,目前在现代神经架构。通过最小的训练量,LGA获得了与架构的训练后测试准确性有意义的等级相关性。最后,我们证明了LGA,辅以几个时代的训练,成功地指导现有的搜索算法,以显着降低搜索成本,以实现有竞争力的搜索性能。该代码可从以下网址获取:https://github.com/nutellamok/DemystifyingNTK。
2022-03-28 cs.AI cs.LG
Beyond Components: Singular Vector-Based Interpretability of Transformer Circuits
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎浦尔(IIT坎浦尔))
本文提出基于奇异向量的Transformer电路可解释性方法,揭示了模型内部更分布、结构化和组合化的计算特性。
2025-11-25 cs.AI cs.CL cs.LG
A Gaussian Process perspective on Convolutional Neural Networks
Dipartimento di Matematica, Università di Bologna(博洛尼亚大学数学系)
在本文中,我们将众所周知的卷积神经网络投射到高斯过程的角度。通过这种方式,我们希望对卷积网络的性能有更多的了解,特别是了解在什么情况下它们往往表现良好,以及在网络中隐含了什么假设。虽然对于全连接网络,收敛到高斯过程的特性已经被广泛研究,但对于卷积网络的输出接近多元正态分布的情况知之甚少。
2019-01-09 cs.LG stat.ML
A Dynamical System Perspective for Lipschitz Neural Networks
LAMSADE, Université Paris-Dauphine, CNRS, PSL University(巴黎多芬大学LAMSADE实验室、法国国家科学研究中心、巴黎文理研究大学);ESPCI Paris(巴黎高等物理化工学院);Facebook AI Research(脸书人工智能研究院);INRIA, Ecole Normale Supérieure, CNRS, PSL University(法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、巴黎文理研究大学)
神经网络的Lipschitz常数被确定为增强对抗性样本鲁棒性的关键量。在本文中,我们解决了建立$1$ -Lipschitz神经网络的问题.通过从连续时间动力系统的角度研究残差网络,我们提供了一种通用的方法来构建$1$ -Lipschitz神经网络,并表明以前的一些方法是这种框架的特殊情况。然后,我们扩展了这个推理,并表明从凸势导出的ResNet流定义了$1$ -Lipschitz变换,这使我们定义了{ \em凸势层}(CPL)。在几个数据集上进行的一组全面的实验证明了我们的架构的可扩展性以及作为对抗性示例的$\ell_2$可证明防御的好处。
2022-02-01 cs.LG
Multi-Perspective Neural Architecture for Recommendation System
Xiamen University(厦门大学)
目前,有一个研究趋势,利用神经结构的推荐系统。虽然已经提出了一些深度推荐模型,但大多数方法都过于简单,无法描述用户复杂的偏好。在本文中,细粒度的分析,用户的评分从多个角度来解释,在此基础上,我们提出了我们的神经架构。具体来说,我们的模型采用了几个连续的阶段来编码用户和项目到隐藏的表示。在一个阶段中,用户和项目从多个角度进行表示,在每个角度中,用户和项目的表示相互关注。最后,我们衡量的最终阶段的输出表示接近用户的评级。大量的实验表明,我们的方法实现了对基线的实质性改进。
2018-07-12 cs.IR cs.LG stat.ML
A Sampling Theory Perspective on Activations for Implicit Neural Representations
University of Adelaide(阿德莱德大学);Amazon(亚马逊公司)
本文从采样理论视角分析隐式神经表示的激活函数,发现sinc激活函数在信号编码上理论最优,并建立动力系统与INRs的关联。
2024-02-08 cs.LG
Non-Singular Adversarial Robustness of Neural Networks
National Chiao Tung University(国立交通大学);IBM Research(IBM研究院)
由于神经网络对小输入扰动过于敏感,对抗鲁棒性已成为神经网络面临的一个新挑战。虽然是关键的,我们认为,解决这个单一的问题本身无法提供一个全面的鲁棒性评估。更糟糕的是,从奇异鲁棒性中得出的结论可能会给人一种错误的整体模型鲁棒性的感觉。具体来说,我们的研究结果表明,与标准模型相比,对输入扰动具有鲁棒性的对抗训练模型仍然(甚至更容易)受到权重扰动的影响。在本文中,我们形式化的非奇异对抗鲁棒性的概念,神经网络通过镜头的联合扰动的数据输入以及模型的权重。据我们所知,这项研究是第一个考虑同时输入权重对抗扰动的工作。基于一个具有ReLU激活函数和标准分类损失的多层前馈神经网络模型,建立了误差分析,用于量化数据输入和模型权重对$\ell_\infty$范数有界扰动的损失敏感性。基于误差分析,我们提出了新的正则化函数的鲁棒训练,并证明了改进的非奇异鲁棒性对联合输入权重对抗扰动。
2021-02-23 cs.LG
Deep neural networks from the perspective of ergodic theory
Beijing Normal University(北京师范大学);Advanced Institute of Natural Sciences, Beijing Normal University(北京师范大学自然科学高等研究院)
本文将深度神经网络视作动力系统的时间演化,并引入遍历理论解释网络设计中看似神秘的经验法则。
2025-02-15 cond-mat.dis-nn cs.LG
Local-to-global Perspectives on Graph Neural Networks
University of California San Diego(加州大学圣地亚哥分校)
本论文从局部到全局视角研究图神经网络,分类了局部消息传递神经网络与全局图变换器,并探讨了收敛性、连接性及图粗化应用。
2023-06-18 cs.LG stat.ML
Singular Value Decomposition and Neural Networks
University of St.Gallen(圣加仑大学);University Passau(帕绍大学)
奇异值分解(SVD)是线性代数概念和多层神经网络之间的桥梁,是它们的线性类比。除了这种洞察力之外,它还可以用作网络参数的良好初始猜测,从而获得更好的优化结果。
2019-06-27 cs.LG cs.NA math.NA
A Basin-Selection Perspective on Grokking via Singular Learning Theory
Department of Computer Science(计算机科学系);Department of Mathematics(数学系);Mathematical Institute(数学研究所);University of Pisa(比萨大学);Imperial College London(伦敦帝国学院);University of Oxford(牛津大学);Section of Mathematics and Artificial Intelligence(数学与人工智能系);Max Planck Institute of Molecular Cell Biology and Genetics(马克斯·普朗克分子细胞生物学和遗传学研究所);Center for Systems Biology(系统生物学中心);Faculty of Mathematics(数学系);TU Dresden(德累斯顿技术大学)
本文从奇异学习理论的角度研究grokking现象,通过分析损失景观的几何特性,探讨了记忆到泛化过渡的机制,并推导了浅层二次网络中局部学习系数的解析公式。
2026-05-07 cs.LG stat.ML
Text-based Question Answering from Information Retrieval and Deep Neural Network Perspectives: A Survey
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
基于文本的问答(QA)是一项具有挑战性的任务,旨在为用户的问题找到简短具体的答案。这条研究线已经被广泛研究了信息检索技术,并在近年来通过考虑深度神经网络方法而受到越来越多的关注。深度学习方法是本文的重点,它提供了一种强大的技术来学习问题和文本之间的多层表示和交互。在本文中,我们提供了一个全面的概述不同的模型提出的QA任务,包括传统的信息检索的角度来看,和最近的深度神经网络的角度来看。我们还介绍了众所周知的数据集的任务,并提出了现有的结果,从文献中有不同的技术之间的比较。
2020-05-27 cs.CL cs.IR cs.LG
Binding and Perspective Taking as Inference in a Generative Neural Network Model
从不同的角度灵活地将特征结合成连贯的整体的能力是认知和智力的标志。重要的是,绑定问题不仅与视觉有关,而且与一般智力、感觉运动整合、事件处理和语言有关。各种人工神经网络模型已经用动态神经场和相关方法解决了这个问题。在这里,我们专注于一个生成的编码器-解码器架构,它通过回顾性推理来调整其视角并绑定功能。我们首先训练一个模型来学习动态生物运动或其他谐波运动模式(如钟摆)的足够精确的生成模型。然后,我们在一定程度上扰乱输入,可能会改变对它的看法,并将预测误差传播回绑定矩阵,即确定特征绑定的隐藏神经状态。此外,我们将错误进一步传播回透视神经元,这些神经元将输入特征旋转并转换到已知的参考系上。评估结果表明,由此产生的基于梯度的推理过程解决了已知的生物运动模式的角度和绑定问题,基本上产生了一个完形感知机制。此外,冗余的功能属性和人口编码是非常有用的。虽然我们评估生物运动模式的算法,原则性的方法应适用于绑定和完形感知问题在其他领域。
2020-12-09 cs.LG cs.NE
Transfer Learning for Voice Activity Detection: A Denoising Deep Neural Network Perspective
Tsinghua University(清华大学)
源、目标带噪语料的不匹配问题严重阻碍了基于机器学习的语音激活检测(VAD)的实际应用。本文试图从迁移学习的角度来解决这一问题。迁移学习试图找到一个共同的学习机或一个共同的特征子空间,由源语料库和目标语料库共享。使用去噪深度神经网络作为学习机。三个转移技术,其目的是学习共同的特征表示,用于分析。实验结果证明了迁移学习方案对失配问题的有效性。
2013-03-08 cs.LG
Neural Conservation Laws: A Divergence-Free Perspective
Vector Institute(向量研究所);Meta AI
我们研究深度神经网络的参数化,通过设计满足连续性方程,一个基本的守恒定律。这是通过观察连续性方程的任何解都可以表示为无发散向量场来实现的。因此,我们提出了通过微分形式的概念来构建无发散神经网络,并在自动微分的帮助下,实现了两个实际的结构。因此,我们可以参数化总是精确满足连续性方程的密度和向量场对,而不需要额外的惩罚方法或昂贵的数值模拟。此外,我们证明了这些模型是通用的,因此可以用来表示任何发散自由向量场。最后,我们通过计算基于神经网络的流体方程的解决方案,求解霍奇分解,并学习动态最优传输映射实验验证我们的方法。
2022-12-11 cs.LG
Unsupervised Legendre-Galerkin Neural Network for Singularly Perturbed Partial Differential Equations
Sungkyunkwan University(成均馆大学);Gachon University(嘉泉大学)
机器学习方法最近已被用于求解偏微分方程(PDE)和动力系统。这些方法已经发展到一个新的研究领域,称为科学机器学习,其中,诸如深度神经网络和统计学习的技术被应用于应用数学的经典问题。在本文中,我们开发了一种新的数值算法,结合机器学习和人工智能来解决偏微分方程。基于Legendre-Galerkin框架,我们提出了{ \it无监督机器学习}算法来学习不同类型偏微分方程解的{ \it多实例}。我们的方法克服了数据驱动和基于物理的方法的局限性。建议的神经网络适用于一般的一维和二维偏微分方程的各种边界条件,以及对流为主的{ \it奇摄动偏微分方程},表现出较强的边界层行为。
2022-12-09 cs.LG
A New Perspective To Understanding Multi-resolution Hash Encoding For Neural Fields
Department of Computer Science, University of Toronto(计算机科学系,多伦多大学)
本文提出“域操纵”新视角,解释 Instant-NGP 中多分辨率哈希网格如何通过人为复制线性分段来提升神经场表达能力,并在一维信号上实验验证其可推广性。
2025-05-05 cs.LG
Neural Network Libraries: A Deep Learning Framework Designed from Engineers' Perspectives
Sony Group Corporation(索尼集团公司)
虽然存在过多的深度学习工具和框架,但该领域快速增长的复杂性带来了新的需求和挑战,例如更灵活的网络设计,分布式设置的快速计算以及不同工具之间的兼容性。在本文中,我们介绍了神经网络库(nnabla.org),这是一个从工程师角度设计的深度学习框架,强调可用性和兼容性是其核心设计原则。我们详细阐述了我们的每一个设计原则和它的优点,并通过实验验证我们的尝试。
2021-06-21 cs.CV cs.LG
A Kernel Perspective for Regularizing Deep Neural Networks
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);ENS(巴黎高等师范学院);PSL(巴黎文理研究大学)
我们提出了一种新的观点,通过使用再生核希尔伯特空间(RKHS)的范数来正则化深度神经网络。尽管这个范数不能计算,但它允许导致各种实际策略的上下近似。具体来说,这种观点(i)为许多现有的正则化原则提供了一个共同的保护伞,包括谱范数和梯度惩罚,或对抗性训练,(ii)导致新的有效正则化惩罚,(iii)建议结合下界和上界的混合策略,以获得更好的RKHS范数近似。我们的实验表明,这种方法在小数据集上学习时是有效的,或者可以获得对抗性强的模型。
2019-05-13 cs.LG stat.ML
Geometry Perspective Of Estimating Learning Capability Of Neural Networks
Jadavpur University(贾达普大学)
本文使用统计和微分几何动机,以获取先验信息的人工神经网络的学习能力在一个给定的数据集。本文考虑了一个广泛的类的神经网络与广义架构执行简单的最小二乘回归随机梯度下降(SGD)。分析了学习轨迹中两个关键时刻的系统特性。在训练阶段的某些时期,系统达到平衡,泛化能力达到最大值。该系统也可以与局域化的非平衡态相干,其特征在于Hessian矩阵的稳定性。证明了泛化能力越强的神经网络收敛速度越慢。讨论了神经网络的泛化能力与稳定性之间的关系。将高能物理学原理与神经网络的学习理论相结合,从人工神经网络的角度建立了复杂性-作用猜想的一个变体。
2020-12-01 cond-mat.dis-nn cs.LG stat.ML
Toward Understanding Convolutional Neural Networks from Volterra Convolution Perspective
Guangdong University of Technology(广东工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能综合研究中心)
该研究通过探索卷积神经网络与Volterra卷积的关系,提出将CNN结构转换为Volterra卷积形式的方法,实现对多数CNN的近似并保留其特征,还提出零阶和一阶代理核近似方法,为理解CNN提供新视角。
2022-10-22 cs.LG
Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network
Purdue University(普渡大学);Hong Kong University of Science and Technology(香港科技大学);East China Normal University(华东师范大学)
过参数化的神经网络训练梯度下降(GD)可以证明过拟合任何训练数据。然而,泛化保证可能不适用于噪声数据。从非参数的角度,本文研究如何以及过参数化神经网络可以恢复真实的目标函数在随机噪声的存在。我们建立了一个下界的$L_2$估计误差相对于GD迭代,这是远离零,没有一个微妙的计划提前停止。反过来,通过对$\ell_2$正则化GD轨迹的全面分析,我们证明了对于具有$\ell_2$正则化的过参数化的一个隐藏层ReLU神经网络:(1)输出接近于具有相应神经正切核的核岭回归的输出;(2)可以实现$L_2$估计误差的minimax {最优}率。数值实验证实了我们的理论,并进一步表明,$\ell_2$正则化方法提高了训练的鲁棒性,适用于更广泛的神经网络。
2021-09-25 cs.LG stat.ML
Point Source Identification Using Singularity Enriched Neural Networks
The Chinese University of Hong Kong(香港中文大学);The Hong Kong Polytechnic University(香港理工大学)
针对点源识别逆问题因解的奇异性缺乏神经网络方法的问题,提出结合奇异性增强技术的神经网络算法,分别用基本解和神经网络表示奇异与正则部分,经严格误差分析与实验验证了有效性。
2024-08-17 cs.LG cs.NA math.NA
Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel
University of Minnesota(明尼苏达大学)
图卷积网络是一类流行的深度神经网络算法,其在许多关系学习任务中显示出成功。尽管取得了成功,但图卷积网络表现出许多独特的特征,包括偏向于学习过平滑和同质函数,由于这些算法的复杂性,这些函数不容易诊断。我们建议通过研究层卷积网络的神经切线核来弥合这一理解上的差距--层卷积网络是图卷积网络的拓扑推广。为此,我们推导出层卷积网络的神经切线核的参数化,该参数化将函数分为两部分:一部分由图确定的前向扩散过程驱动,另一部分由节点激活对输出层的复合效应确定。这种几何聚焦的推导产生了许多我们详细讨论的直接见解。
2022-08-19 cs.LG
Convolution-weighting method for the physics-informed neural network: A Primal-Dual Optimization Perspective
针对物理信息神经网络在有限点集上优化导致收敛性与精度不足的问题,本文提出一种将损失权重从孤立点自适应扩展到连续邻域的卷积加权方案,实验证明其能有效降低相对 $L^2$ 误差。
2025-07-18 cs.LG
A Differential Manifold Perspective and Universality Analysis of Continuous Attractors in Artificial Neural Networks
Yingcai Honors College, University of Electronic Science and Technology of China(电子科技大学荣誉学院);School of Mathematical Sciences, University of Electronic Science and Technology of China(电子科技大学数学学院);College of Computer Sciences, Sichuan University(四川大学计算机学院)
本研究从微分流形视角提出统一框架,分析人工神经网络中的连续吸引子,揭示其与局部Jacobian矩阵特征值的联系,并证明奇异值分层在常见模型与数据集中的普遍性,为构建一般理论奠定基础。
2025-09-03 cs.LG
Understanding the Expressivity and Trainability of Fourier Neural Operator: A Mean-Field Perspective
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);NTT Communication Science Laboratories(NTT通信科学实验室)
本文从平均场理论视角分析了傅里叶神经算子(FNO)的表达性与可训练性,揭示了基于权重分布的有序-混沌相变特征及其与梯度消失或爆炸的对应关系,为FNO的稳定训练提供了理论前提。
2024-09-26 cs.LG
Optimal Control Operator Perspective and a Neural Adaptive Spectral Method
Shanghai Jiao Tong University(上海交通大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种实例-解控制算子视角,以一次性方式求解最优控制问题,并设计神经自适应谱方法(NASM)实现该算子,通过理论误差界和实验验证了其高效性与泛化能力。
2024-12-17 cs.AI cs.LG cs.SY
Cross Entropy versus Label Smoothing: A Neural Collapse Perspective
New York University Shanghai(纽约大学上海分校);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文从神经坍缩视角比较标签平滑与交叉熵,通过实验和无约束特征模型理论证明标签平滑可增强NC、降低条件数并加快收敛。
2025-05-30 cs.LG
How to Train Your Wide Neural Network Without Backprop: An Input-Weight Alignment Perspective
Massachusetts Institute of Technology(麻省理工学院)
最近的工作已经研究了在神经切线核(NTK)制度中训练的宽神经网络的理论和经验性质。考虑到生物神经网络比人工神经网络要广泛得多,我们认为NTK域宽神经网络是生物神经网络的一个可能的模型。利用NTK理论,我们从理论上证明了梯度下降驱动分层权重更新,这些更新与由误差加权的输入活动相关性一致,并从经验上证明了该结果在有限宽度的网络中也成立。对齐结果使我们能够制定一系列生物动机,反向传播自由学习规则,理论上相当于无限宽度网络中的反向传播。我们在前馈和递归神经网络的基准问题上测试了这些学习规则,并在广泛的网络中展示了与反向传播相当的性能。所提出的规则是特别有效的低数据制度,这是常见的生物学习环境。
2022-07-13 cs.LG stat.ML
Neural Network Weights Do Not Converge to Stationary Points: An Invariant Measure Perspective
Tsinghua University(清华大学);Massachusetts Institute of Technology(麻省理工学院)
这项工作研究了现有的基于梯度的算法的理论分析和训练深度神经网络的实践之间的深度脱节。具体来说,我们提供了数值证据,表明在大规模神经网络训练(例如,ImageNet + ResNet 101和WT 103 + TransformerXL模型),神经网络的权重不会收敛到损失梯度为零的稳定点。然而,值得注意的是,我们观察到,即使权重没有收敛到固定点,最小化损失函数的过程也会停止,训练损失也会稳定下来。受此启发,我们提出了一个基于动力系统遍历理论的新视角来解释这一现象,即不研究权的演化,而是研究权分布的演化。我们证明了权重分布收敛到近似不变测度,从而解释了训练损失如何在权重不一定收敛到稳定点的情况下稳定。我们进一步讨论了这种观点如何更好地将优化理论与机器学习实践中的经验观察相结合。
2022-06-17 cs.LG math.OC stat.ML
Understanding the Feedforward Artificial Neural Network Model From the Perspective of Network Flow
School of Computer Science, Shanghai Key Laboratory of Data Science, Fudan University(复旦大学计算机科学技术学院,上海市数据科学重点实验室);School of Automation Science and Engineering, South China University of Technology(华南理工大学自动化科学与工程学院)
近年来,基于人工神经网络(ANN)的深度学习在模式识别方面取得了巨大成功。然而,对这样的神经计算模型没有清楚的理解。本文试图从网络流的角度来揭示人工神经网络模型的“黑箱”结构。具体来说,我们认为前馈神经网络作为一个网络流模型,它由许多方向类路径。每个类路径编码一个类。类的类路径是通过连接从输入到输出的每一层中激活的神经节点来获得的,其中神经节点的激活值(节点值)由训练的ANN分类器中每一层的权重定义。从类路径的角度来看,人工神经网络分类器的训练可以看作是不同类的类路径的形成过程。通过分析训练好的人工神经网络分类器中每两个类路径之间的距离,我们试图回答为什么分类器会这样做的问题。最后,从神经编码的角度出发,通过类路径定义了每个神经节点的重要性,这有助于分类器结构的优化。通过对多层MLP和CNN两种人工神经网络模型的实验,验证了基于类通路的网络流是对人工神经网络模型的合理解释。
2017-04-26 cs.LG
Attribution and Obfuscation of Neural Text Authorship: A Data Mining Perspective
Penn State University(宾夕法尼亚州立大学);University of Mississippi(密西西比大学)
作者身份归属(AA)和作者身份混淆(AO)是隐私研究中两个日益引起兴趣和重要性的相互关联的研究问题。给定一个工件,特别是一个有问题的文本t,AA解决方案的目标是准确地将t归因于许多候选作者中的真实作者,而AO解决方案的目标是修改t以隐藏其真实作者。传统上,作者身份的概念及其伴随的隐私问题只针对人类作者。然而,近年来,由于NLP中神经文本生成(NTG)技术的爆炸性进步,能够合成人类质量的开放式文本(所谓的“神经文本”),人们现在必须考虑人类,机器或其组合的作者。由于神经文本在恶意使用时的影响和潜在威胁,了解传统AA/AO解决方案的局限性并开发新的AA/AO解决方案来处理神经文本变得至关重要。因此,在这项调查中,我们从数据采掘的角度对神经文本作者的归属和混淆的最新文献进行了全面的回顾,并分享了我们对他们的局限性和有前途的研究方向的看法。
2023-03-13 cs.CL cs.LG
Model Evolution Under Zeroth-Order Optimization: A Neural Tangent Kernel Perspective
The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科技大学)
本文从神经切线核视角探讨零阶优化下的模型演化,证明线性模型中预期NZK恒定,提出通过NZK解释零阶更新的核梯度下降,实验证实理论结果并展示加速效果。
2026-03-22 cs.LG
Neural Networks for Safety-Critical Applications - Challenges, Experiments and Perspectives
fortiss - Landesforschungsinstitut des Freistaats Bayern(巴伐利亚州fortiss研究机构)
我们提出了一种设计可靠的人工神经网络(ANN)的方法,通过扩展的概念,可理解性,正确性和有效性,在现有的认证标准的关键成分。我们应用的概念在一个具体的案例研究中设计一个高速公路基于人工神经网络的运动预测,以保证安全性能,如不可能的自我车辆建议移动到正确的车道,如果有另一辆车在其右侧。
2017-09-04 cs.LG cs.SE
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab(Criteo人工智能实验室);Amazon(亚马逊);Meta AI Research(Meta人工智能研究院)
在本文中,我们研究了神经网络(NN)拓扑结构对对抗鲁棒性的影响。具体来说,我们研究了当输入遍历NN的所有层时产生的图,并表明这些图对于干净的和对抗性的输入是不同的。我们发现,来自干净输入的图形更集中在高速公路边缘,而来自对手的图形则更分散,利用了优化不足的边缘。通过在各种数据集和架构上的实验,我们证明了这些优化不足的边缘是对抗性脆弱性的来源,它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
Signed Graph Neural Networks: A Frequency Perspective
Georgia Tech(佐治亚理工学院)
图卷积网络(GCN)及其变体被设计用于仅包含正链接的无符号图。许多现有的GCN已经从位于(无符号)图上的信号的谱域分析中导出,并且在每个卷积层中,它们执行输入特征的低通滤波,然后进行可学习的线性变换。它们扩展到具有正链接和负链接的符号图带来了多个问题,包括计算不规则性和模糊的频率解释,使得计算高效的低通滤波器的设计具有挑战性。在本文中,我们解决这些问题,通过频谱分析的符号图,并提出了两个不同的符号图神经网络,一个只保留低频信息,一个也保留高频信息。我们进一步引入磁符号拉普拉斯算子,并使用其特征分解的有向符号图的谱分析。我们测试了我们的方法在符号图上的节点分类和链接符号预测任务,并实现了最先进的性能。
2022-08-15 cs.LG