Modular addition without black-boxes: Compressing explanations of MLPs that compute numerical integration
本文针对模加法模型中的 ReLU MLP，利用无限宽度视角将其激活后矩阵乘法解释为近似积分，揭示单层 transformer 的“pizza”算法中 MLP 等价于求积格式。
2024-12-04 cs.AI cs.LG
GraphKAN: Enhancing Feature Extraction with Graph Kolmogorov Arnold Networks
The Hong Kong University of Science and Technology（香港科技大学）
针对图神经网络中MLP和固定激活函数导致信息损失、限制特征提取的问题，研究者首次将KAN与GNN结合，提出GraphKAN模型，用KAN替代MLP和激活函数做特征提取，实验验证了其有效性，展现了KAN在图学习领域的应用潜力。
2024-06-19 cs.AI cs.LG
A Probabilistic Representation of Deep Learning for Improving The Information Theoretic Interpretability
University of Delaware（特拉华大学）
在本文中，我们提出了一种概率表示的多层感知器（MLP），以提高信息论的可解释性。最重要的是，我们证明，被i.i.d.不是对MLP的所有隐藏层都有效，因此现有的基于非参数推断方法的互信息估计器，例如，经验分布和核密度估计（KDE），是无效的测量信息流的MLP。此外，我们引入了显式的概率解释MLP：（i）我们定义了概率空间（Omega_F，t，P_F），并证明了激活函数对概率测度P_F的重要影响：（ii）证明了MLP的整个结构是Gibbs分布P;以及（iii）反向传播旨在优化MLP的所有全连接层的样本空间Omega_F，用于学习最优吉布斯分布P*，以表达输入和标签之间的统计连接。基于MLP的概率解释，我们从三个方面改进了MLP的信息论解释：（i）f的随机变量是离散的，对应的熵是有限的;（ii）如果考虑反向传播，信息瓶颈理论不能正确解释MLP中的信息流;（iii）我们提出了新的MLP推广的信息论解释。最后，我们证明了建议的概率表示和信息理论解释MLP在合成数据集和基准数据集。
2020-10-27 cs.IT cs.LG math.IT
Kolmogorov-Arnold Networks in Low-Data Regimes: A Comparative Study with Multilayer Perceptrons
University of Colorado Denver（科罗拉多大学丹佛分校）
针对低数据场景下KANs参数量大、效果存疑的问题，提出带神经元级个性化参数化激活函数的MLP，实验证明其在小样本下准确率显著优于默认超参数的KANs，为激活函数选择提供参考。
2024-09-16 cs.LG stat.CO stat.ML
KAN: Kolmogorov-Arnold Networks
Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）；Northeastern University（东北大学）
受科尔莫戈罗夫-阿诺德表示定理启发提出KANs替代MLPs，以边端可学习样条单变量函数替代线性权重，在准确性（小模型性能更优、缩放律更快）和可解释性（可视化、辅助定律发现）上更优，为深度学习模型改进提供新方向。
2025-02-09 cond-mat.dis-nn cs.AI cs.LG
Bilinear MLPs enable weight-based mechanistic interpretability
University of Antwerp（安特卫普大学）；sqIRL/IDLab；Apollo Research
本文分析了无逐元素非线性的 bilinear MLPs，通过三阶张量表示和特征分解揭示权重的低秩结构，从而实现基于权重的机制可解释性，并成功应用于制作对抗样本、揭示过拟合及识别语言模型电路。
2025-06-25 cs.LG stat.ML
Designing Compact Neural Architectures via Neuron Gating and Mixed Activation
IIT Kanpur（印度理工学院坎普尔分校）；IIM Ahmedabad（印度管理学院艾哈迈达巴德分校）；Krishnamurthy Tandon School of AI（克里希纳穆尔蒂坦登人工智能学院）
本研究提出基于神经元门控与混合激活的NAS方法，通过连续松弛优化架构空间，在MNIST、CIFAR-10上实现紧凑架构的高性能，优于DARTS，可优化过度参数化架构。
2026-08-17 cs.AI cs.LG
Generalizing MLPs With Dropouts, Batch Normalization, and Skip Connections
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
多层感知器（MLP）通常由具有非线性激活函数的多个完全连接的层组成。有几种方法可以使它们更好（例如更快的收敛，更好的收敛极限等）。但研究缺乏结构化的方法来测试它们。我们通过在年龄和性别数据集上进行实验来测试不同的MLP架构。我们的经验表明，通过在每个线性层之前白化输入并添加跳过连接，我们提出的MLP架构可以获得更好的性能。由于白化过程包括丢弃，因此它也可以用于近似贝叶斯推断。我们已经开源了我们的代码，并在https://github.com/tae898/age-gender/上发布了模型和Docker镜像
2021-08-22 cs.LG
Rationally Linearized MLPs
Google Research（谷歌研究院）；Seoul National University（首尔大学）；Kensho Technologies（肯肖科技公司）；Google DeepMind（谷歌DeepMind）；Columbia University（哥伦比亚大学）
该研究提出RaLiMPs，用低阶有理近似线性化MLPs，构造窄瓶颈核表示，经多类应用实验，在精度相当或更优的同时大幅降低推理成本。
2026-10-12 cs.LG
Activation Functions for Generalized Learning Vector Quantization - A Performance Comparison
适当选择激活函数（如ReLU、sigmoid或swish）对（深度）多层感知器（MLP）进行分类和回归学习的性能起着重要作用。基于原型的分类学习方法，如（广义）学习矢量量化（GLVQ）是强大的替代方案。这些模型也处理激活函数，但在这里它们被应用于所谓的分类器函数。在本文中，我们调查成功的候选人的激活函数已知的MLP应用在GLVQ和他们的影响的性能。
2019-01-17 cs.LG stat.ML
Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics
Florida State University（佛罗里达州立大学）
该研究针对低维场景下基于坐标的MLP谱偏置严重阻碍高频收敛的问题，通过直接分析ReLU MLP训练动力学中激活区域与梯度下降收敛速度的关联，揭示谱偏置的形成机制及位置编码的作用原理。
2023-05-04 cs.AI cs.LG
Training Multilayer Perceptrons by Sampling with Quantum Annealers
The University of Adelaide（阿德莱德大学）
量子退火在机器学习中的一个成功应用是训练受限玻尔兹曼机（RBM）。然而，许多用于视觉应用的神经网络是前馈结构，例如多层感知器（MLP）。反向传播是目前训练用于监督学习的MLP的最有效的技术。本文旨在通过探索使用量子退火器训练MLP来进行前瞻性研究。我们利用MLP和基于能量的模型（EBM），这是一个变化的RBM与最大条件似然目标之间的等价性。这导致了一种策略，训练MLP与量子退火作为采样引擎。我们证明了我们的设置与sigmoid激活函数和一个隐藏层的MLP，并展示了训练的二进制图像分类器的小子集的MNIST和时尚MNIST数据集使用的D波量子退火。虽然问题的大小是可行的，目前的退火炉是有限的，我们得到了全面的结果，验证我们的想法可行的情况下。我们的工作确立了量子计算在训练MLP方面的潜力。
2023-03-22 cs.LG quant-ph
Evaluating Federated Kolmogorov-Arnold Networks on Non-IID Data
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
本文在非独立同分布数据的MNIST分类任务中比较了F-KANs与MLPs，发现Spline-KANs能在更少的训练轮数内达到MLPs的最佳准确率，且计算时间仅适度增加。
2024-10-11 cs.AI cs.LG
Uncovering Layer-Dependent Activation Sparsity Patterns in ReLU Transformers
Google Research（谷歌研究院）
本研究针对ReLU Transformer中MLP的激活稀疏性问题，深入探究token级稀疏性的训练演变及层间差异，发现首尾层稀疏模式反向、神经元死亡由训练动态驱动，为理解模型不同深度的特征表示结构提供了新依据。
2024-07-10 cs.AI cs.LG
Is In-Context Universality Enough? MLPs are Also Universal In-Context
The Vector Institute（向量研究所）；McMaster University（麦克马斯特大学）；Shimane University（岛根大学）
本文通过证明具有可训练激活函数的 MLP 同样具备上下文内通用性，否定了上下文内通用性是 Transformer 相对经典模型优势来源的观点，指出其成功更可能源于归纳偏置或训练稳定性等因素。
2025-02-05 cs.LG cs.NA cs.NE
Enhancing Neural Function Approximation: The XNet Outperforming KAN
Oxford Suzhou Centre for Advanced Research（牛津苏州高等研究院）；Northwestern University（西北大学）；Soochow University（苏州大学）；Great Bay University（大湾区大学）
针对神经函数逼近问题，提出采用柯西积分激活函数的单层XNet架构，理论证明其可实现任意阶多项式收敛，实验显示其在多任务上逼近误差最多降50000倍、训练加速最多10倍，性能优于传统MLP和KAN。
2025-02-14 cs.AI cs.LG
CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation
University of California at Santa Barbara（加州大学圣巴巴拉分校）；University at Albany, SUNY（阿尔巴尼大学，SUNY）；Argonne National Laboratory（阿贡国家实验室）
针对大语言模型预训练计算资源消耗高的问题，提出利用低秩激活特性的CoLA及内存优化版CoLA-M，用自编码器替换全尺寸层，在保持全秩性能的同时大幅提升训练与推理效率、降低成本。
2025-10-01 cs.AI cs.LG
Prototype Training with Dual Pseudo-Inverse and Optimized Hidden Activations
Department of Energy and Systems Engineering, University of Pisa（能源与系统工程系，比萨大学）
提出快速训练范式Proto-PINV+H，通过闭式双伪逆计算权重并以Adam优化原型与隐藏激活，在MNIST等数据集上实现高精度与高效率的优异权衡。
2025-08-13 cs.AI cs.LG
Depth Dependence of $μ$P Learning Rates in ReLU MLPs
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）
本文研究ReLU MLP中最大更新学习率对深度和宽度的依赖，发现其独立于宽度但随深度按$L^{-3/2}$缩放。
2023-05-13 cs.LG stat.ML
What Shapes Emergent Misalignment? Insights from Training Dynamics, Model Priors, and Data
Max Planck Institute for Intelligent Systems, ELLIS Institute Tübingen, Tübingen AI Center, Tübingen, Germany（马克斯·普朗克智能系统研究所，ELLIS 图宾根研究所，图宾根人工智能中心，图宾根，德国）；Meta
通过训练动态、模型先验和数据三个组件，研究窄微调导致模型广泛不对齐的突现不对齐现象及其变异性。
2026-06-23 cs.AI cs.LG stat.ML
Bridging KAN and MLP: MJKAN, a Hybrid Architecture with Both Efficiency and Expressiveness
KAIST Applied Science Research Institute（韩国科学技术院应用科学研究所）
针对KAN计算成本高、通用分类性能不足的问题，本文提出融合类FiLM机制与RBF激活的MJKAN混合架构，在函数回归任务中显著优于MLP，分类任务性能与MLP相当，兼具效率与表达能力。
2025-07-07 cs.AI cs.CV cs.LG
PointNet with KAN versus PointNet with MLP for 3D Classification and Segmentation of Point Sets
Cranberry-Lemon University（Cranberry-Lemon 大学）；University of the Witwatersrand（威特沃特斯兰大学）；Stanford University（斯坦福大学）
该研究首次将KAN集成到PointNet中提出PointNet-KAN，使用雅可比等多项式构建KAN层并保留PointNet排列不变性，实验证明其在更浅架构下仍能在三维点云分类分割任务上取得与MLP版PointNet相当的性能，为KAN在点云领域的应用提供基础。
2025-06-11 cs.CV cs.LG
A Systematic Empirical Study of Grokking: Depth, Architecture, Activation, and Regularization
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Howard University（霍华德大学）
本文通过模块加法（mod 97）任务系统研究神经网络从记忆到泛化的延迟过渡，发现泛化能力主要由优化稳定性与正则化交互决定，揭示了深度、激活函数和权重衰减对Grokking的影响。
2026-03-26 cs.LG
MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts
Wallarm Research（Wallarm 研究部）
MLPMoE通过零样本方法将密集LLM的MLP结构转换为静态混合专家，实现参数高效和计算节省。
2025-11-26 cs.AI cs.LG
A comparative study of back propagation and its alternatives on multilayer perceptrons
Cornell University（康奈尔大学）
用于训练前馈神经网络的反向传递的实际算法是反向传播（BP）。几乎处处可微的激活函数的使用使得通过深层神经网络层向后传播梯度变得高效和有效。然而，近年来，人们对反向传播的替代方案进行了大量研究。这种分析主要集中在多层感知器（MLP）和卷积神经网络（CNN）中达到最先进的精度。在本文中，我们分析了MLP中预测和神经元的稳定性和相似性，并提出了一种新的算法。
2022-05-31 cs.LG cs.NE
A ZeNN architecture to avoid the Gaussian trap
Lu\' s Carvalho, Department of Mathematics, ISCTE - Lisbon University Institute Av. das For c as Armadas 1649-026, Lisbon Portugal；Center for Mathematical Analysis, Geometry；João L. Costa, Department of Mathematics, ISCTE - Lisbon University Institute Av. das For c as Armadas 1649-026, Lisbon Portugal；José Mourão, Department of Mathematics；Gonçalo Oliveira, Department of Mathematics
针对标准多层感知器大宽度下的非参数、逐点极限缺失、丧失非高斯属性及有限宽度时高频学习差的问题，提出受调和分析三原则启发的ZeNN架构，可修复上述缺陷，在无限宽度下逐点收敛、具备非高斯渐近结构与特征学习能力，有限宽度下学习低维域高频特征表现优异。
2025-07-31 cs.LG math.PR
MLPs at the EOC: Spectrum of the NTK
Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷伊数学研究所）
该研究分析了混沌边缘初始化下无限宽MLP的神经正切核谱，发现其条目可由激活余弦距离倒数近似，并得出条件数收敛速率由Δ_φ决定，绝对值激活优于ReLU。
2025-01-22 cs.LG
Learning on a Razor's Edge: Identifiability and Singularity of Polynomial Neural Networks
Department of Mathematics, KTH Royal Institute of Technology（数学系，皇家理工学院）
研究以多项式为激活函数的MLP和CNN的函数空间（神经流形），证明MLP参数化几乎处处有限对一，CNN参数化一一对应，并刻画奇异性源于稀疏子网络，解释MLP的稀疏偏好。
2026-06-12 cs.LG math.AG
Looped ReLU MLPs May Be All You Need as Practical Programmable Computers
The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Tsinghua University（清华大学）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；University of Pennsylvania（宾夕法尼亚大学）
本文证明循环的 23 层 ReLU-MLP 可用实际规模权重执行可编程计算，且比循环 Transformer 更高效，揭示简单 MLP 被低估的表达能力。
2025-02-20 cs.AI cs.CC cs.LG
Estimating the expected output of wide random MLPs more efficiently than sampling
Alignment Research Center（对齐研究中心）
本文提出无需采样即可估计宽随机MLP在高斯输入下的期望输出方法，通过累积量和 Hermite展开近似激活分布，减少FLOPs并提升稀有事件概率估计效果。
2026-11-04 cond-mat.dis-nn cs.LG stat.ML
Trainable Adaptive Activation Function Structure (TAAFS) Enhances Neural Network Force Field Performance with Only Dozens of Additional Parameters
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所 处理器国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
提出可训练自适应激活函数结构（TAAFS），通过为非线性激活选择不同数学公式，仅增加数十个参数即可显著提升神经网络力场精度，并经多种模型和DeepMD分子动力学模拟验证有效。
2024-12-19 cs.LG
Multilevel Training for Kolmogorov Arnold Networks
Theoretical Division, Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室理论 division）；Center for Computing Research, Sandia National Laboratories（桑迪亚国家实验室计算研究中心）
本文提出多级训练方法，利用KANs的结构特性提升训练效率，尤其在物理信息神经网络中表现显著。
2026-03-05 cs.AI cs.LG cs.NA
Automatic Grid Updates for Kolmogorov-Arnold Networks using Layer Histograms
Department of Electrical and Computer Engineering, Brigham Young University（电气与计算机工程系， Brigham Young University）
针对原始KAN训练需手动调整域网格的问题，提出基于层直方图的自动网格更新方法AdaptKAN，其在四类任务上性能达到或优于原有KAN与MLP，还可支持OOD输入检测。
2025-11-13 cs.AI cs.LG
Breaking the Conventional Forward-Backward Tie in Neural Networks: Activation Functions
University of Salerno（萨勒诺大学）；Campus UniSA（UniSA校区）；Kebula srl（Kebula公司）；University of Sannio（萨恩尼奥大学）
本文通过数学分析和在MLP、CNN、BNN上的实验，证明放宽前向-后向对称性、用简单或随机梯度替代传统梯度不影响学习，甚至能提升稳定性，使平坦或不可微激活函数（如阶跃函数）可有效训练。
2025-09-08 cs.AI cs.LG cs.NE
Kolmogorov-Arnold Network Autoencoders
Arizona State University（亚利桑那州立大学）；Clarkson University（克拉克森大学）
本文研究用Kolmogorov-Arnold网络构建自编码器，并在MNIST、SVHN和CIFAR-10上与CNN比较，证明其在重建精度上具有竞争力，可作为有效的数据表示与分析工具。
2024-10-02 cs.AI cs.CV cs.LG
Attention Gathers, MLPs Compose: A Causal Analysis of an Action-Outcome Circuit in VideoViT
Sai V R Chereddy
本文通过因果分析揭示视频ViT中动作-结果回路的机理，发现注意力头负责收集证据，MLP块负责生成成功信号，展示了模型处理人类动作结果的核心计算模式。
2026-03-11 cs.AI cs.CV cs.LG
Sinusoidal Approximation Theorem for Kolmogorov-Arnold Networks
Department of Physics and Astronomy, University of Alabama（物理与天文学系，阿拉巴马大学）
本研究提出一种以可学习频率加权正弦函数替代Kolmogorov-Arnold表示中内外函数的新型KAN变体，固定相位为线性间隔常数值并证明其理论有效性，实验显示其性能优于固定频率傅里叶变换、与MLPs相当。
2025-08-01 cs.LG cs.NA math.NA
The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers
Google Research（谷歌研究院）
该研究发现Transformer等架构中普遍存在激活稀疏性现象，其与数据集特性无关，且可通过Top-k阈值化增强稀疏性，从而提升模型效率、鲁棒性与置信度校准效果。
2023-06-09 cs.CL cs.CV cs.LG
Kolmogorov Arnold networks (KAN) for aerodynamic prediction: a comparison with MLPs and GNNs
ETSIAE-UPM-School of Aeronautics, Universidad Politécnica de Madrid（马德里理工大学航空学院）；Center for Computational Simulation, Universidad Politécnica de Madrid（马德里理工大学计算模拟中心）；Institute for Cross-Disciplinary Physics and Complex Systems (IFISC, CSIC-UIB)（跨学科物理与复杂系统研究所（IFISC，CSIC-UIB））
本文比较了KAN、MLP和GNN在预测亚音速和跨音速翼型表面压力分布上的性能，发现KAN性能略逊于MLP，且训练不稳定，而GNN性能最佳但训练更耗时。
2026-06-26 cs.LG physics.data-an physics.flu-dyn
Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons
RIKEN AIP（日本学术振兴会先进研究所）；The University of Hong Kong（香港大学）；National University of Singapore（新加坡国立大学）；The University of New South Wales（新南威尔士大学）；University of Tokyo（东京大学）
本文通过特征学习理论和信号-噪声数据模型，定量比较两层GCN与MLP的优化和泛化差异，证明GNN优先学习信号并将低测试误差范围扩大D^{q-2}倍，并在合成与真实数据集上验证了该结论。
2025-06-06 cs.LG
How Data Mixing Shapes In-Context Learning: Asymptotic Equivalence for Transformers with MLPs
MLIP Research Group, KUIS AI Center, Koç University（MLIP研究组、KUIS人工智能中心、科举大学）；Department of EEE, Koç University（电子工程系、科举大学）
本文研究了具有MLP头的Transformer在非线性任务上的上下文学习能力，证明其在高维情况下与多项式预测器等价，并揭示了数据混合对学习性能的影响。
2026-02-05 cs.LG stat.ML
Bayesian Inference with Shaped Deep Non-linear MLPs
Princeton University（普林斯顿大学）
本文通过神经协方差SDE分析深度非线性MLP在训练样本数、输入维数、隐藏层宽度和层数均较大时的贝叶斯推断，发现LP/N的一阶准则决定深度对模型证据的益处，并推导出贝叶斯预测后验等价于数据相关核方法。
2026-05-29 cs.LG math.PR math.ST
Quantile Activation: Correcting a Failure Mode of ML Models
BITS Pilani（pilani比斯大学）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）
针对标准ML模型在分布混合和分布偏移下的失效问题，提出分位数激活函数（QAct），通过输出神经元激活的相对分位数位置实现上下文适应，在不显著增加计算成本下显著提升了泛化能力。
2025-04-03 cs.LG
Activation-Adjacent Layer Normalization: Effects on Approximation Power
Beihang University（北京航空航天大学）；Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）
本研究探讨激活相邻的LN、RMSNorm等归一化对浅层AN、PN网络近似能力的影响，推导了不同归一化下的近似宽度边界，通过实验验证了预测的近似率。
2026-10-16 cs.LG
Kernel-Based Smoothness Analysis of Residual Networks
Tel Aviv University（特拉维夫大学）；New York University（纽约大学）
深度神经网络成功的一个主要因素是使用复杂的架构，而不是经典的多层感知器（MLP）。残差网络（ResNets）在这些强大的现代架构中脱颖而出。以前的工作集中在深度ResNets相对于深度MLP的优化优势上。在本文中，我们展示了这两种模型之间的另一个区别，即ResNets比MLP更倾向于促进更平滑的插值。我们通过神经切线核（NTK）的方法来分析这种现象。首先，我们计算所考虑的ResNet模型的NTK，并证明其在梯度下降训练期间的稳定性。然后，我们通过各种评估方法表明，对于ReLU激活，ResNet的NTK及其内核回归结果比MLP的更平滑。在我们的分析中观察到的更好的平滑度可以解释ResNets更好的泛化能力和适度衰减残差块的做法。
2021-05-23 cs.LG stat.ML
Radial Suppression Accelerates Algorithmic Generalization: A Geometric Analysis of Delayed Generalization
Indian Institute of Technology Roorkee（印度理工学院罗尔基分校）
通过几何分析揭示交叉熵优化下隐藏表示的径向膨胀导致记忆-泛化延迟，提出径向惩罚加速泛化，在模算术和加法任务上实现最高6倍加速。
2026-07-01 cs.AI cs.LG
Activation Space Selectable Kolmogorov-Arnold Networks
University of Nottingham Ningbo China（宁波诺丁汉大学）；Shenzhen University（深圳大学）
针对单一激活空间导致KAN跨任务性能下降的问题，提出激活空间可选择的S-KAN及S-ConvKAN，在函数拟合和图像分类任务上表现优异，为KAN架构创新提供参考。
2024-08-15 cs.LG
Jacobian Sparse Autoencoders: Sparsify Computations, Not Just Activations
School of Engineering Mathematics and Technology, University of Bristol, Bristol, UK（工程数学与技术学院，布里斯托尔大学，布里斯托尔，英国）
本文提出雅可比稀疏自编码器（JSAEs），通过高效计算雅可比矩阵，在保持LLM性能的同时稀疏化模型组件间的计算，并证明计算稀疏性是LLM训练习得的性质，比标准SAEs更适合理解transformer计算。
2025-06-06 cs.AI cs.CL cs.LG
Geometric and Physical Quantities Improve E(3) Equivariant Message Passing
University of Amsterdam（阿姆斯特丹大学）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；UvA-Bosch DeltaLab（阿姆斯特丹大学-博世德尔塔实验室）
包括协变信息，如位置，力，速度或自旋在计算物理和化学中的许多任务中是重要的。我们引入了可操纵E（3）等变图神经网络（SEGNN），它推广了等变图网络，使得节点和边属性不限于不变标量，而是可以包含协变信息，如向量或张量。该模型由可操纵的MLP组成，能够在消息和更新功能中结合几何和物理信息。通过定义可操纵节点属性，MLP提供了一类新的激活函数，可与可操纵特征场一起通用。我们通过等变非线性卷积的镜头来讨论我们和相关工作，这进一步使我们能够确定SEGNN的成功组件：非线性消息聚合改进了经典的线性（可转向）点卷积;可转向消息改进了最近发送不变消息的等变图网络。我们证明了我们的方法在计算物理和化学的几个任务的有效性，并提供了广泛的消融研究。
2022-03-26 cs.AI cs.LG stat.ML
Kolmogorov-Arnold Networks (KANs) for Time Series Analysis
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)（西班牙加泰罗尼亚电信技术中心（CTTC/CERCA））
本文提出将Kolmogorov-Arnold网络应用于时间序列预测，利用自适应激活函数和样条参数化权重，在卫星流量预测中以更少参数超越MLP，并进行了消融研究。
2024-09-25 cs.AI cs.LG eess.SP
Understanding Sinusoidal Neural Networks
IMPA（纯数学与应用数学国家研究所）
本文研究了正弦MLP的结构与表示能力，通过将其展开为谐波和揭示了其产生新频率的机制，并提供了振幅控制与截断方法，为网络的紧凑性提供了理论证明及训练和初始化的应用。
2023-09-11 cs.LG
Symmetry and Generalisation in Neural Approximations of Renormalisation Transformations
University of Cambridge, Cambridge, UK（剑桥大学）；University of Rome, La Sapienza, Rome, Italy（罗马大学）
本文以 CLT 为测试映射研究神经网络学习实空间 RG 变换时的泛化，揭示参数对称性与表达能力的竞争，并通过累积量框架解析和验证 MLP/GNN 的局限。
2025-10-18 cond-mat.stat-mech cs.AI cs.LG
Minimum Width for Deep, Narrow MLP: A Diffeomorphism Approach
Center for AI and Natural Sciences, Korea Institute for Advanced Study（韩国高等研究院人工智能与自然科学中心）
针对深窄多层感知器一致范数下通用逼近的最小宽度上下界差距大的问题，提出基于微分同胚的几何框架，结合惠特尼嵌入定理给出最小宽度上界，并证明二维输入输出场景下的下界为4。
2023-11-07 cs.LG math.GT
Optimized Piecewise Affine Abstractions of Neural Networks with Learnable Activation Functions
Department of Computer Science, University of Colorado Boulder（计算机科学系，科罗拉多大学波尔得分校）
本文提出一种基于KAN结构的最优抽象方法，通过分段仿射函数近似实现属性验证，结合动态规划和背包优化以平衡精度与计算效率。
2026-08-04 cs.AI cs.LG cs.LO
