图神经网络统一表达力的方法

有理神经网络具有表达优势

Rational Neural Networks have Expressivity Advantages

本文证明可训练低次有理激活函数网络在表达性和参数效率上优于常见固定激活函数，理论上有指数级参数节省，实验验证其与标准架构兼容。

统一架构中的区分：自注意力与虚拟节点

Distinguished In Uniform: Self Attention Vs. Virtual Nodes

本文比较 Graph Transformer 的全局自注意力与 MPGNN+虚拟节点架构，证明二者均非统一通用逼近器且统一表达能力互不包含，实验也显示无明确优劣排名。

通过通用层方程统一图神经网络

Unifying Graph Neural Networks Through a Common Layer Equation

该研究提出通用层方程统一图神经网络，分解其组件以实现架构组织、比较与生成，关联传播特性与图神经网络问题，并揭示经验逆问题。

韦斯费尔和莱曼走向范畴论

Weisfeiler and Lehman Go Categorical

本文提出基于范畴论的韦斯费尔-莱曼框架，通过引入两种函子推导出超图同构网络，系统提升了超图信息传递拓扑的表达能力，并通过实验验证了其理论效果。

不变量分层传播用于表达性图神经网络

Invariant-Stratified Propagation for Expressive Graph Neural Networks

本文提出不变量分层传播框架，通过改进的WL变体和高效神经网络实现，提升图神经网络的表达能力，解决结构异质性捕捉问题。

图神经网络与算术电路

Graph Neural Networks and Arithmetic Circuits

本文建立了图神经网络表达能力与实数算术电路之间的精确对应关系，将激活函数映射为电路门类型，并证明该对应在常数深度及均匀与非均匀情形下对所有常见激活函数成立。

重整化变换神经近似中的对称性与泛化

Symmetry and Generalisation in Neural Approximations of Renormalisation Transformations

本文以 CLT 为测试映射研究神经网络学习实空间 RG 变换时的泛化，揭示参数对称性与表达能力的竞争，并通过累积量框架解析和验证 MLP/GNN 的局限。

图神经网络中条件化方法的探索

An Exploration of Conditioning Methods in Graph Neural Networks

该研究聚焦图神经网络的属性条件化方式，划分弱、强、纯三类条件化并给出统一视角，在计算化学多任务上实证分析不同方法的效果。

有理图神经网络的逻辑

The logic of rational graph neural networks

该研究证明部分深度3的GC2查询无法被带任意有理激活函数的GNN表达，解答了开放问题，还提出一阶逻辑有理由片段RGC2并证明有理GNN可一致表达其查询。

重新审视填充Transformer的表达能力：哪些架构选择重要，哪些不重要

Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't

本文通过连接布尔电路，系统研究了填充Transformer的表达能力，发现数值精度和模型深度是影响表达能力的主要因素，而注意力类型、模型宽度和均匀性等架构选择对表达能力影响不大。

偏倚-表达性权衡

The Bias-Expressivity Trade-off

学习算法需要偏差来概括，并且比随机猜测更好。我们研究的灵活性（表现力）有偏见的算法。一个有表现力的算法可以适应不断变化的训练数据，根据输入的变化改变结果。我们通过使用算法结果分布上的熵的信息理论概念来测量表达性，展示了偏见和表达性之间的权衡。一个算法的偏差程度是指它优于均匀随机抽样的程度，但也是指它变得不灵活的程度。我们得到的界限有关的偏见表达，证明必要的权衡内在的尝试创建强大的性能，但灵活的算法。

实值Transformer的VC维与表达力

VC Dimension and Expressivity of Real-Valued Transformers

本文研究实值softmax注意力多层Transformer的VC维与表达力，给出上界$O(n^4)$/$O(n^6)$及下界$\Omega(n)$，并揭示其在对称函数表达和实数比特访问上的局限性。

神经关系程序：统一结构化数据上的查询与神经计算

Neuro-Relational Programs: Unifying Queries and Neural Computation over Structured Data

提出神经关系程序（NRP），一种扩展Datalog规则的声明式查询语言，通过嵌入操作融合关系推理与可学习神经组件，实现关系数据上的通用神经计算。

DynaMoE：动态令牌级专家激活与层间自适应容量的混合专家神经网络

DynaMoE: Dynamic Token-Level Expert Activation with Layer-Wise Adaptive Capacity for Mixture-of-Experts Neural Networks

DynaMoE通过动态令牌级专家激活和层间自适应容量分配，提升混合专家神经网络的参数效率和计算适应性。

统一PAC和后悔：情景强化学习的统一PAC界

Unifying PAC and Regret: Uniform PAC Bounds for Episodic Reinforcement Learning

强化学习（RL）算法的统计性能界限对于医疗保健等高风险应用至关重要。本文介绍了一种新的框架，从理论上衡量这种算法的性能称为均匀PAC，这是一个加强经典的可能近似正确（PAC）框架。与PAC框架相比，统一版本可用于获得高概率后悔保证，从而在文献中缺失的两个设置之间形成桥梁。我们证明了新的框架的好处，有限状态的情节MDP与一个新的算法，即统一的PAC，同时实现最佳的遗憾和PAC的保证，除了一个因素的地平线。

Ordered Subgraph Aggregation Networks

Numerous subgraph-enhanced graph neural networks (GNNs) have emerged recently, provably boosting the expressive power of standard (message-passing) GNNs. However, there is a limited understanding of how these approaches relate to each other and to the Weisfeiler-Leman hierarchy. Moreover, current approaches either use all subgraphs of a given size, sample them uniformly at random, or use hand-crafted heuristics instead of learning to select subgraphs in a data-driven manner. Here, we offer a unified way to study such architectures by introducing a theoretical framework and extending the known …

Transformer 编码器表达能力的更紧界

Tighter Bounds on the Expressivity of Transformer Encoders

本研究通过识别一种带计数量词的一阶逻辑变体，同时作为固定精度 Transformer 编码器的上界和 Transformer 编码器的下界，从而更精确地刻画了 Transformer 编码器可识别的语言类别。

重复即完美：递归图神经网络与消息传递极限相匹配

Repetition Makes Perfect: Recurrent Graph Neural Networks Match Message-Passing Limit

本文研究了可计算递归图神经网络的表达能力，证明其能计算符合颜色细化算法自然消息传递不变性的任意图算法，且通过随机初始化可表达所有图算法。

MinMax 循环神经网络级联

MinMax Recurrent Neural Cascades

MinMax RNCs 通过MinMax代数构建，具备强表达性、高效评估、稳定动态和非消失状态梯度等特性，在合成任务中表现优异，能处理长序列并超越传统循环基线。

跨图大小的随机特征消息传递神经网络（MPNNs）的表达能力

The Expressive Power of Random-Feature MPNNs Across Graph Sizes

该研究针对跨图大小近似函数时随机特征MPNNs的局限性，开发大小一致近似框架，证明其非大小一致通用性，分析表达能力提升，确立与高阶Weisfeiler-Leman方法的不可比性并完成相关构造。

UNIFORM：统一来自大规模且多样的预训练模型的知识

UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models

本文提出UNIFORM框架，通过logit级和特征级投票机制从大规模异构预训练模型中迁移知识，显著提升无监督物体识别性能并展现出超越百个教师模型的可扩展性。

通过图本限视角进行初始化剪枝：收敛性、表达性与泛化

Pruning at Initialisation through the lens of Graphon Limit: Convergence, Expressivity, and Generalisation

本文通过图本理论分析初始化剪枝方法，揭示稀疏网络的拓扑结构和理论机制，推导出通用逼近定理和泛化界。

神经符号系统的数学框架与一套学习技术

A Mathematical Framework and a Suite of Learning Techniques for Neural-Symbolic Systems

本文提出神经符号能量模型（NeSy-EBMs）统一框架及四种学习方法，并通过NeuPSL库在多个任务中验证其有效性。

MASPO：统一梯度利用、概率质量与信号可靠性以实现鲁棒且样本高效的LLM推理

MASPO: Unifying Gradient Utilization, Probability Mass, and Signal Reliability for Robust and Sample-Efficient LLM Reasoning

MASPO通过统一框架解决RLVR方法中梯度利用低效、概率质量不敏感和信号可靠性不对称的问题，提升LLM推理的鲁棒性和样本效率。

梯度必须赢得其影响：统一监督微调与广义熵目标

Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives

本文提出DEFT方法，通过广义熵目标统一SFT，解决塑性-稳定性困境，提升模型在探索与利用间的平衡性能。

深度神经变分空间：深度与复杂性的统一视角

Deep Neural Variation Spaces: A Unifying Perspective on Depth and Complexity

研究开发深度全连接神经网络统一函数空间理论，通过特定递归定义函数，统一多种想法，证明新表示定理和复杂性界，在单变量ReLU情况有“深度饱和”结果，揭示深度与复杂性在函数空间视角下的新关系。

迈向统一扩散模型用于概率性时空图学习

Towards Unifying Diffusion Models for Probabilistic Spatio-Temporal Graph Learning

本文提出统一时空扩散模型（USTD），以统一概率视角处理时空图预测与克里金插值任务，通过共享编码器和任务特定注意力解码器实现不确定性感知预测，并取得最先进性能。

一点深度大有裨益：对数深度 Transformer 的表达能力

A Little Depth Goes a Long Way: The Expressive Power of Log-Depth Transformers

本文从理论和实验两方面证明，深度为 Θ(log n) 的 Transformer 即可表达正则语言识别和图连通性等固定深度模型无法表达的顺序推理问题，并揭示了深度扩展比宽度或思维链扩展更高效，为实际深度选择提供了指导。

自注意力网络在QK特征谱集中时实现局部化

Self-attention Networks Localize When QK-eigenspectrum Concentrates

本文通过查询-键参数矩阵的特征谱刻画注意力局部化，发现小的特征谱方差同时防止秩坍缩和熵坍缩，提升模型表达性与可训练性。

正弦激活在模块加法学习中的可证明优势

Provable Benefits of Sinusoidal Activation for Modular Addition

本文研究了正弦激活在模块加法学习中的优势，通过建立表达性差距和泛化界，证明正弦网络在样本复杂度和泛化性能上优于ReLU网络。

点与边缘奇点的指数 ReLU 神经网络逼近率

Exponential ReLU Neural Network Approximation Rates for Point and Edge Singularities

本文证明了在空间维度2和3下，稳定ReLU神经网络对多面体域中含点或边缘奇点的加权解析函数类具有指数逼近率，为深度神经网络在变分电子结构算法中的应用提供了数学基础。

深度网络从局部统计中学习解析均匀深度的上下文无关语言

Deep networks learn to parse uniform-depth context-free languages from local statistics

通过引入可调类概率上下文无关文法并设计基于深度卷积网络的推理算法，揭示了语言结构从局部统计中涌现的机制，并验证了深度卷积和Transformer架构的预测。