Equivariant and Stable Positional Encoding for More Powerful Graph Neural Networks
Wuhan University（武汉大学）；Purdue University（普渡大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）
图神经网络（GNN）在许多基于图的学习任务中表现出很大的优势，但往往不能对基于节点集的任务进行准确预测，如链接/模体预测等，最近有许多工作提出使用随机节点特征或节点距离特征来解决这个问题。然而，它们要么收敛速度慢，预测不准确，要么复杂度高。在这项工作中，我们重新审视了允许使用拉普拉斯特征映射、Deepwalk等位置编码（PE）技术给出的节点位置特征的GNN。具有PE的GNN经常受到批评，因为它们不能推广到看不见的图（归纳）或稳定。在这里，我们以原则性的方式研究这些问题，并提出了一个可证明的解决方案，一类称为PEG的GNN层，并进行了严格的数学分析。PEG使用单独的通道来更新原始节点特征和位置特征。PEG施加置换等方差w.r.t.原始节点特征和强加$O(p)$（正交组）关于.其中，$p$是所使用的位置特征的尺寸。在8个真实网络上进行的大量链接预测实验证明了PEG在泛化和可扩展性方面的优势。
2022-06-22 cs.LG cs.SI
Size-Transferability of Graph Transformers with Convolutional Positional Encodings
Department of Electrical and Systems Engineering（电气与系统工程系）；University of Pennsylvania（宾夕法尼亚大学）；University of California San Diego（圣地亚哥大学）
通过图神经网络位置编码建立图Transformer与流形神经网络的联系，证明其在小图上训练后可泛化到大图，并在标准基准和实际地形最短路径估计任务中验证可扩展性。
2026-10-16 cs.LG
How Powerful are Graph Neural Networks?
MIT（麻省理工学院）；Stanford University（斯坦福大学）
图神经网络是一种有效的图的表示学习框架。GNN遵循邻域聚合方案，其中节点的表示向量通过递归聚合和变换其相邻节点的表示向量来计算。已经提出了许多GNN变体，并在节点和图分类任务上取得了最先进的结果。然而，尽管GNN彻底改变了图表示学习，但对其表示属性和局限性的理解有限。在这里，我们提出了一个理论框架，用于分析GNN捕获不同图结构的表达能力。我们的研究结果描述了流行的GNN变体（如图卷积网络和GraphSAGE）的区分能力，并表明它们无法学习区分某些简单的图结构。然后，我们开发了一个简单的架构，可以证明是最具表现力的GNN类，是一样强大的Weisfeiler-Lehman图同构测试。我们在一些图分类基准上实证验证了我们的理论研究结果，并证明我们的模型达到了最先进的性能。
2019-02-22 cs.CV cs.LG stat.ML
Ginex: SSD-enabled Billion-scale Graph Neural Network Training on a Single Machine via Provably Optimal In-memory Caching
Seoul National University（首尔国立大学）
最近，图神经网络（GNN）作为一种强大的工具，可以有效地为图结构数据的各种推理任务提供服务，因此受到了人们的关注。随着真实世界图形的规模不断扩大，GNN训练系统面临着可扩展性的挑战。分布式训练是通过扩展CPU节点来解决这一挑战的流行方法。然而，基于磁盘的GNN训练并没有受到太多关注，它可以通过利用NVMe SSD等高性能存储设备以更经济高效的方式扩展单节点系统。我们观察到，主存储器和磁盘之间的数据移动是基于SSD的训练系统的主要瓶颈，而传统的GNN训练管道在不考虑这种开销的情况下是次优的。因此，我们提出了Ginex，这是第一个基于SSD的GNN训练系统，可以在一台机器上处理数十亿规模的图数据集。受编译器优化中的检查器-执行器执行模型的启发，Ginex通过分离采样和收集阶段来重构GNN训练管道。这种分离使Ginex能够实现一种可证明的最佳替换算法，称为Belady算法，用于在内存中缓存特征向量，这些特征向量占I/O访问的主要部分。根据我们对40亿级图数据集的评估，Ginex的训练吞吐量平均比SSD扩展的PyTorch Geometric高2.11倍（最高可达2.67倍）。
2022-08-19 cs.LG
What Are Good Positional Encodings for Directed Graphs?
Georgia Institute of Technology（佐治亚理工学院）
本文提出多q磁拉普拉斯位置编码，用于表征定向图的行走特征，解决了现有方法在表示行走特征上的不足，并在排序网络可满足性和通用电路基准上验证了其有效性。
2026-03-12 cs.LG
On the Stability of Expressive Positional Encodings for Graphs
Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）；Stanford University（斯坦福大学）；Tongji University（同济大学）；Peking University（北京大学）；MIT（麻省理工学院）
本文针对图拉普拉斯特征向量位置编码的不稳定性问题，提出SPE架构，通过特征值软划分特征空间，实现可证明稳定且具有通用表达性的位置编码，并在分子性质预测和分布外泛化任务上验证了其优越性。
2024-06-08 cs.AI cs.LG
Positional Encoding meets Persistent Homology on Graphs
Aalto University（阿尔托大学）；Federal Institute of Ceará（塞阿拉联邦学院）；YaiYai Ltd.（YaiYai有限公司）
本文从理论上证明位置编码与持续同调在表达能力上互不占优，并据此提出可证明更强的新型位置编码方法PiPE，在分子性质预测、图分类和分布外泛化等任务中取得优异表现。
2025-06-06 cs.AI cs.ET cs.LG
Empowering GNNs via Edge-Aware Weisfeiler-Leman Algorithm
Texas A&M University（得克萨斯A&M大学）
本文提出边感知的 NC-1-WL 及其神经版本 NC-GNN，在保持消息传递可扩展性的同时，使表达能力严格介于 1-WL 与 3-WL 之间，并在基准实验中验证其效果与效率。
2024-01-23 cs.AI cs.LG
Simple Path Structural Encoding for Graph Transformers
University of Trento（特伦托大学）
针对图Transformer中随机游走结构编码（RWSE）难以区分不同局部图模式的局限，本文提出简单路径结构编码（SPSE），利用简单路径计数进行边编码并设计高效近似算法，在多个基准上显著提升了图结构表示能力与判别性能。
2025-05-30 cs.AI cs.LG
Reconstruction for Powerful Graph Representations
Purdue University（普渡大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
图神经网络（GNN）的表达能力有限，无法正确表示许多图类。虽然更具表现力的图表示学习（GRL）替代方案可以区分其中的一些类，但它们很难实现，可能无法很好地扩展，并且在现实任务中没有表现出优于调优的GNN。因此，设计简单，可扩展和表达的GRL架构，同时实现现实世界的改进仍然是一个开放的挑战。在这项工作中，我们展示了在何种程度上图重建-从它的子图重建图-可以减轻目前所面临的GRL架构的理论和实际问题。首先，我们利用图重构来构建两个新的表达图表示类。其次，我们展示了图重构如何增强任何GNN架构的表达能力，同时是一个（可证明）强大的归纳偏差，对顶点移除的不变性。从经验上讲，我们展示了重建如何提高GNN的表达能力-同时保持其对顶点排列的不变性-通过解决原始GNN无法解决的七个图形属性任务。此外，我们还展示了它如何在九个真实世界的基准数据集上提高最先进的GNN的性能。
2021-12-07 cs.AI cs.DM cs.LG
Ego-GNNs: Exploiting Ego Structures in Graph Neural Networks
McGill University（麦吉尔大学）；Microsoft Research（微软研究院）
图神经网络（GNN）作为图结构数据的深度学习框架已经取得了显着的成功。然而，GNN从根本上受到其树结构归纳偏差的限制：WL子树内核公式限制了GNN的表示能力，并且多项式时间GNN可证明无法识别图中的三角形。在这项工作中，我们建议用自我图上定义的信息来增强GNN消息传递操作（即，围绕每个节点的导出子图）。我们将这些方法称为Ego-GNNs，并证明Ego-GNNs比标准的消息传递GNNs更强大。特别是，我们证明了Ego-GNNs能够识别闭合三角形，这对于现实世界图中传递性的突出性至关重要。我们还激励我们的方法从图形信号处理的角度来看，作为一种形式的复用图卷积。使用合成和真实数据的节点分类实验结果突出了使用这种方法可以实现的性能增益。
2021-07-22 cs.LG
Learning Efficient Positional Encodings with Graph Neural Networks
Stanford University（斯坦福大学）；Technical University of Munich（慕尼黑工业大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
提出可学习图位置编码框架PEARL，利用消息传递GNN作为特征向量的非线性映射，以线性复杂度实现了高表达力、稳定性和置换等变性，性能媲美完整特征向量方法且计算复杂度显著降低。
2025-02-03 cs.LG
On Structural Expressive Power of Graph Transformers
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
针对图Transformer结构表达能力缺乏理论分析的问题，提出SEG-WL测试作为广义图同构算法，证明其为多种图Transformer表达能力上界，并据此开发了更强的SPIS结构编码方法。
2023-05-23 cs.AI cs.LG
LEAP: Local ECT-Based Learnable Positional Encodings for Graphs
AIDOS Lab, University of Fribourg（弗里堡大学AIDOS实验室）；Institute of AI for Health, Helmholtz Munich（慕尼黑亥姆霍兹人工智能与健康研究所）；Technical University of Munich（慕尼黑技术大学）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Department of Computer Science, University of Basel（巴塞尔大学计算机科学系）
LEAP通过结合可微近似ECT和其局部变体，提出了一种新的端到端可训练的局部结构位置编码方法，用于图神经网络，以提高图表示学习的效果。
2026-05-14 cs.LG
Weisfeiler-Leman Is Incomplete on Simple Spectrum Graphs, so Canonicalize Them
IT University of Copenhagen（哥本哈根IT大学）
本文证明 Weisfeiler-Leman 测试无法区分所有非同构的简单谱图，并提出 PRiSM 方法，通过规范化解实现对这些图的完全表达性。
2026-05-22 cs.LG math.CO
FlowerFormer: Empowering Neural Architecture Encoding using a Flow-aware Graph Transformer
Kim Jaechul Graduate School of AI, KAIST（KAIST金哉澈人工智能研究生院）
为快速准确估计神经架构性能，提出融合信息流的图Transformer模型FlowerFormer，通过双向异步消息传递和流掩码全局注意力增强架构表示，在多种模型上表现优越。
2024-03-21 cs.AI cs.LG
Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions
Machine Learning, ICML（机器学习，ICML）
针对Transformer无法学习某些简单布尔函数（如奇偶函数）的问题，通过分析参数空间几何，证明敏感函数在参数空间中占据极小区域，随机初始化几乎必然错过，从而解释了可表达但不可学习的现象。
2026-06-07 cs.LG
Shallow diffusion networks provably learn hidden low-dimensional structure
Carnegie Mellon University（卡内基梅隆大学）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学研究所）；University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）
本文分析了单层神经网络的Barron空间上的扩散模型学习，证明浅层扩散网络能自适应低维结构从而避免维度灾难，并给出了端到端的样本复杂度界限。
2024-10-15 cs.LG stat.ML
Provably safe systems: the only path to controllable AGI
Massachusetts Institute of Technology（麻省理工学院）；Insitute for AI & Fundamental Interactions（人工智能与基础交互研究所）；Beneficial AI Research（有益人工智能研究机构）
本文提出通过形式验证和机制可解释性构建可证明安全的AGI，以实现人类与强大AI安全共存，并强调这是保证可控AGI的唯一路径，同时列出挑战性问题并邀请参与。
2023-09-05 cs.AI cs.CY cs.LG
Equilibrium Aggregation: Encoding Sets via Optimization
DeepMind（深度思维）；CHARM Therapeutics（CHARM 治疗公司）
处理神经网络中的集合或其他无序的、潜在可变大小的输入通常通过将多个输入张量聚合成单个表示来处理。虽然已经存在一些聚合方法，从简单的总和池到多头注意力，但从理论和经验角度来看，它们的代表性都很有限。在寻找一个更强大的聚合策略时，我们提出了一种基于优化的方法，称为均衡聚合。我们发现，许多现有的聚合方法可以恢复为特殊情况下的均衡聚合，它是证明更有效的在一些重要的情况下。平衡聚合可以在许多现有的架构和应用程序中用作直接替代。我们验证了它的效率在三个不同的任务：中位数估计，类计数，和分子性质预测。在所有实验中，均衡聚合比我们测试的其他聚合技术实现了更高的性能。
2022-07-03 cs.AI cs.LG stat.ML
Provably Precise, Succinct and Efficient Explanations for Decision Trees
University of Toulouse（图卢兹大学）；Monash University（莫纳什大学）；VMware Research（威睿研究）；University of Toulouse III（图卢兹第三大学）；CNRS（法国国家科学研究中心）
决策树（DT）包含可解释的分类器。DTs一直被提倡部署在高风险应用程序中，但也用于解释其他复杂的分类器。然而，最近的工作表明，在DT的预测应该用严格的方法来解释。虽然严格的解释可以计算在多项式时间的DT，其大小可能超出了人类决策者的认知极限。本文研究了离散t的δ-相关集的计算问题。δ-相关集表示简洁且可证明精确的解释。这些集合代表了严格解释的概括，这些解释在概率为1的情况下是精确的，因此它们可以在解释大小与精度之间进行权衡。本文提出了两种计算DT最小δ-相关集的逻辑编码。本文进一步设计了计算δ-相关集的多项式时间算法，该算法不保证是子集最小的，但实验表明，在实践中，δ-相关集通常是子集最小的。实验结果也证明了计算最小δ-相关集的实际效率。
2022-05-19 cs.AI cs.LG
Provably expressive temporal graph networks
Aalto University（阿尔托大学）；Getulio Vargas Foundation（热图利奥·瓦加斯基金会）；University of Manchester（曼彻斯特大学）；YaiYai Ltd（YaiYai有限公司）
时间图网络（TGN）作为嵌入动态交互的模型已经变得突出，但对其理论基础知之甚少。我们建立的基本结果的代表性的权力和限制的两个主要类别的TGNs：那些聚合的时间行走（WA-TGNs），和那些增强本地消息传递与经常性的记忆模块（MP-TGNs）。具体来说，新的结构揭示了MP-TGN和WA-TGN的不足，证明了这两个类别都不包含另一个。我们扩展的1-WL（Weisfeiler-Leman）测试时间图，并表明，最强大的MP-TGN应该使用内射更新，因为在这种情况下，他们成为表达的时间WL。此外，我们表明，足够深的MP-TGNs不能受益于内存，MP/WA-TGNs无法计算图形属性，如周长。这些理论的见解使我们PINT-一种新的架构，利用内射时间消息传递和相对位置的功能。重要的是，PINT可以证明比MP-TGN和WA-TGN更具表达力。PINT在几个真实世界的基准测试中显着优于现有的TGN。
2022-09-29 cs.LG
Invariance-Aware Randomized Smoothing Certificates
Technical University of Munich（慕尼黑工业大学）
构建符合不同领域固有的不变性（例如平移或旋转下的不变性）的模型是将机器学习应用于现实世界问题（如分子特性预测、医学成像、蛋白质折叠或LiDAR分类）的关键方面。这是第一次，我们研究了如何利用模型的不变性来可证明地保证其预测的鲁棒性。我们提出了一个灰箱的方法，增强功能强大的黑盒随机平滑技术与白盒知识的不变性。首先，我们开发了基于群轨道的灰盒证书，它可以应用于任意模型，在置换和欧氏等距下具有不变性。然后，我们得到可证明的紧灰盒证书。我们的实验表明，可证明的紧证书可以提供更强的保证，但在实际情况下，基于轨道的方法是一个很好的近似。
2023-01-03 cs.LG
IVE-GAN: Invariant Encoding Generative Adversarial Networks
Bayer AG（拜耳公司）
生成对抗网络（GANs）是生成任务的强大框架。然而，它们难以训练，并且往往会错过真实数据生成过程的模式。虽然GANs可以在其潜在空间中学习数据的覆盖模式的丰富表示，但该框架错过了从数据到该潜在空间的逆映射。我们提出了不变编码生成对抗网络（IVE-GANs），这是一种新的GAN框架，它通过利用数据中对某些变换不变的特征，为数据中的单个样本引入了这种映射。由于模型将单个样本映射到潜在空间，因此它自然会鼓励生成器覆盖所有模式。我们证明了我们的方法在生成性能和学习丰富的表示几个数据集，包括常见的基准图像生成任务方面的有效性。
2017-11-23 cs.LG stat.ML
Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks
Apple Inc.（苹果公司）；Florida State University（佛罗里达州立大学）
人工神经网络形成了非常强大的学习方法的基础。已经观察到，将全连接神经网络幼稚地应用于具有许多不相关变量的数据通常会导致过拟合。为了避免这个问题，可以将关于哪些特征是相关的以及它们可能的特征交互的先验知识编码到这些网络中。在这项工作中，我们使用决策树来捕捉这些相关的功能和它们的相互作用，并定义一个映射，以编码提取到一个神经网络的关系。这解决了全连接神经网络的初始化相关问题。同时，通过特征选择，与现有技术的基于树的方法相比，它能够学习紧凑表示。实证评估和仿真研究表明，这种方法优于完全连接的神经网络和基于树的方法
2020-02-11 cs.LG stat.ML
Semidefinite Programming Based Preconditioning for More Robust Near-Separable Nonnegative Matrix Factorization
Université de Mons（蒙斯大学）；University of Waterloo（滑铁卢大学）
非负矩阵分解（NMF）在可分离性假设下可以有效地求解，即使在存在噪声的情况下也是有效的，并已被证明是文档分类和高光谱解混的一种强大技术。这个问题被称为近可分NMF，并要求存在一个锥，该锥由输入非负矩阵的列的一个小子集构成，近似包含所有列。本文提出了一种基于半定规划的预处理方法，使输入矩阵满足条件。这反过来又可以显着提高近可分离NMF算法的性能，这是在流行的连续投影算法（SPA）上说明的。新的预处理的SPA被证明是更强大的噪声，并优于SPA的几个合成数据集。我们还展示了如何有效集的方法，使我们能够应用大规模的现实世界的高光谱图像的预处理。
2014-09-16 cs.LG math.OC stat.ML
Homomorphism Counts as Structural Encodings for Graph Learning
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）；AITHYRA（艾西拉研究院）
本文提出基于图同态计数的 MoSE 结构编码框架，理论分析其表达能力，实验证明其在多种架构和分子性质预测数据集上优于其他编码并达到 SOTA。
2025-02-02 cs.LG
MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding
Qwen3-Omni-30B-A3B-Thinking（通义千问3- Omni-30B-A3B-Thinking）
提出MIRAGE框架，通过原生多模态骨干网络和自适应特征门控，实现全脑fMRI对自然视听刺激的高精度编码，并证明原生多模态特征优于后期融合的单模态特征。
2026-05-28 cs.LG
Talk like a Graph: Encoding Graphs for Large Language Models
Google Research（谷歌研究院）
本研究首次全面研究面向大语言模型的图文本编码方法，发现编码方式、任务类型、图结构均影响推理性能，据此选择合适编码器可使图推理性能提升4.8%至61.8%。
2023-10-06 cs.LG
Adiabatic Encoding of Pre-trained MPS Classifiers into Quantum Circuits
The University of Tokyo（东京大学）
针对QNN训练的贫瘠高原与局部最小值问题，提出绝热编码框架，将预训练MPS分类器编码为含后选择的qMPS电路并逐步移除后选择，规避指数困难且在二进制MNIST上验证鲁棒性。
2025-04-12 cond-mat.str-el cs.LG quant-ph
LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University Health Network（大学健康网络）
本研究提出用于任务与数据无关编码的LIFT框架及增强版ReLIFT，通过元学习结合多并行局部隐式函数与分层潜在生成器实现多尺度表征，在多类任务中取得SOTA性能并降低计算成本。
2025-03-19 cs.CV cs.LG
Provably Robust Conformal Prediction with Improved Efficiency
CSE, UCSD（加州大学圣迭戈分校计算机科学与工程系）；ECE, Technion（以色列理工学院电气与计算机工程系）；HDSI, UCSD（加州大学圣迭戈分校Halıcıoğlu数据科学研究所）
本文针对保形预测在对抗环境下覆盖率失效和预测集合过大的问题，提出 RSCP+ 框架修复鲁棒性保证缺陷，并通过 PTT 和 RCT 方法显著减小预测集合规模，在多个数据集上大幅提升效率。
2024-04-30 cs.AI cs.CV cs.LG
Attention-Driven Metapath Encoding in Heterogeneous Graphs
Yale University（耶鲁大学）
本文首次提出在不丢弃中间节点的前提下将注意力机制融入异构图元路径编码，结合序列注意力和直接注意力构建编码器，并采用专用训练调度器，在IMDB节点分类基准上取得与最先进模型相当的性能。
2024-12-30 cs.LG
Compress Then Test: Powerful Kernel Testing in Near-linear Time
Harvard University（哈佛大学）；MIT（麻省理工学院）；Microsoft Research New England（微软研究院新英格兰分部）
针对现有核双样本检验在时间与功效间的权衡问题，提出基于样本压缩的CTT框架，在近线性时间内保持最优检测边界，实验实现20-200倍加速且不损失功效。
2025-03-28 cs.LG math.ST stat.ME
Robust and Provably Monotonic Networks
NSF AI Institute for Artificial Intelligence and Fundamental Interactions（NSF人工智能与基本相互作用人工智能研究所）；Laboratory for Nuclear Science, MIT（麻省理工学院核科学实验室）；MIT（麻省理工学院）
该研究提出一种权重归一化方法约束神经网络Lipschitz常数，结合单调残差连接实现输入子集单调性，在保持高表达性的同时提升鲁棒性，已应用于LHCb实验且在多领域基准测试中达SOTA。
2023-03-15 cs.LG hep-ex
A Time Encoding approach to training Spiking Neural Networks
School of Computer；Communication Sciences Ecole Polytechnique F\' e d\' e rale de Lausanne (EPFL)
虽然脉冲神经网络（SNN）已经越来越受欢迎，但似乎用于训练它们的算法不够强大，无法解决与经典人工神经网络（ANN）相同的任务。在本文中，我们提供了一个额外的工具，以帮助我们理解和训练SNNs使用理论从时间编码领域。时间编码机（TEM）可用于对整合和激发神经元进行建模，并具有很好的重建特性。我们将看到如何从TEM领域获得灵感，将SNN的尖峰时间解释为对SNN权重矩阵的约束。更具体地说，我们研究了如何通过解决一组线性约束来训练单层SNN，以及如何通过利用SNN发出的尖峰的全或无和异步特性来训练双层SNN。尖峰的这些属性导致反向传播的替代方案，这在经典ANN中同时和分级激活的情况下是不可能的。
2021-10-13 cs.LG cs.NE eess.SP
An Investigation in Optimal Encoding of Protein Primary Sequence for Structure Prediction by Artificial Neural Networks
University of South Carolina（南卡罗来纳大学）
机器学习和神经网络的使用在过去几年中急剧增加，主要是由于数据的可访问性不断增加和计算能力的增长。利用机器学习的力量进行预测任务变得越来越容易。蛋白质结构预测是神经网络越来越受欢迎和成功的一个领域。虽然非常强大，但使用ANN需要选择最合适的输入/输出编码，架构和类以产生最佳结果。在这项调查中，我们已经探索和评估了几个传统的和新提出的输入编码的效果，并选择了一个最佳的架构。我们考虑了11种不同的输入编码，11种可选的窗口大小和7种不同的架构。在3个月的时间里，我们总共评估了2,541种排列，用于训练和测试10,000多种蛋白质结构。我们的调查得出结论，独热编码，使用LSTM，以及9，11和15的窗口大小产生最佳结果。通过这种优化，我们能够通过预测14°-16 °和23°-25 °的蛋白质结构预测，提高蛋白质结构预测的质量。与以前的类似调查相比，这是一个显著的改进。
2020-08-02 cs.LG cs.NE q-bio.QM
QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）；MIT（麻省理工学院）；Microsoft Research（微软研究院）；London School of Economics（伦敦政治经济学院）
随机梯度下降（SGD）的并行实现已经受到了显著的研究关注，这要归功于该算法的出色的可扩展性，以及其在训练深度神经网络的上下文中的效率。并行化大规模SGD的一个基本障碍是节点之间传递梯度更新的成本可能非常大。因此，已经提出了有损压缩算法，通过该算法，节点仅传送量化的梯度。虽然在实践中是有效的，但这些算法并不总是可证明收敛的，也不清楚它们是否是最优的。在本文中，我们提出了量化SGD（QSGD），一个家庭的压缩方案，允许在每个节点的梯度更新的压缩，同时保证在标准假设下的收敛。QSGD允许用户在压缩和收敛时间之间进行权衡：它可以在模型维度上每次迭代传输次线性数量的比特，并且可以实现渐进最优的通信成本。我们补充我们的理论结果与经验数据，表明QSGD可以显着降低通信成本，同时与标准的未压缩技术在各种实际任务的竞争力。特别是，实验表明，梯度量化应用于图像分类和自动语音识别的深度神经网络的训练可以显著降低通信成本和端到端训练时间。例如，在16个GPU上，我们能够在ImageNet上训练ResNet-152网络，速度快1.8倍，达到完全准确。值得注意的是，我们发现存在通用参数设置，所有已知的网络架构在使用量化时保持或略微提高其全精度。
2017-12-06 cs.DS cs.LG
PRISE: LLM-Style Sequence Compression for Learning Temporal Action Abstractions in Control
University of Maryland（马里兰大学）；Microsoft（微软公司）
PRISE将连续动作量化与BPE结合，把时间动作抽象学习视为序列压缩问题，从多任务机器人演示中提取高层技能，显著提升多任务和少样本模仿学习性能。
2024-06-06 cs.LG
What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Stony Brook University（石溪大学）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；University of Science and Technology of China（中国科学技术大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J.沃森研究中心）
本文首次从理论上研究了用于半监督节点分类的浅层Graph Transformer，定量刻画了其样本复杂度与收敛条件，并证明自注意力与位置编码通过使注意力图稀疏化来增强泛化能力。
2024-06-04 cs.LG
Pre-computed memory or on-the-fly encoding? A hybrid approach to retrieval augmentation makes the most of your compute
University of Southern California（南加州大学）；Google Research（谷歌研究院）
本文提出混合检索增强模型 LUMEN，结合预计算记忆与问题条件化的实时编码，在更低计算成本下于多个问答任务中优于纯记忆方法和 FiD。
2023-06-02 cs.AI cs.CL cs.LG
Efficient Prediction of Peptide Self-assembly through Sequential and Graphical Encoding
Zhejiang University（浙江大学）；Westlake University（西湖大学）
该研究构建了含6.2万余样本的肽自组装模拟数据集，系统对比序列与图编码及对应深度学习模型的预测效果，证明Transformer性能最优，将肽自组装预测极限推进至十肽，为肽相关性质预测提供基准参考。
2023-07-17 cs.LG q-bio.BM
Neural encoding and interpretation for high-level visual cortices based on fMRI using image caption features
Academy of information systems engineering, PLA strategy support force information engineering university（中国人民解放军战略支援部队信息工程大学信息系统工程学院）
基于功能磁共振成像（fMRI）技术，研究者致力于设计视觉编码模型，预测人类视觉神经元对图像刺激的反应，分析人类视觉皮层的内在机制。由分层处理层组成的深度网络结构通过大数据集学习特定任务的数据特征来形成深度网络模型。深度网络模型具有强大的数据层次化表示能力，为视觉编码带来了突破，同时揭示了与人类视觉皮层信息处理方式的层次结构相似性。然而，以前的研究几乎都是使用在分类任务中预先训练的深度网络模型的图像特征来构建视觉编码模型。除了深度网络结构，任务或相应的大数据集对深度网络模型也很重要，但被以往的研究所忽视。由于图像分类是一项相对基础的任务，因此很难引导深度网络模型掌握数据的高级语义表示，这导致高级视觉皮层的编码性能受到限制。在这项研究中，我们介绍了一个更高层次的视觉任务：图像标题（IC）的任务，并提出了视觉编码模型的基础上IC功能（ICFVEM）编码的高级视觉皮层的体素。实验表明，ICFVEM获得了更好的编码性能比以前的深度网络模型预先训练的分类任务。此外，在语义词可视化的基础上，实现了体素的解释，探索了体素的细节特征，对比分析表明，高级视觉皮层表现出图像内容的相关表征。
2020-03-26 cs.CV cs.LG eess.IV
Sentence Encoding with Tree-constrained Relation Networks
DeepMind（深度思维）；Google（谷歌）
一个句子的意义是它的词与词之间的关系的函数。我们在一系列基于关系网络（RN）变体的神经模型中实例化这种语义的关系视图，这些关系网络表示一组对象（对我们来说，形成句子的单词）。我们提出了两个扩展的基本RN模型的自然语言。首先，建立在直觉上，不是所有的词对都是同样的信息的意义，一个句子，我们使用基于监督和无监督依赖语法的约束来控制哪些关系影响的表示。其次，由于高阶关系很难被成对关系的总和捕获，我们使用RN的递归扩展来传播信息，从而形成高阶关系的表示。句子分类，句子对分类，和机器翻译的实验表明，虽然基本的RNs只是适度有效的句子表示，经常性RNs与潜在的语法是一个可靠的强大的代表性设备。
2018-11-26 cs.AI cs.CL cs.LG
Struc-EMB: The Potential of Structure-Aware Encoding in Language Embeddings
Georgia Institute of Technology（佐治亚理工学院）
本文提出将结构关系直接整合到LLM内部编码过程的结构感知文本嵌入新范式，通过顺序拼接和并行缓存方法，结合Context Distillation与Semantic Balancing技术，在多项任务中显著超越基线。
2025-10-09 cs.AI cs.CL cs.LG
Neural Encoding and Decoding at Scale
The International Brain Laboratory（国际脑实验室）
本文提出NEDS，一种多模态多任务模型，通过交替掩蔽策略在大规模多动物数据上预训练，实现神经编码与解码的同时优化，达到最先进性能，并展现脑区预测的涌现特性。
2025-05-24 cs.AI cs.LG q-bio.NC
