Inherent Trade-offs when Enforcing Correct Data Symmetries in Multi-head Self-attention
该研究刻画了等变多头自注意力的性质，证明固定等变MHSA架构会导致表达能力损失，特定群作用下其等变轨迹含大量不可约分支，单一架构仅覆盖其一。
2026-10-16 cs.LG math.AG math.RT
Robust (Controlled) Table-to-Text Generation with Structure-Aware Equivariance Learning
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
受控的表到文本生成寻求为表的突出显示的子部分生成自然语言描述。以前的SOTA系统仍然采用序列到序列生成方法，该方法仅将表捕获为线性结构，并且在表布局改变时很脆弱。我们试图超越这种范式，（1）有效地表达表中内容片段的关系，（2）使我们的模型对内容不变的结构转换具有鲁棒性。因此，我们提出了一个等方差学习框架，它编码的表与结构感知的自我注意力机制。这将完整的自我注意力结构修剪成顺序不变的图注意力，该图注意力捕获属于同一行或列的细胞的连接图结构，并且从结构角度区分相关细胞和不相关细胞。我们的框架还修改了位置编码机制，以保持在同一个单元中的令牌的相对位置，但强制不同的细胞之间的位置不变性。我们的技术可以免费插入到现有的表格到文本生成模型中，并改进了基于T5的模型，以在ToTTo和HiTab上提供更好的性能。此外，在ToTTo的更硬版本上，我们保留了有希望的性能，而以前的SOTA系统，即使使用基于转换的数据增强，也会出现显着的性能下降。我们的代码可在https://github.com/luka-group/Lattice上获得。
2022-05-08 cs.AI cs.CL cs.LG
VN-Transformer: Rotation-Equivariant Attention for Vector Neurons
Duke University（杜克大学）；Waymo LLC（Waymo有限责任公司）
旋转等方差在诸如运动预测和3D感知的许多实际应用中是期望的属性，其中它可以提供诸如样本效率、更好的泛化和对输入扰动的鲁棒性的益处。矢量神经元（VN）是最近发展起来的一种框架，它通过将一维标量神经元扩展为三维“矢量神经元”，提供了一种简单而有效的方法来推导标准机器学习操作的旋转等变类似物。“我们引入了一种新的“VN-Transformer”架构，以解决当前VN模型的几个缺点。我们的贡献是：$(i)$我们推导出一种旋转等变注意力机制，它消除了原始矢量神经元模型所需的繁重的特征预处理; $(ii)$我们扩展了VN框架以支持非空间属性，扩展了这些模型对真实世界数据集的适用性; $(iii)$我们推导出一种旋转等变机制，用于点云分辨率的多尺度降低，大大加快了推理和训练; $(iv)$我们表明，在等方差（$ε$ -近似等方差）的小权衡可以用来获得大的改进，在加速硬件上的数值稳定性和训练鲁棒性，我们绑定的传播等方差违反我们的模型。最后，我们将我们的VN-Transformer应用于3D形状分类和运动预测，结果令人信服。
2023-01-24 cs.CV cs.LG cs.RO
Platonic Transformers: A Solid Choice For Equivariance
University of California, Berkeley（加州大学伯克利分校）
提出Platonic Transformer，通过基于柏拉图立体对称群参考帧的注意力机制实现等变性，在不增加计算成本的前提下提升性能。
2026-06-02 cs.AI cs.CV cs.LG
Geometric Hyena Networks for Large-scale Equivariant Learning
Johnson and Johnson Innovative Medicine（强生创新制药）
针对大规模等变学习中计算复杂度高且易丢失全局信息的问题，提出首个等变长卷积模型Geometric Hyena，以亚二次复杂度捕获全局几何上下文并保持等变性，在大幅降低内存和计算开销的同时显著提升了处理速度与上下文长度。
2025-05-28 cs.LG
Geometric Algebra Attention Networks for Small Point Clouds
Vector Institute（向量研究所）
深度学习的大部分成功都来自于构建适当尊重其操作数据中潜在对称性和结构的架构--这是一组在几何深度学习旗帜下统一的考虑因素。物理科学中的问题通常涉及二维或三维空间中相对较小的点集，其中平移，旋转和置换等方差对于模型在实践中有用是重要的，甚至是至关重要的。在这项工作中，我们提出了旋转和置换等变架构，用于在这些小点云上进行深度学习，这些小点云由一组来自几何代数的项的乘积和使用注意力机制对这些乘积的约简组成。几何代数提供了有价值的数学结构，通过它可以以系统的方式组合矢量、标量和其他类型的几何输入，以说明旋转不变性或协方差，而注意力则提供了一种强有力的方式来施加置换等变性。我们通过训练模型来解决与物理，化学和生物学相关的样本问题，展示了这些架构的有用性。
2022-10-03 cs.CV cs.LG
Efficient Equivariant Transformer for Self-Driving Agent Modeling
Waabi；University of Toronto（多伦多大学）
本文提出DriveGATr，一种基于变换器的架构，通过多向量在2D投影几何代数中建模几何关系，实现SE(2)-等价性，无需显式成对相对位置编码，提升大规模场景下的效率。
2026-04-01 cs.CV cs.LG cs.RO
Equivariant Mesh Attention Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Imperial College London（帝国理工学院）；Qualcomm AI Research（高通人工智能研究院）
对称性的等变性已被证明是深度学习研究中的一个强大的归纳偏差。最近的工作网格处理集中在各种自然的对称性，包括平移，旋转，缩放，节点排列和规范变换。到目前为止，还没有一个现有的体系结构是所有这些转换的等价物。在本文中，我们提出了一个基于注意力的架构，网格数据，可证明是等变的上述所有转换。我们的管道依赖于使用相对切向特征：一个简单，有效，等方差友好的替代原始节点位置作为输入。FAUST和TOSCA数据集上的实验证实，我们提出的架构在这些基准测试中实现了更好的性能，并且确实是等变的，因此对各种局部/全局变换都是鲁棒的。
2022-08-27 cs.CV cs.LG stat.ML
Double Equivariance for Inductive Link Prediction for Both New Nodes and New Relation Types
Purdue University（普渡大学）
针对知识图谱完全归纳式链接预测任务，提出双重置换等变表示概念，证明其必要性并指出现有模型符合该框架，同时揭示其固有局限性，说明双重等变性并非充分条件。
2025-01-14 cs.AI cs.CL cs.LG
Multiset-Equivariant Set Prediction with Approximate Implicit Differentiation
Samsung - SAIT AI Lab（三星SAIT人工智能实验室）；Montreal University（蒙特利尔大学）；University of Amsterdam（阿姆斯特丹大学）；Mila（米拉人工智能研究所）；Université de Montreal（蒙特利尔大学）；TNO（荷兰应用科学研究院）
深度学习中的大多数集合预测模型都使用集合等变运算，但它们实际上是在多集合上运算的。我们证明了集等变函数不能表示多重集上的某些函数，因此我们引入了更恰当的多集等变概念。我们发现现有的深度集预测网络（DSPN）可以是多集等变的，而不受集等变的阻碍，并通过近似隐式微分对其进行改进，从而在更快和节省内存的同时实现更好的优化。在一系列的玩具实验中，我们表明，多集等方差的角度是有益的，我们的DSPN的变化在大多数情况下实现了更好的结果。在CLEVR对象属性预测上，我们在最严格的评估指标之一中将最先进的Slot Attention从8%大幅提高到77%，因为隐式微分带来了好处。
2022-02-03 cs.LG stat.ML
DIVER-0 : A Fully Channel Equivariant EEG Foundation Model
snu（首尔国立大学）；bnl（布鲁克海文国家实验室）
本文提出完全通道等变的EEG基础模型DIVER-0，通过RoPE、二值注意力偏置和滑动时间条件位置编码实现时空注意力建模，仅用10%预训练数据即可在任意电极配置下保持鲁棒泛化性能。
2025-06-13 cs.AI cs.LG eess.SP
SE(3)-Hyena Operator for Scalable Equivariant Learning
Johnson and Johnson Innovative Medicine（强生创新医药）
针对现有等变学习方法复杂度高或丢失全局信息的问题，提出基于Hyena算子的SE(3)-Hyena等变长卷积模型，以次二次复杂度实现全局几何上下文建模，在相关任务上性能优异且计算效率更高、内存占用更低。
2024-08-13 cs.LG
Quantized SO(3)-Equivariant Graph Neural Networks for Efficient Molecular Property Prediction
Suzhou Lab（苏州实验室）；Nanjing University（南京大学）
本文提出量化SO(3)等价图神经网络方法，通过低比特量化技术提升分子性质预测的效率，实现准确性和效率的平衡。
2026-03-03 cs.LG
Scale-Equivariant Steerable Networks
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）
卷积神经网络（CNN）的有效性主要归因于其内在的平移等变性。然而，CNN没有嵌入式机制来处理其他类型的转换。在这项工作中，我们注意到规模的变化，经常出现在各种任务，由于对象和相机之间的距离变化。首先，我们介绍了用可操纵滤波器构建尺度等变卷积网络的一般理论。我们开发了尺度卷积，并将其他常见的块推广为尺度等变的。我们证明了所提出的方法的计算效率和数值稳定性。我们比较所提出的模型，以前开发的方法规模等变性和局部尺度不变性。我们在监督学习环境中展示了MNIST规模数据集和STL-10数据集的最新结果。
2020-02-06 cs.CV cs.LG stat.ML
Spacetime $E(n)$-Transformer: Equivariant Attention for Spatio-temporal Graphs
Stanford University（斯坦福大学）
本文提出 Spacetime $E(n)$-Transformer（SET），通过在空间与时间中引入旋转、平移和排列等变归纳偏置，在带电 $N$ 体问题上显著优于缺乏对称性保持的模型。
2024-08-12 cs.AI cs.LG
Lorentz Equivariant Model for Knowledge-Enhanced Hyperbolic Collaborative Filtering
South China Normal University（华南师范大学）；Research Institute of China Telecom Corporate Ltd.（中国电信股份有限公司研究院）
从知识图谱中引入先验辅助信息辅助用户-项目图，可以提高推荐系统的综合性能。最近的研究表明，双曲空间的系综性质很好地拟合了上述两类图的无标度和层次特征。然而，现有的双曲方法忽略了对等方差的考虑，因此它们不能在给定的变换下推广对称特征，这严重限制了模型的能力。此外，它们不能平衡保持异构性和挖掘高阶实体信息的用户在两个图。为了填补这些空白，我们提出了一个严格的洛伦兹群等变知识增强的协同过滤模型（LECF）。创新性地，我们联合更新属性嵌入（包含来自KG的高阶实体信号）和双曲嵌入（双曲嵌入之间的距离揭示了推荐趋势）通过LECF层与洛伦兹等变变换。此外，我们提出了双曲稀疏注意力机制，以采样的信息最丰富的邻居节点。洛伦兹等方差是严格保持在整个模型中，并强制等方差是必要的实验证明。在三个真实世界的基准上进行的大量实验表明，LECF显著优于最先进的方法。
2023-03-18 cs.IR cs.LG cs.SI
Exchangeable Neural ODE for Set Modeling
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；The University of North Carolina（北卡罗来纳大学）
对由一组向量组成的实例（如点云）进行推理，需要考虑元素之间的集合内相关特征。然而，由于这些实例是无序的，因此当输入的顺序被置换时，元素的特征应该保持不变。这种性质，即置换等方差，对于大多数神经架构来说是一个具有挑战性的约束。虽然最近的工作提出了全球池和注意力为基础的解决方案，这些可能是有限的方式，在实践中捕获的内部依赖关系。在这项工作中，我们提出了一个更一般的配方，通过常微分方程（ODE）实现置换等变性。我们提出的模块，可交换神经ODE（ExNODE），可以无缝地应用于判别和生成任务。我们还扩展了时间维度的集合建模，并提出了一个基于VAE的时间集合建模模型。大量的实验证明了我们的方法在强基线上的有效性。
2020-08-06 cs.LG stat.ML
EquiTabPFN: A Target-Permutation Equivariant Prior Fitted Networks
INRIA（法国国家信息与自动化研究所）；University of Freiburg（弗赖堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；PriorLabs
等价表型前馈网络通过设计完全目标等价的架构，解决目标排列变化导致的预测不稳定性问题，在计算开销较低的情况下提升分类性能。
2026-01-07 cs.AI cs.LG
Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs
Massachusetts Institute of Technology（麻省理工学院）
尽管Transformer网络在各个领域都取得了广泛的成功，但即使考虑到与3D相关的诱导偏差（如平移不变性和旋转等变性），它也尚未在3D原子图（如分子）领域的数据集上表现良好。在本文中，我们证明了Transformers可以很好地推广到3D原子图，并提出了Equiformer，这是一种利用Transformer架构的优势并基于不可约表示（irreps）结合SE（3）/E（3）-等变特征的图神经网络。首先，我们提出了一个简单而有效的架构，只取代原来的操作在Transformers与他们的等变同行，并包括张量积。使用等变操作使得能够在不使图结构复杂化的情况下在irreps特征的通道中编码等变信息。通过对Transformers的最小修改，该架构已经取得了很好的经验结果。其次，我们提出了一种新的注意力机制，称为等变图注意力，它改善了典型的注意力在Transformers，通过取代点积的注意力与多层感知器的注意力，并包括非线性消息传递。通过这两项创新，Equiformer在QM 9，MD 17和OC 20数据集上实现了与以前模型竞争的结果。
2023-02-28 cs.AI cs.LG physics.comp-ph
Graph Ordering Attention Networks
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
图神经网络（GNN）已成功地用于涉及图结构数据的许多问题，实现了最先进的性能。GNN通常采用消息传递方案，其中每个节点使用置换不变聚合函数聚合来自其邻居的信息。标准的经过充分检验的选择，如平均值或总和聚合函数的功能有限，因为它们无法捕获邻居之间的交互。在这项工作中，我们正式这些相互作用使用的信息理论框架，特别是包括协同信息。在这个定义的驱动下，我们引入了图排序注意力（GOAT）层，这是一个新颖的GNN组件，可以捕获邻域中节点之间的交互。这是通过经由注意力机制学习局部节点排序并使用递归神经网络聚合器处理有序表示来实现的。这种设计使我们能够利用一个置换敏感的聚合器，同时保持所提出的GOAT层的置换等变性。GOAT模型展示了其在建模图度量方面的性能提高，这些度量捕获复杂信息，例如节点的介数中心性和有效大小。在实际用例中，其优越的建模能力通过其在几个真实世界的节点分类基准测试中的成功得到证实。
2022-11-21 cs.LG
EnzyCLIP: A Cross-Attention Dual Encoder Framework with Contrastive Learning for Predicting Enzyme Kinetic Constants
SCOPE；Vellore Institute of Technology（维洛雷理工学院）；BIT；Department of Computer Science（计算机科学系）；Department of Bioengineering and Biotechnology（生物工程与生物技术系）
EnzyCLIP通过对比学习和跨注意力机制，结合蛋白质序列和底物分子结构预测酶动力学参数，提升Kcat和Km预测性能。
2025-11-29 cs.LG q-bio.BM
Modeling Point Clouds with Self-Attention and Gumbel Subset Sampling
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
由于3D传感器的普及，几何深度学习变得越来越重要。受自然语言处理领域最新进展的启发，引入自注意Transformer来处理点云数据。我们开发了点注意力Transformers（PAT），使用一个参数有效的组洗牌注意力（GSA），以取代昂贵的多头注意力。我们证明了它的能力，以处理大小不同的输入，并证明其置换等方差。此外，先前的工作使用对输入数据的逻辑依赖（例如，以分层方式选择输入点的子集。因此，我们第一次提出了一个端到端的学习和任务无关的采样操作，命名为Gumbel子集采样（GSS），选择一个有代表性的输入点子集。该算法采用Gumbel-Softmax算法，在训练阶段产生一个“软”连续子集，在测试阶段产生一个“硬”离散子集。通过以分层方式选择代表性子集，网络以较低的计算成本学习输入集的更强表示。分类和分割基准上的实验表明了我们的方法的有效性和效率。此外，我们提出了一个新的应用程序，处理事件相机流作为点云，并实现了最先进的性能DVS 128手势数据集。
2019-04-06 cs.CV cs.LG
Fast-Forward Lattice Boltzmann: Learning Kinetic Behaviour with Physics-Informed Neural Operators
Centre for Computational Science, University College London, UK；Institute for Mechanics, Computational Mechanics Group, Technical University of Darmstadt, Germany；Centre for Dynamic Systems, University College London, UK；Department of Statistical Science, University College London, UK；Department of Physics, Eindhoven University of Technology, Eindhoven, Netherlands；Centre d'Enseignement et de Recherche en Environnement Atmosphérique (CEREA), \' E cole des Ponts；Computational Science Laboratory, Institute for Informatics, University of Amsterdam, the Netherlands；Centre for Advanced Research Computing, University College London, UK
本文提出面向LBE的物理信息神经算子框架，通过矩匹配约束与全局等变性绕开逐步碰撞求解，实现长时程预测、网格间泛化及跨碰撞模型适用。
2025-09-26 cs.LG nlin.CG physics.comp-ph
SE(3)-Equivariant Attention Networks for Shape Reconstruction in Function Space
University of Pennsylvania（宾夕法尼亚大学）
提出了一种基于无方向点云的三维形状重建方法。我们的方法包括一个新的SE（3）-等变坐标为基础的网络（TF-ONet），参数化的形状的占用字段，并尊重问题的固有对称性。与以前的形状重建方法，对齐输入到一个规则的网格，我们直接操作的不规则点云。我们的架构利用了对本地令牌进行操作的等变注意力层。这种机制可以实现局部形状建模，这是可扩展到大型场景的关键属性。给定一个无方向的，稀疏的，嘈杂的点云作为输入，我们为每个点产生等变特征。这些作为键和值用于随后的参数化占用字段的等变交叉注意块。通过查询空间中的任意点，我们预测其占用分数。我们表明，我们的方法优于以前的SO（3）-等变方法，以及在SO（3）-增强数据集上训练的非等变方法。更重要的是，局部建模与SE（3）-等方差一起创建了SE（3）场景重建的理想设置。我们表明，通过只对单个对齐的对象进行训练，并且没有任何预分割，我们可以重建包含任意多个随机姿势的对象的新场景，而不会有任何性能损失。
2023-02-10 cs.CV cs.LG
Frame-based Equivariant Diffusion Models for 3D Molecular Generation
University of Amsterdam（阿姆斯特丹大学）；AMLab；AI4Science Lab（AI4Science实验室）；Korteweg-de Vries Institute for Mathematics University of Amsterdam（Korteweg-de Vries数学研究所阿姆斯特丹大学）
针对分子生成中等变性与可扩展性难以兼顾的问题，提出基于标架的E(3)-等变扩散范式及三种变体，结合边感知扩散Transformer，在QM9数据集上实现SOTA性能，采样速度较EDM快近2倍。
2025-10-06 cs.LG
Translation Equivariant Transformer Neural Processes
University of Cambridge（剑桥大学）；Vector Institute（向量研究院）；University of Toronto（多伦多大学）；Microsoft Research AI for Science（微软研究院科学人工智能部门）
针对现有Transformer神经过程（TNPs）未充分利用数据对称性的问题，本文提出融入平移等变性的TE-TNPs模型，经合成与真实时空数据实验验证，其效果优于非平移等变同类模型及其他NP基准。
2024-06-18 cs.LG stat.ML
Invariant Slot Attention: Object Discovery with Slot-Centric Reference Frames
Northeastern University（东北大学）；Google Research（谷歌研究院）
针对现有基于槽的目标发现模型难以捕捉空间对称性、样本效率低的问题，提出不变槽注意力方法，通过变换位置编码引入姿态等变性，在多个合成基准和真实数据集上提升了目标发现性能与数据效率。
2023-07-21 cs.AI cs.CV cs.LG
Kinetics: Rethinking Test-Time Scaling Laws
Carnegie Mellon University（卡内基梅隆大学）
本文从效率角度重新思考测试时扩展，提出Kinetics扩展定律，发现注意力是主导成本，并倡导稀疏注意力范式，在AIME上显著提升准确率。
2025-06-20 cs.CL cs.LG
EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers
Massachusetts Institute of Technology (MIT)（麻省理工学院）
本文提出EquiformerV3，通过优化软件实现、引入等价合并层归一化和改进的前馈网络参数，提升了效率、表达力和通用性，实现了对光滑变化的势能面的精确建模。
2026-04-10 cs.AI cs.LG physics.comp-ph
Generalized Simplicial Attention Neural Networks
Harvard University（哈佛大学）；Sapienza University of Rome（罗马大学）；Universitas Mercatorum（Mercatorum大学）
针对图方法无法捕捉复杂系统多向交互的问题，提出广义单纯形注意力神经网络（GSANs），利用单纯形Dirac算子设计掩码自注意力机制处理高阶单纯形数据，并证明其具备置换等变性与单纯形感知性，在多项任务中表现优于现有图与单纯形模型。
2024-10-15 cs.AI cs.LG math.AT
Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；SISSA (International School for Advanced Studies)（国际高等研究院（SISSA））；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Center for Nonlinear Studies (CNLS)（非线性研究中心（CNLS））；Eindhoven Artificial Intelligence Systems Institute（埃因霍温人工智能系统研究所）
本文提出格子等变神经网络（LENNs），通过构建满足格子结构对称性的可训练层，高效学习 Lattice Boltzmann 碰撞算子代理模型，在三维流动模拟中兼具群平均网络的准确性与稳定性，以及非对称网络的高速度。
2024-05-22 cs.LG physics.comp-ph physics.flu-dyn
Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling
Google Research（谷歌研究）；School of Computer Science University of Waterloo（计算机科学学院）
Orchid提出了一种灵活且数据依赖的卷积架构，用于提升序列建模的效率和可扩展性。
2025-12-30 cs.LG
A Unified Framework for Vision Transformers Equivariant to Discrete Subgroups of $\mathrm{O}(2)$
Independent Researcher（独立研究员）；University of Amsterdam（阿姆斯特丹大学）
提出一个统一框架，使视觉Transformer对O(2)的任意离散子群等变，推广了现有翻转和D4等变架构，并通过理论保证和六重对称性实验验证了等变性可提升识别精度。
2026-06-29 cs.CV cs.LG
Zero-shot generalization of transformer neural operators to larger domains
CEREA, ENPC, EDF R&D, Institut Polytechnique de Paris（CEREA, ENPC, EDF研发部, 巴黎综合理工学院）；SINCLAIR AI Laboratory（SINCLAIR人工智能实验室）；EDF R&D（EDF研发部）；CEA, DAM, DIF（法国原子能委员会, 军事应用局, 法兰西岛）
提出一种在注意力对数计算中引入可分解局部性偏置的方法，结合旋转位置嵌入，使Transformer神经算子能零样本泛化到更大空间域，在PDE和3D工业流中验证有效性。
2026-10-02 cs.LG
Clebsch-Gordan Transformer: Fast and Global Equivariant Attention
Northeastern University（东北大学）；The Boston Dynamics AI Institute（波士顿动力AI研究院）
本文提出 Clebsch-Gordan Transformer，利用基于 $\SO(3)$ 不可约表示和稀疏 Clebsch-Gordon 矩阵的新型卷积，实现 $O(N\log N)$ 全阶全局等变注意力，并在多类任务上提升显存、速度与精度。
2025-09-28 cs.CV cs.LG cs.RO
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab（韩国首尔计算机机器学习实验室）
提出一种离散旋转反射群等变的视觉Transformer，通过卷积注意力机制保持特征图的旋转、翻转和位置对称性，在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Spatial Priors via Space Filling Curves for Small and Limited Data Vision Transformers
ETH Zürich（苏黎世联邦理工学院）
提出VIOLIN，一种轻量级掩码注意力机制，通过空间填充曲线编码空间结构，以极小的参数和计算开销为视觉Transformer注入空间归纳偏置，在小模型和有限数据场景下显著提升性能。
2026-06-16 cs.CV cs.LG
The Importance of Being Scalable: Improving the Speed and Accuracy of Neural Network Interatomic Potentials Across Chemical Domains
UC Berkeley（加州大学伯克利分校）；LBNL（劳伦斯伯克利国家实验室）
针对神经网络原子间势因物理约束导致扩展能力受限的问题，本研究提出基于多头自注意力的可扩展架构EScAIP，实现了推理速度、内存效率的大幅提升及多数据集的最优性能，为通用NNIP开发提供了扩展理念验证。
2024-10-31 cs.LG
SympGNNs: Symplectic Graph Neural Networks for identifiying high-dimensional Hamiltonian systems and node classification
School of Engineering（工程学院）；Brown University（布朗大学）；Division of Applied Mathematics（应用数学系）
提出辛图神经网络SympGNNs，结合辛映射与置换等变性，有效解决高维哈密顿系统识别及节点分类问题，克服了图神经网络的过平滑与异配性挑战。
2024-08-29 cs.LG physics.comp-ph
Kinetic theory for Transformers and the lost-in-the-middle phenomenon
研究因果自注意力动力学，揭示Transformer解码器中中间丢失现象的数学机制，通过粒子系统模型证明均场极限及高阶相关性特征。
2026-10-22 cs.LG math.AP math.PR
Self-Attentive Document Interaction Networks for Permutation Equivariant Ranking
Google（谷歌）
如何利用跨文档交互来提高排序性能是信息检索研究的一个重要课题。然而，这个主题还没有得到很好的研究，在学习排名设置和大多数现有的工作仍然对待每个文件独立，而评分。深度学习的最新发展显示了在跨序列和集合建模复杂关系方面的实力。因此，它激励我们研究如何利用跨文档交互在深度学习框架中进行学习排名。在本文中，我们正式定义了一个评分功能，捕捉跨文档的相互作用的置换等方差要求。然后，我们提出了一个自我注意的文档交互网络，并表明它满足置换等变的要求，并可以产生不同大小的文档集的分数。我们提出的方法可以自动学习捕获文档交互，而无需任何辅助信息，并且可以在大型文档集上扩展。我们在三个排名数据集上进行实验：基准Web30k，Gmail搜索和Google Drive快速访问数据集。实验结果表明，我们提出的方法是更有效的和高效的基线。
2019-10-23 cs.IR cs.LG
