VN-Transformer: Rotation-Equivariant Attention for Vector Neurons
Duke University（杜克大学）；Waymo LLC（Waymo有限责任公司）
旋转等方差在诸如运动预测和3D感知的许多实际应用中是期望的属性，其中它可以提供诸如样本效率、更好的泛化和对输入扰动的鲁棒性的益处。矢量神经元（VN）是最近发展起来的一种框架，它通过将一维标量神经元扩展为三维“矢量神经元”，提供了一种简单而有效的方法来推导标准机器学习操作的旋转等变类似物。“我们引入了一种新的“VN-Transformer”架构，以解决当前VN模型的几个缺点。我们的贡献是：$(i)$我们推导出一种旋转等变注意力机制，它消除了原始矢量神经元模型所需的繁重的特征预处理; $(ii)$我们扩展了VN框架以支持非空间属性，扩展了这些模型对真实世界数据集的适用性; $(iii)$我们推导出一种旋转等变机制，用于点云分辨率的多尺度降低，大大加快了推理和训练; $(iv)$我们表明，在等方差（$ε$ -近似等方差）的小权衡可以用来获得大的改进，在加速硬件上的数值稳定性和训练鲁棒性，我们绑定的传播等方差违反我们的模型。最后，我们将我们的VN-Transformer应用于3D形状分类和运动预测，结果令人信服。
2023-01-24 cs.CV cs.LG cs.RO
Efficient Equivariant Transformer for Self-Driving Agent Modeling
Waabi；University of Toronto（多伦多大学）
本文提出DriveGATr，一种基于变换器的架构，通过多向量在2D投影几何代数中建模几何关系，实现SE(2)-等价性，无需显式成对相对位置编码，提升大规模场景下的效率。
2026-04-01 cs.CV cs.LG cs.RO
Are Transformers universal approximators of sequence-to-sequence functions?
MIT（麻省理工学院）；Google Research（谷歌研究院）
尽管Transformer模型被广泛用于NLP任务，但这些模型的表达能力还没有得到很好的理解。在本文中，我们建立了Transformer模型是具有紧支撑的连续置换等变序列到序列函数的通用逼近器，这是相当令人惊讶的，因为这些模型中的共享参数的数量。此外，使用位置编码，我们绕过了置换等方差的限制，并表明，Transformer模型可以普遍逼近任意连续序列到序列的功能上的一个紧凑的区域。有趣的是，我们的证明技术清楚地突出了自我注意和前馈层在Transformers中的不同角色。特别地，我们证明了固定宽度的自注意层可以计算输入序列的上下文映射，在Transformers的通用近似性质中起着关键作用。基于我们的分析，我们考虑了自我注意层的其他更简单的替代方案，并对其进行了实证评估。
2020-02-25 cs.LG stat.ML
Equivariant neural networks for recovery of Hadamard matrices
Inductiva Research Labs（Inductiva Research Labs（Inductiva研究实验室））
我们提出了一个消息传递神经网络架构设计成等变的列和行排列的矩阵。我们说明了它的优势，传统的架构，如多层感知器（MLP），卷积神经网络（CNN），甚至Transformers，在组合优化任务恢复一组删除的条目的阿达玛矩阵。我们认为，这是几何深度学习原理在基础数学中的强大应用，也是使用机器学习技术对阿达玛猜想进行更多深入了解的潜在垫脚石。
2022-01-31 cs.DM cs.LG
IIET: Efficient Numerical Transformer via Implicit Iterative Euler Method
NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院自然语言处理实验室）；Meituan Inc.（美团公司）；Tsinghua University（清华大学）；NiuTrans Research, Shenyang, China（牛译研所）
提出基于隐式迭代欧拉方法的IIET架构简化高阶数值方法，结合迭代影响感知蒸馏技术，在保持性能的同时显著提升Transformer推理效率。
2025-10-11 cs.CL cs.LG
Does equivariance matter at scale?
Qualcomm AI Research（高通人工智能研究）
本文通过刚体相互作用基准实证比较等变与非等变 transformer，揭示二者在数据效率、算力幂律扩展及最优算力分配上的差异。
2025-07-27 cs.LG
Looped Transformers are Better at Learning Learning Algorithms
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
本文提出循环 Transformer 架构以引入迭代特性，使其在解决数据拟合问题时，以不到 10% 的参数达到标准 Transformer 的性能，从而更有效地习得学习算法。
2024-03-16 cs.LG cs.NE
SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks
Bosch Center for Artificial Intelligence（博世人工智能中心）；Oxford University（牛津大学）；University of Amsterdam（阿姆斯特丹大学）
我们介绍了SE（3）-Transformer，这是三维点云和图形的自注意模块的一个变体，它在连续的三维旋转平移下是等变的。等方差对于确保在数据输入存在干扰转换的情况下的稳定和可预测的性能非常重要。等方差的一个正的推论是增加模型内的权重绑定。SE（3）-Transformer利用自注意力的优势，在大型点云和具有不同数量点的图形上进行操作，同时保证SE（3）-等方差的鲁棒性。我们在一个玩具N体粒子模拟数据集上评估了我们的模型，展示了在输入旋转下预测的鲁棒性。我们在两个真实世界的数据集ScanObjectNN和QM 9上进一步实现了具有竞争力的性能。在所有情况下，我们的模型都优于强大的非等变注意力基线和无注意力的等变模型。
2020-11-24 cs.LG stat.ML
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo（东京大学）
现有的Transformer模型的表达能力的分析需要过深的数据存储层，导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系，我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此，我们表明，一层和单头Transformers有记忆能力有限的样本，和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
Sumformer: Universal Approximation for Efficient Transformers
Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）；Stanford University（斯坦福大学）；Technical University of Munich（慕尼黑工业大学）
本文提出Sumformer这一新颖简单架构，首次为Linformer和Performer建立通用逼近理论，并证明单层注意力Transformer即可实现通用逼近。
2023-07-05 cs.CL cs.LG stat.ML
From Peptides to Nanostructures: A Euclidean Transformer for Fast and Stable Machine Learned Force Fields
TU Berlin（柏林工业大学）；BIFOLD, Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Google DeepMind（谷歌DeepMind）；Korea University（高丽大学）；Max Planck Institut für Informatik（马克斯·普朗克计算机科学研究所）
提出名为SO3krates的欧几里得Transformer架构，通过结合稀疏等变表示与分离不变/等变信息的自注意力机制，在准确、稳定与速度间取得平衡，实现大分子体系长时间稳定MD模拟与构象探索。
2024-02-16 cs.LG physics.chem-ph
Neural Functional Transformers
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出神经函数变换器，利用注意力机制构建置换等变权重空间层，匹配或超越现有方法，并开发Inr2Array将INR分类准确率提升高达17%。
2023-05-22 cs.AI cs.LG
e3nn: Euclidean Neural Networks
我们提出了e3 nn，一个用于创建E（3）等变可训练函数的通用框架，也称为欧几里得神经网络。e3 nn自然地对几何和几何张量进行操作，这些几何和几何张量描述3D系统并在坐标系变化下可预测地进行变换。e3 nn的核心是等变操作，例如TensorProduct类或球面谐波函数，可以组合以创建更复杂的模块，例如卷积和注意力机制。e3 nn的这些核心操作可用于有效地表达张量场网络、3D可操纵CNN、Clebsch-Gordan网络、SE（3）Transformers和其他E（3）等变网络。
2022-07-18 cs.AI cs.LG cs.NE
Simulation of Arbitrary Level Contrast Dose in MRI Using an Iterative Global Transformer Model
Subtle Medical Inc.（微妙医疗公司）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Stanford University（斯坦福大学）
针对MRI深度学习对比剂剂量调整方法受低剂量数据限制、适配性不足的问题，提出带采样注意力与旋转偏移模块的Gformer迭代模型，可合成任意对比增强图像，性能优于现有方法且具备临床应用潜力。
2023-07-22 cs.CV cs.LG eess.IV
A Simple and Effective Positional Encoding for Transformers
Google Research（谷歌研究院）
Transformer模型是置换等变的。为了提供输入标记的顺序和类型信息，位置和段嵌入通常被添加到输入中。最近的工作提出了具有实现更好性能的相对位置编码的位置编码的变型。我们的分析表明，增益实际上来自于将位置信息从输入移动到注意层。受此启发，我们引入了Transformers的去耦位置注意力（DIET），这是一种简单而有效的机制，可以将位置和分段信息编码到Transformer模型中。所提出的方法具有更快的训练和推理时间，同时在GLUE，XTREME和WMT基准测试中获得了有竞争力的性能。我们进一步推广我们的方法，远程Transformers和性能增益。
2021-11-03 cs.CL cs.LG
Sampling 3D Molecular Conformers with Diffusion Transformers
Technical University Berlin（技术大学柏林）；BIFOLD Berlin（柏林BIFOLD）；Google DeepMind（谷歌DeepMind）；MPI for Informatics, Saarbrücken（萨尔布吕肯信息研究所）；Department of Artificial Intelligence, Korea University（韩国大学人工智能系）
针对将扩散Transformer（DiTs）应用于分子构象生成时的离散-连续信息整合等挑战，提出DiTMC框架，通过模块化架构分离3D坐标处理与原子连接性条件，结合两种图条件策略及不同注意力机制，在GEOM基准上实现最优精度与物理有效性。
2025-11-11 cs.LG
AbbIE: Autoregressive Block-Based Iterative Encoder for Efficient Sequence Modeling
University of Cambridge（剑桥大学）；Meta
提出自回归块式迭代编码器（AbbIE），一种递归泛化的仅编码器Transformer，以更优困惑度实现测试时动态计算扩展，并向上泛化至任意迭代长度，在零样本上下文学习和语言建模上分别提升最高12%和5%。
2025-08-07 cs.LG
Quantitative Approximation Rates for Group Equivariant Learning
Department of Mathematics（数学系）；Texas A&M University（德克萨斯A&M大学）；Faculty of Mathematics（数学系）；Technion- Israel Institute of Technology（技术学院-以色列理工学院）；Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
本文研究群等变学习中ReLU网络对α-霍尔德函数的逼近速率，证明等变架构与普通MLP在表达能力上相当，无需牺牲逼近能力。
2026-04-16 cs.LG cs.NA math.NA
Quasi-Equivariant Metanetworks
FPT Software AI Center（FPT软件人工智能中心）
本文提出准等变元网络，通过引入准等变性概念，在保留功能一致性的同时，突破严格等变性的刚性限制，提升元网络的表达能力和鲁棒性。
2026-04-26 cs.LG
ODE-Based Transformer Decoders for Iterative Sign Language Translation
ASELSAN（阿塞尔桑（土耳其国防工业公司））；Hacettepe University（哈杰泰佩大学）
该研究将受常微分方程启发的高阶数值积分格式应用于迭代手语翻译，提出参数高效的解码器，在不增参数下提升性能，在两个基准上优于IPSLT基线。
2026-08-13 cs.CL cs.LG
Semi-supervised Learning of Galaxy Morphology using Equivariant Transformer Variational Autoencoders
University of Oxford（牛津大学）
星系图像数量的增长速度远远快于人类标记这些星系的速度。然而，通过利用不断增长的未标记图像中的信息，半监督学习可能是减少所需标记和提高分类准确性的有效方法。我们开发了一个变分自动编码器（VAE）的等变Transformer层与分类器网络从潜在的空间。我们表明，这种新的架构导致精度的提高时，用于星系形态分类任务的银河动物园数据集。此外，我们还表明，与现有方法相比，使用未标记的数据对分类器网络进行预训练作为VAE的一部分，可以使用更少的标签获得更高的准确性。这种新的VAE具有自动化星系形态分类的潜力，减少了人类的标记工作。
2020-11-17 cs.LG stat.ML
Equivariant Transformer Networks
Stanford University（斯坦福大学）
如何将关于域的变换不变性的先验知识结合到神经网络的体系结构中？我们提出了等变Transformers（变换），一个家庭的可微图像到图像的映射，提高了对预定义的连续变换组的模型的鲁棒性。通过使用特殊导出的正则坐标系，将函数合并为相对于这些变换的等变函数。我们的经验表明，可以灵活地组成，以提高模型的鲁棒性，对更复杂的变换组在几个参数。在现实世界的图像分类任务中，该算法提高了ResNet分类器的样本效率，在有限的数据范围内实现了高达15%的出错率的相对改善，同时将模型参数计数增加了不到1%。
2019-05-24 cs.CV cs.LG stat.ML
GradMetaNet: An Equivariant Architecture for Learning on Gradients
University of Oxford（牛津大学）；Technion（以色列理工学院）；Bar-Ilan University（巴伊兰大学）；UC Berkeley（加州大学伯克利分校）；AITHYRA；NVIDIA（英伟达）
本文提出GradMetaNet，一种基于等变设计、跨数据点梯度处理和秩1分解原则构建的新颖梯度学习架构，证明了其普适性，并在MLPs和transformers上的学习优化、INR编辑等任务中验证了有效性。
2025-10-12 cs.AI cs.LG
How Do Transformers Learn to Represent Symmetries?
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Massachusetts Institute of Technology（麻省理工学院）
本文研究普通Transformer通过有限数据增强学习点云对称性的能力，识别出从非保角到保角再到基础子群的可学习性递增顺序，并揭示诱导不变性的可解释机制，为等变性学习提供基础。
2026-10-08 cs.LG
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
KC Machine Learning Lab（韩国首尔计算机机器学习实验室）
提出一种离散旋转反射群等变的视觉Transformer，通过卷积注意力机制保持特征图的旋转、翻转和位置对称性，在图像分类任务中优于现有方法。
2026-06-25 cs.CV cs.LG
Translation Equivariant Transformer Neural Processes
University of Cambridge（剑桥大学）；Vector Institute（向量研究院）；University of Toronto（多伦多大学）；Microsoft Research AI for Science（微软研究院科学人工智能部门）
针对现有Transformer神经过程（TNPs）未充分利用数据对称性的问题，本文提出融入平移等变性的TE-TNPs模型，经合成与真实时空数据实验验证，其效果优于非平移等变同类模型及其他NP基准。
2024-06-18 cs.LG stat.ML
iMixer: hierarchical Hopfield network implies an invertible, implicit and iterative MLP-Mixer
CyberAgent（赛博agent公司）；Rikkyo University（立教大学）
本文将层次化 Hopfield 网络与 MLP-Mixer 的对应关系推广为 iMixer 模型，其具有可逆、隐式且迭代的混合模块，并在图像分类任务上取得与 vanilla MLP-Mixer 相当或更好的性能。
2024-04-01 cond-mat.dis-nn cs.CV cs.LG
Discrete Neural Flow Samplers with Locally Equivariant Transformer
Imperial College London（伦敦帝国学院）；Apple（苹果公司）
针对从未归一化离散分布采样时马尔可夫链蒙特卡洛混合慢、收敛差的问题，提出可训练的离散神经流采样器框架，结合控制变量与局部等变Transformer提升效率，在多类任务中验证了有效性。
2025-10-21 cs.LG stat.ML
Spacetime $E(n)$-Transformer: Equivariant Attention for Spatio-temporal Graphs
Stanford University（斯坦福大学）
本文提出 Spacetime $E(n)$-Transformer（SET），通过在空间与时间中引入旋转、平移和排列等变归纳偏置，在带电 $N$ 体问题上显著优于缺乏对称性保持的模型。
2024-08-12 cs.AI cs.LG
A Lorentz-Equivariant Transformer for All of the LHC
本研究提出基于时空几何代数的洛伦兹等变Transformer模型L-GATr，在LHC的振幅回归、喷注分类及生成任务三项基准上均取得显著优于现有架构的性能。
2025-09-03 cs.LG hep-ex hep-ph
Lorentz-Equivariant Geometric Algebra Transformers for High-Energy Physics
Heidelberg University（海德堡大学）；MIT（麻省理工学院）；IAIFI；Qualcomm AI Research（高通人工智能研究）
提出洛伦兹几何代数变换器（L-GATr），一种洛伦兹等变的Transformer架构，用于高能物理，在回归、分类及生成任务上达到或超越领域特定基线。
2024-10-30 cs.LG hep-ph physics.data-an
A Complete Guide to Spherical Equivariant Graph Transformers
University of Pennsylvania（宾夕法尼亚大学）
本指南介绍球面等变图变换器，涵盖群表示、张量积、等变核构建及SE(3)-Transformer架构，用于三维分子和生物分子系统的等变建模与预测。
2025-12-15 cs.LG q-bio.QM
On the Expressive Power of Floating-Point Transformers
Department of Artificial Intelligence, Korea University（韩国大学人工智能系）；Department of Mathematics and Statistics, Sejong University（世宗大学数学与统计学系）；Department of Mathematical Sciences, Gwangju Institute of Science and Technology（全州科学技术研究院数学科学系）
本文研究了浮点数变换器的表达能力，发现其在特定条件下可表示非排列等价函数，并揭示了位置编码对表示能力的影响。
2026-01-23 cs.LG
TorchMD-NET: Equivariant Transformers for Neural Network based Molecular Potentials
Pompeu Fabra University（庞培法布拉大学）；PRBB（巴塞罗那生物医学研究园）；Osnabrück University（奥斯纳布吕克大学）；ICREA（加泰罗尼亚研究与高级研究院）；Acellera Labs（Acellera实验室）
量子力学性质的预测在历史上一直受到准确性和速度之间的权衡的困扰。机器学习的潜力已经在这个领域取得了巨大的成功，在保持与经典力场相当的计算效率的同时，达到了越来越好的精度。在这项工作中，我们提出了TorchMD-NET，一种新的等变Transformer（ET）架构，在准确性和计算效率方面优于MD 17，ANI-1和许多QM 9目标。通过广泛的注意力权重分析，我们获得了宝贵的见解的黑盒预测和显示的差异，在学习表示的构象与构象采样从分子动力学或正常模式。此外，我们强调了数据集的重要性，包括非平衡构象的分子潜力的评估。
2022-04-23 cs.AI cs.LG physics.chem-ph
REViT-v2: Hierarchical Windowed Roto-reflection Equivariant ViT for Equivariant Feature Extraction
KC Machine Learning Lab（KC机器学习实验室）；NFOCZ Inc（NFOCZ公司）；Seoul National University（首尔国立大学）
提出基于窗口群卷积自注意力和分层架构的可扩展旋转反射群等变视觉Transformer，可扩展到百万参数和ImageNet规模数据集，并提供代码和预训练权重。
2026-10-07 cs.CV cs.LG
HiPerformer: Hierarchically Permutation-Equivariant Transformer for Time Series Forecasting
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
提出层级置换等变Transformer（HiPerformer），通过考虑组内与组间关系，提升多时间序列预测性能，并在真实数据上超越现有最先进方法。
2023-05-14 cs.LG
Scalable Peptide Design via Memory-Efficient Equivariant Transformer
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Department of Chemistry, Tsinghua University（清华大学化学系）
提出内存高效等变变压器（MEET），通过线性内存缩放和几何特征改进，实现全原子肽的序列与结构协同设计，在生成质量、结合亲和力和多样性上超越现有方法。
2026-06-26 cs.LG
Equivariant Spherical Transformer for Efficient Molecular Modeling
SAIS（上海人工智能科学研究院）；Shanghai Innovation Institute（上海创新研究院）；Xiamen University（厦门大学）；INFTech；Sun Yat-sen University（中山大学）；Nanjing University（南京大学）；Fudan University Zhongshan Hospital（复旦大学中山医院）
本文提出即插即用的 Equivariant Spherical Transformer，在群表示 Fourier 空间域引入 Transformer 并保持等变归纳偏置，在 OC20、QM9 上达到最先进性能并验证其等变性。
2026-11-10 cs.AI cs.LG
ETDock: A Novel Equivariant Transformer for Protein-Ligand Docking
College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）；Tencent AI Lab（腾讯AI实验室）
ETDock提出了一种等变变换器网络，通过融合配体图层面特征和迭代优化生成优化配体姿态，实现蛋白质-配体结合预测的高性能表现。
2026-01-03 cs.LG q-bio.BM
Set Norm and Equivariant Skip Connections: Putting the Deep in Deep Sets
New York University（纽约大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
排列不变神经网络是一种很有前途的工具，从集进行预测。然而，我们表明，现有的置换不变架构，深集和集Transformer，可以遭受消失或爆炸梯度时，他们是深。此外，层规范（Set Transformer中选择的规范化）可能会删除对预测有用的信息，从而损害性能。为了解决这些问题，我们引入了等变剩余连接的清洁路径原则，并开发了集规范，一个为集合量身定制的规范化。有了这些，我们构建了Deep Sets++和Set Transformer++，这些模型在不同的任务套件上达到了更高的深度，并具有与原始模型相当或更好的性能。我们还介绍了Flow-RBC，一个新的单细胞数据集和置换不变预测的实际应用。我们在这里开源我们的数据和代码：https://github.com/rajesh-lab/deep_permutation_invariant。
2022-07-14 cs.LG
PolyGET: Accelerating Polymer Simulations by Accurate and Generalizable Forcefield with Equivariant Transformer
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出PolyGET框架，利用等变Transformer和仅优化力的训练范式，在24种聚合物数据集上实现高精度力场与稳健MD模拟，并能泛化至未见聚合物。
2023-09-01 cond-mat.soft cs.LG
E2Former: An Efficient and Equivariant Transformer with Linear-Scaling Tensor Products
HUST（华中科技大学）；Microsoft Research（微软研究院）
本文提出E2Former，一种融合Wigner $6j$卷积的高效等变Transformer架构，通过将计算负担从边转移到节点，在保持模型表达能力和旋转等变性的同时大幅降低复杂度，实现了7-30倍加速，为可扩展分子建模提供了新方向。
2025-11-03 cond-mat.mtrl-sci cs.LG
Equivariant Transformer is all you need
International Professional University of Technology（国际技术职业大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）
本文将对称等变注意力引入自学习蒙特卡洛（SLMC），应用于二维格点自旋-费米子模型，克服了线性模型接受率低的问题，并观察到类似大语言模型的接受率缩放定律。
2023-10-20 cond-mat.dis-nn cs.LG hep-lat
DeepChem Equivariant: SE(3)-Equivariant Support in an Open-Source Molecular Machine Learning Library
Deep Forest Sciences（深林科学）
本文扩展开源库 DEEPCHEM，提供开箱即用的 SE(3)-等变模型、完整训练流程与工具，降低分子机器学习应用门槛。
2025-10-19 cs.LG
EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations
Massachusetts Institute of Technology（麻省理工学院）；Meta
针对等变Transformer难以支持高阶等变表示的问题，提出EquiformerV2，通过替换卷积结构与三项架构改进，在多个原子系统数据集上实现性能、效率与数据利用率的全面提升。
2024-03-06 cs.AI cs.LG physics.comp-ph
D3MES: Diffusion Transformer with multihead equivariant self-attention for 3D molecule generation
School of Physics and Electronic Engineering, Jiangsu University（江苏大学物理与电子工程学院）；Jiangsu Engineering Research Center on Quantum Perception and Intelligent Detection of Agricultural Information（江苏省农业信息量子感知与智能检测工程研究中心）
本研究针对3D分子生成中氢原子连接难、跨类别生成受限的问题，提出融合多头等变自注意力的Diffusion Transformer扩散模型D3MES，在多项指标上达最优，适用于分子设计早期大规模生成。
2025-01-13 cs.LG physics.chem-ph
Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Southern California（南加州大学）
针对拆分推理中隐藏表示易被近邻搜索恢复的问题，提出正交混淆方法，并设计ConjFormer架构实现O(d)-等变性，在不加噪声或重加密下将令牌恢复率从35%降至1.3%，困惑度仅增0.4%。
2026-06-16 cs.LG
Velocityformer: Broken-Symmetry-Matched Equivariant Graph Transformers for Cosmological Velocity Reconstruction
ETH Zürich（苏黎世联邦理工学院）
该研究提出Velocityformer，一种等价图变换器架构，通过匹配观测数据的破缺对称性来提高宇宙学速度重建的精度，其在速度相关系数r上比标准线性理论基线提高了35%。
2026-05-20 astro-ph.CO cs.LG
SE(3)-bi-equivariant Transformers for Point Cloud Assembly
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
针对非重叠且初始位置任意的点云装配问题，提出基于 SE(3)-双等变先验的 BITR，通过 $SE(3) \ imes SE(3)$-transformer 提取特征并投影至 SE(3)，兼具尺度与交换等变性及实验有效性。
2024-10-25 cs.AI cs.LG
Generalist Equivariant Transformer Towards 3D Molecular Interaction Learning
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对现有方法独立编码不同粒度分子导致难以学习 3D 相互作用物理机制的缺陷，提出通用的等变 Transformer（GET），将任意 3D 复合物表示为集合几何图，通过单一模型有效捕获特定层次与无关相互作用物理，在蛋白质等分子相互作用实验中验证了其有效性与泛化能力。
2024-05-30 cs.LG q-bio.BM
EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers
Massachusetts Institute of Technology (MIT)（麻省理工学院）
本文提出EquiformerV3，通过优化软件实现、引入等价合并层归一化和改进的前馈网络参数，提升了效率、表达力和通用性，实现了对光滑变化的势能面的精确建模。
2026-04-10 cs.AI cs.LG physics.comp-ph
A standard transformer and attention with linear biases for molecular conformer generation
IBM Research（IBM研究院）
本文证明标准Transformer结合类似ALiBi的线性相对位置编码，能以2500万参数超越6400万参数的非等变模型，在GEOM-DRUGS基准上实现分子构象生成的最新性能。
2025-06-24 cs.AI cs.LG q-bio.BM
Bayesian E(3)-Equivariant Interatomic Potential with Iterative Restratification of Many-body Message Passing
Sungkyunkwan University（成均馆大学）；Institute for Basic Science (IBS)（基础科学研究院）；Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）；Korea Institute of Science and Technology Information（韩国科学技术信息研究院）；Gwangju Institute of Science and Technology（光州科学技术院）；KAIST（韩国科学技术院）
本文提出一种贝叶斯E(3)等价机器学习势，通过迭代重分配多体信息传递来解决不确定性量化问题，提升了能量和力的预测精度，并在主动学习和异常检测中表现出色。
2026-04-08 cs.LG
Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance
KAIST（韩国科学技术院）
该研究提出概率对称化框架，用小型等变网络参数化对称化分布，结合任意基础模型端到端训练，实现架构无关的群等变性，在多对称群测试中性能媲美定制等变架构，还可跨模态预训练增强效果。
2024-04-13 cs.AI cs.LG
