TorchMD-NET: Equivariant Transformers for Neural Network based Molecular Potentials
Pompeu Fabra University（庞培法布拉大学）；PRBB（巴塞罗那生物医学研究园）；Osnabrück University（奥斯纳布吕克大学）；ICREA（加泰罗尼亚研究与高级研究院）；Acellera Labs（Acellera实验室）
量子力学性质的预测在历史上一直受到准确性和速度之间的权衡的困扰。机器学习的潜力已经在这个领域取得了巨大的成功，在保持与经典力场相当的计算效率的同时，达到了越来越好的精度。在这项工作中，我们提出了TorchMD-NET，一种新的等变Transformer（ET）架构，在准确性和计算效率方面优于MD 17，ANI-1和许多QM 9目标。通过广泛的注意力权重分析，我们获得了宝贵的见解的黑盒预测和显示的差异，在学习表示的构象与构象采样从分子动力学或正常模式。此外，我们强调了数据集的重要性，包括非平衡构象的分子潜力的评估。
2022-04-23 cs.AI cs.LG physics.chem-ph
$E(2)$-Equivariant Vision Transformer
Zhejiang University（浙江大学）；JD Explore Academy, JD.com, Inc.（京东集团京东探索研究院）；University of Edinburgh（爱丁堡大学）
本文针对ViT位置编码难以学习等变性的问题，提出群等变视觉Transformer（GE-ViT），通过新型位置编码算子满足等变理论要求，并在标准基准上显著超越非等变自注意力网络。
2023-07-07 cs.AI cs.CV
Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance
KAIST（韩国科学技术院）
该研究提出概率对称化框架，用小型等变网络参数化对称化分布，结合任意基础模型端到端训练，实现架构无关的群等变性，在多对称群测试中性能媲美定制等变架构，还可跨模态预训练增强效果。
2024-04-13 cs.AI cs.LG
EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations
Massachusetts Institute of Technology（麻省理工学院）；Meta
针对等变Transformer难以支持高阶等变表示的问题，提出EquiformerV2，通过替换卷积结构与三项架构改进，在多个原子系统数据集上实现性能、效率与数据利用率的全面提升。
2024-03-06 cs.AI cs.LG physics.comp-ph
EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers
Massachusetts Institute of Technology (MIT)（麻省理工学院）
本文提出EquiformerV3，通过优化软件实现、引入等价合并层归一化和改进的前馈网络参数，提升了效率、表达力和通用性，实现了对光滑变化的势能面的精确建模。
2026-04-10 cs.AI cs.LG physics.comp-ph
A standard transformer and attention with linear biases for molecular conformer generation
IBM Research（IBM研究院）
本文证明标准Transformer结合类似ALiBi的线性相对位置编码，能以2500万参数超越6400万参数的非等变模型，在GEOM-DRUGS基准上实现分子构象生成的最新性能。
2025-06-24 cs.AI cs.LG q-bio.BM
Equivariant Music Transformer
针对标准音乐Transformer等变性不足的问题，提出EMT模型，通过自蒸馏联合优化预测与等变正则化损失，在等变性和生成能力上优于现有方法。
2026-08-05 cs.AI cs.SD
Equi-ViT: Rotational Equivariant Vision Transformer for Robust Histopathology Analysis
Yale University（耶鲁大学）
Equi-ViT通过引入等变卷积核提升ViT在病理学图像中的旋转鲁棒性和数据效率。
2026-01-14 cs.AI cs.CV eess.IV
Polynormer: Polynomial-Expressive Graph Transformer in Linear Time
Cornell University（康奈尔大学）
针对图 Transformer 表达能力与线性可扩展性难以兼顾的问题，提出 Polynormer，通过局部到全局等变注意力学习高次多项式，并在13个数据集上验证其性能优势。
2024-04-06 cs.AI cs.LG
Rearrangement Planning for General Part Assembly
Columbia University（哥伦比亚大学）；Google Deepmind（谷歌DeepMind）
本文提出通用零件装配任务，并设计基于Transformer的GPAT模型，通过推断零件与目标形状的对应关系来预测精确位姿，实验证明其泛化能力。
2023-09-03 cs.AI cs.RO
Quick ViTs: Speeding up Vision Transformers through Equivariance
Chalmers University of Technology（查尔姆斯理工大学）；Linköping University（林堡大学）；University of Amsterdam（阿姆斯特丹大学）
研究利用反射和旋转等变性加速视觉变换器，核心方法是基于八面体等变线性层构建快速视觉变换器，贡献是大幅降低计算量和内存，提升效率且保持或超越基线精度。
2026-07-07 cs.AI cs.CV cs.LG
Solvaformer: an SE(3)-equivariant graph transformer for small molecule solubility prediction
Sanofi, Digital R&D（桑菲公司数字研发部）；Sanofi, CMC Synthetics（桑菲公司CMC合成部）
针对小分子溶解度预测的实验成本高、现有方法依赖量子描述符或可解释性有限问题，提出SE(3)等变图Transformer模型Solvaformer，结合分子内SE(3)等变注意力与分子间标量注意力，多任务训练后性能优于同类模型且具有可解释性。
2025-11-12 cs.AI physics.chem-ph
How Different Tokenization Algorithms Impact LLMs and Transformer Models for Binary Code Analysis
Ahmed Mostafa, 1Raisul Arefin, Samuel Mulder（未知）
本文系统评估了不同分词算法及参数对汇编代码分析的影响，通过内在指标和基于 Llama 3.2、BERT、BART 的下游任务实验，揭示了分词器选择与性能之间的复杂权衡，为优化底层二进制分析流程提供依据。
2025-11-05 cs.AI cs.CL cs.CR
Geometric Point Attention Transformer for 3D Shape Reassembly
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对3D部件重组装中几何关系建模不足的问题，提出GPAT，融合全局与局部几何特征及位姿，并通过几何循环迭代细化，提升绝对位姿估计与对齐精度。
2024-12-01 cs.AI cs.CV cs.LG
EMERGE: Resolution-Agnostic Point Cloud Generation with Equivariant Graph-Based Diffusion
National Technical University of Athens（雅典国立技术大学）
EMERGE提出首个完全SE(3)等变的图扩散点云生成模型，实现分辨率无关的零样本推理，在标准指标上达到最先进质量并显著加速训练收敛。
2026-10-21 cs.AI cs.CV cs.LG
Reviving Shift Equivariance in Vision Transformers
University of Maryland（马里兰大学）
针对视觉Transformer中补丁嵌入等模块破坏平移等变性的问题，提出自适应多相锚定算法与深度卷积位置编码方案，使ViT及Twins等变体实现输入平移100%一致性，提升多种变换鲁棒性。
2023-06-13 cs.AI cs.CV
3D Geometric Shape Assembly via Efficient Point Cloud Matching
POSTECH（浦项科技大学）；Seoul National University（首尔大学）
针对3D几何形状组装任务，提出基于粗细两级点云局部对应匹配的PMTR框架，通过近似高阶特征变换层PMT实现零件配合面可靠匹配，在Breaking Bad基准上性能与效率均超现有最优方法。
2024-07-15 cs.AI cs.CV
Learning Inter-Atomic Potentials without Explicit Equivariance
University of Oxford（牛津大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；AstraZeneca（阿斯利康）；AITHYRA
本文提出TransIP，一种基于Transformer的原子间势能训练方法，通过优化嵌入空间使模型具备SO(3)等价性，无需显式架构约束，在不同数据集规模下性能优于等价性基线和数据增强基线。
2026-03-31 cs.AI cs.LG q-bio.BM
