Empowering Diffusion Models on the Embedding Space for Text Generation
School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Microsoft Research Asia(微软亚洲研究院)
本文系统研究了嵌入空间扩散模型在文本生成中的优化挑战,提出了锚点损失和噪声重缩放框架以解决训练不稳定和退化问题,并基于Transformer构建了Difformer模型,在多种文本生成任务上取得了优于基线的性能。
2024-04-22 cs.AI cs.CL cs.LG
Pieceformer: Similarity-Driven Knowledge Transfer via Scalable Graph Transformer in VLSI
Georgia Institute of Technology(佐治亚理工学院)
提出Pieceformer框架,利用混合消息传递和图变换器实现可扩展的自监督图相似性评估,在VLSI设计知识迁移中降低MAE 24.9%并减少89%运行时间。
2025-06-18 cs.LG cs.SY eess.SY
DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling
Nanyang Technological University(南洋理工大学)
针对图Transformer的图规模计算瓶颈,提出DHIL-GT:通过解耦图计算至独立预计算阶段,利用图标记层次提取信息,实现线性复杂度,在大规模基准上计算效率更优,且在同/异质性图上效果顶级。
2024-12-06 cs.LG
Recipe for a General, Powerful, Scalable Graph Transformer
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Nanyang Technological University(南洋理工大学);Valence Discovery
我们提出了一个关于如何构建一个通用的,功能强大的,可扩展的(GPS)图Transformer与线性复杂性和国家的最先进的结果在不同的基准集的配方。图Transformers(GT)在图表示学习领域中随着各种最近的出版物而流行,但是它们缺乏关于什么构成良好的位置或结构编码以及什么区分它们的共同基础。在本文中,我们总结了不同类型的编码有一个更清晰的定义,并将它们分为$\textit{local}$,$\textit{global}$或$\textit{relative}$。先前的GT被约束到具有几百个节点的小图,在这里,我们提出了第一个结构,通过将局部实边聚合从全连接的Transformer中解耦,其复杂度在节点和边的数量上是线性的。我们认为,这种解耦不会产生负面影响的表现力,我们的架构是一个通用的函数逼近图。我们的GPS配方包括选择3个主要成分:(i)位置/结构编码,(ii)本地消息传递机制,(iii)全局注意力机制。我们提供了一个模块化的框架$\textit{GraphGPS}$,支持多种类型的编码,并提供效率和可扩展性,无论是在小型和大型图形。我们在16个基准测试中测试了我们的架构,并在所有这些测试中显示出极具竞争力的结果,展示了模块化和不同策略组合所带来的经验优势。
2023-01-15 cs.LG
Scalable Property Valuation Models via Graph-based Deep Learning
Universidad de los Andes(洛斯安第斯大学);Facultad de Ingeniería y Ciencias Aplicadas(工程与应用科学学院);Instituto Sistemas Complejos de Ingeniería (ISCI)(复杂工程系统研究所);ESE Business School(ESE商学院);University of Chile(智利大学);School of Economics and Business(经济与商学院)
本文提出两种基于空间图和 transformer 图卷积的图神经网络估价模型,利用约20万套圣地亚哥房屋数据验证,显著提升了房价预测精度与建模可扩展性。
2024-05-10 cs.AI cs.LG
PolyFormer: Scalable Node-wise Filters via Polynomial Graph Transformer
Renmin University of China(中国人民大学)
针对现有谱图神经网络滤波器灵活性不足及可扩展性受限的问题,提出基于注意力机制的可扩展节点级滤波器PolyAttn及模型PolyFormer,在保持高效的同时增强表达性,实验证明其性能优越且可处理亿级节点图。
2024-07-19 cs.LG
A Scalable and Effective Alternative to Graph Transformers
Georgia Institute of Technology(佐治亚理工学院);Meta AI;Amazon Web Services(亚马逊网络服务)
针对图Transformer二次复杂度难以适配大规模图的问题,提出可扩展的GECO方法,结合邻域传播与全局卷积准线性捕获长程依赖,在200万节点图上加速169倍,性能优于基线最高达4.5%。
2024-06-17 cs.LG cs.SI
Transformers from Diffusion: A Unified Framework for Neural Message Passing
Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所);Amazon Web Services AI Lab(亚马逊云服务AI实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出能量约束扩散模型,统一了MLPs、GNNs和Transformers等消息传递架构,并据此设计DIFFormer,在多种结构观测条件下取得优异性能。
2025-07-01 cs.AI cs.LG
FairGP: A Scalable and Fair Graph Transformer Using Graph Partitioning
Dalian University of Technology(大连理工大学);University of South Australia(南澳大学);The University of New South Wales(新南威尔士大学);The University of Melbourne(墨尔本大学);RMIT University(皇家墨尔本理工大学)
FairGP通过图划分减少高阶节点敏感特征对低阶节点的偏差影响,并优化注意力机制,在降低计算复杂度的同时提升图Transformer的公平性,在多个数据集上优于现有方法。
2025-01-02 cs.LG stat.ML
AnchorGT: Efficient and Flexible Attention Architecture for Scalable Graph Transformers
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
AnchorGT提出一种基于$k$-支配节点集锚点的注意力架构,以几乎线性复杂度保留全局感受野,可灵活替换多种图Transformer模型中的注意力模块,在提升可扩展性和效率的同时保持甚至增强表达能力。
2024-05-06 cs.LG
FedGT: Federated Node Classification with Scalable Graph Transformer
University of Science and Technology of China(中国科学技术大学);Hong Kong University of Science and Technology(香港科技大学)
针对子图联邦学习中存在的跨子图连接缺失、子图异质性问题,本文提出可扩展的FedGT框架,通过混合注意力机制、基于最优传输的个性化聚合及本地差分隐私,在多数据集上实现了更优的节点分类性能。
2024-01-26 cs.LG
Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning
University of Oxford(牛津大学);Massachusetts Institute of Technology(麻省理工学院);McMaster University(麦马斯特大学);Vector Institute(向量研究所);AITHYRA
本文提出SMPNNs,通过替代注意力机制,实现高效的大规模图表示学习,克服传统GNN的过平滑问题,提升性能。
2026-03-09 cs.LG
From block-Toeplitz matrices to differential equations on graphs: towards a general theory for scalable masked Transformers
Google Brain Robotics(谷歌大脑机器人部门);Columbia University(哥伦比亚大学);University of Cambridge(剑桥大学);University of Oxford(牛津大学);Google Research(谷歌研究院);The Alan Turing Institute(艾伦·图灵研究所);Google(谷歌)
在本文中,据我们所知,我们提供了第一种全面的方法,用于以可扩展的方式将各种掩蔽机制整合到Transformers架构中。我们表明,最近的结果线性因果注意(Choromanski等人,2021)和对数线性RPE-注意(Luo等人,2021)是这一一般机制的特例。然而,通过铸造的问题作为一个拓扑(基于图形)调制的未掩蔽的注意,我们得到了一些结果未知的,包括有效的d维RPE掩蔽和图形内核掩蔽。我们利用许多数学技术,从频谱分析,通过动态规划和随机游走的新算法解决图上的马尔可夫过程。我们提供了相应的实证评价。
2023-03-28 cs.AI cs.LG
Fast and scalable retrosynthetic planning with a transformer neural network and speculative beam search
SUPSI, IDSIA(SUPSI、IDSIA);Pfizer Research and Development(辉瑞研发);Institute for Digital Technologies for Personalized Healthcare(个性化医疗数字技术研究所);KAUST(王国立科技大学);Center for Generative AI(生成人工智能中心)
针对AI驱动的逆合成规划系统延迟高的问题,提出结合Medusa草稿策略的推测性束搜索,加速SMILES到SMILES Transformer,在相同时间限制下解决多26%至86%的分子,满足高通量筛选需求。
2025-08-02 cs.AI cs.LG
Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers
Birchlabs, England, United Kingdom(英国英格兰Birchlabs实验室);Independent Researcher, Florida, United States(美国佛罗里达独立研究员)
本文提出Hourglass Diffusion Transformer,通过线性扩展像素数量实现高分辨率图像生成,无需传统高分辨率训练技术, 在ImageNet和FFHQ数据集上取得新突破。
2026-03-25 cs.AI cs.CV cs.LG
Q-Transformer: Scalable Offline Reinforcement Learning via Autoregressive Q-Functions
Google DeepMind(谷歌DeepMind)
提出 Q-Transformer 方法,利用 Transformer 对离散化动作维度的 Q 值进行自回归序列建模,实现从大型离线数据集中训练多任务策略,在真实机器人操作任务上优于现有离线 RL 和模仿学习算法。
2023-10-17 cs.AI cs.LG cs.RO
Scalable Communication for Multi-Agent Reinforcement Learning via Transformer-Based Email Mechanism
Tsinghua University(清华大学)
针对多智能体强化学习通信的可扩展性问题,提出基于Transformer的邮件机制框架,通过局部通信加消息链转发实现跨观测范围协作,在多基准测试中优于基线且智能体数量变化时无需重训。
2023-06-12 cs.AI cs.LG cs.MA
Scalable Diffusion Models with Transformers
UC Berkeley(加州大学伯克利分校);New York University(纽约大学)
我们探索一类新的扩散模型的基础上的Transformer架构。我们训练图像的潜空间扩散模型,用一个在潜在补丁上运行的Transformer代替常用的U-Net主干。我们分析了我们的扩散Transformer(DiTs)的可扩展性,通过镜头的前向通过复杂性测量的Gflops。我们发现,具有更高Gflops的DiT-通过增加Transformer深度/宽度或增加输入令牌的数量-始终具有较低的FID。除了具有良好的可扩展性外,我们最大的DiT-XL/2模型在类条件ImageNet 512 x512和256 x256基准测试中的表现优于所有先前的扩散模型,后者达到了最先进的FID 2.27。
2023-03-02 cs.CV cs.LG
POIFormer: A Transformer-Based Framework for Accurate and Scalable Point-of-Interest Attribution
University of Southern California(美国南加州大学)
针对GPS误差和城市POI高密度导致归因困难的问题,提出基于Transformer的POIFormer框架,联合建模时空、上下文与行为特征,在真实数据集上显著提升了归因准确率。
2025-07-12 cs.AI cs.LG
Scalable GANs with Transformers
KAIST(韩国科学技术院)
本文通过紧凑变分自编码器潜在空间和纯Transformer架构,研究了生成对抗网络的可扩展性,并提出了轻量级中间监督和宽度自适应学习率调整来解决缩放时的失败模式,在ImageNet-256上以40个epoch达到2.96的FID。
2026-06-05 cs.AI cs.CV cs.LG
Scalable Transformer for PDE Surrogate Modeling
Carnegie Mellon University(卡内基梅隆大学)
本文提出FactFormer,利用轴向分解核积分与可学习投影降低高维PDE代理建模的注意力成本,并在二维Kolmogorov流和三维烟雾浮力模拟中验证其精度、效率与可扩展性。
2023-11-03 cs.LG
STAR-VAE: A Scalable Latent-Variable Transformer for Controllable Molecular Generation
IBM Research(IBM研究院)
提出STAR-VAE框架,基于Transformer编码器-解码器与SELFIES表示,利用潜变量实现属性引导的可控分子生成,并通过LoRA高效微调,在多个基准上表现优异。
2026-09-23 cs.AI cs.LG q-bio.BM
Cascaded Transformer for Robust and Scalable SLA Decomposition via Amortized Optimization
Informatics Institute University of Amsterdam Amsterdam, The Netherlands(阿姆斯特丹大学信息学院)
Casformer通过摊销优化与Transformer序列建模,实现稳健且可扩展的SLA分解,提升网络自动化效率。
2026-01-17 cs.AI cs.LG cs.NE
Scalable Transformer for High Dimensional Multivariate Time Series Forecasting
Monash University(莫纳什大学);VinUniversity;Tymestack;University of Granada(格拉纳达大学)
本文针对高维多元时间序列预测中通道依赖模型性能下降的问题,提出可扩展Transformer模型STHD,通过关系矩阵稀疏化、ReIndex训练策略和二维Transformer捕捉通道依赖,在三个高维数据集上取得显著改进。
2024-08-08 cs.AI cs.IR cs.LG
FEMBA: Efficient and Scalable EEG Analysis with a Bidirectional Mamba Foundation Model
Integrated Systems Laboratory, ETH Zürich(瑞士苏黎世联邦理工学院集成系统实验室);DEI, University of Bologna(博洛尼亚大学DEI)
针对Transformer在EEG分析中计算复杂度高的问题,提出双向Mamba基础模型FEMBA,线性扩展处理长时程数据,以低计算成本在TUAB和TUAR上取得竞争性能,并验证了轻量变体的可行性。
2025-10-17 cs.AI cs.LG
Scalable Machines with Intrinsic Higher Mental-State Dynamics
TREND Project: Funded by the UK Advanced Research + Invention Agency (ARIA)(TREND项目:由英国高级研究与发明局(ARIA)资助)
本文基于神经生物学突破,提出通过数学框架实现模型在清醒想象思维中的计算原理,通过三元调节环预选信息,提升ImageNet-1K的训练效率,复杂度为O(N)。
2026-03-13 cs.AI cs.LG
GIST: Gauge-Invariant Spectral Transformers for Scalable Graph Neural Operators
IBM Research(IBM研究院)
GIST通过限制注意力至高效近似频谱嵌入的成对内积,解决了不规则网格上神经算子的规范不变性与计算复杂性之间的矛盾,证明其在端到端O(N)复杂度下能估计精确的规范不变图核,并在多个基准上取得最佳性能。
2026-05-12 cs.LG
SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers
New York University(纽约大学)
本文提出SiT生成模型,基于DiT骨干网络,利用灵活的插值框架模块化研究动态传输生成模型的设计选择,在相同结构和参数下于ImageNet基准上全面超越DiT。
2024-09-23 cs.CV cs.LG
Voost: A Unified and Scalable Diffusion Transformer for Bidirectional Virtual Try-On and Try-Off
NXN Labs(NXN实验室);University of British Columbia(不列颠哥伦比亚大学)
本文提出Voost框架,用单个扩散Transformer统一建模虚拟试穿与试脱,通过双向监督和两种推理技术提升服装-身体对应关系建模,在多个基准上取得最优性能。
2025-11-05 cs.AI cs.CV cs.GR
Prompt Tuning Decision Transformers with Structured and Scalable Bandits
Örebro University(奥雷布罗大学);King AI Labs, Microsoft Gaming(King AI实验室,微软游戏)
针对现有提示决策Transformer均匀采样轨迹提示未考虑信息性的问题,提出基于结构化可扩展老虎机的提示调优方法,实现线性缩放与高效奖励建模,理论与实验均验证其性能优于现有基线。
2025-10-01 cs.LG
S$^2$Transformer: Scalable Structured Transformers for Global Station Weather Forecasting
Harbin Institute of Technology(哈尔滨工业大学);Swiss Data Science Center(瑞士数据科学中心)
针对全球站点天气预报中空间相关性建模不足的问题,提出S$^2$Transformer,通过空间结构化注意力块划分子图并传递消息,实现可扩展且结构化的多尺度时空预测,性能提升最高达16.8%。
2025-09-25 cs.LG physics.ao-ph
Stratified Knowledge-Density Super-Network for Scalable Vision Transformers
针对多ViT模型部署成本高的问题,本文提出分层知识密度超网络,通过WPAC集中知识、PIAD促进知识分层,可灵活提取不同尺寸子网络,性能优于现有压缩与扩展方法。
2025-11-12 cs.AI cs.CV cs.LG
Vintix II: Decision Pre-Trained Transformer is a Scalable In-Context Reinforcement Learner
Applied AI Institute(应用人工智能研究所);Innopolis University(因诺波利斯大学);HSE(高等经济学院);ITMO University(ITMO大学);NUST MISIS(国立科技大学MISIS);MSU(莫斯科国立大学);Humanoid(Humanoid公司)
本文提出Vintix II,通过Flow Matching扩展DPT,实现跨多领域任务的强化学习,提升泛化能力。
2026-04-06 cs.AI cs.LG cs.RO
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
Department of Computing, Imperial College London(伦敦帝国理工学院计算机系)
提出变分混合专家路由(VMoER),通过将贝叶斯推断限制在专家选择阶段,实现大规模模型的不确定性校准,在微调基础模型上显著提升路由稳定性、降低校准误差并提高分布外检测AUROC,且额外计算开销极小。
2026-05-28 cs.AI cs.LG stat.ML
A Semi-amortized Lifted Learning-to-Optimize Masked (SALLO-M) Transformer Model for Scalable and Generalizable Beamforming
Columbia University(哥伦比亚大学)
本文提出SALLO-M模型,通过多层Transformer和迭代优化实现可扩展波束成形,采用双令牌化与结构化遮蔽提升泛化能力,结合滑动窗口、课程学习和样本回放策略提升鲁棒性,实现在不同信道条件下优于基线方法的性能。
2026-03-30 cs.AI cs.LG eess.SP
FastRPB: a Scalable Relative Positional Encoding for Long Sequence Tasks
Moscow Institute of Physics and Technology(莫斯科物理技术学院);VK Lab(VK实验室);Tinkoff(Tinkoff公司)
Transformers在各个领域都取得了卓越的性能,包括NLP、CV、音频处理和图形分析。然而,他们没有规模以及长序列的任务,由于其二次复杂性w.r.t.输入长度。线性Transformers被提出来解决这个限制。然而,这些模型在长序列任务上的性能较弱。在本文中,我们探讨线性Transformer模型,重新思考他们的两个核心组成部分。首先,采用平移不变核函数SIKF对线性Transformer进行改进,在不损失速度的前提下提高了精度。其次,我们介绍了FastRPB,它代表快速相对位置偏差,它有效地增加了位置信息,自我注意使用快速傅立叶变换。FastRPB独立于自注意机制,可以与原始自注意及其所有有效变体相结合。FastRPB具有O(N log(N))计算复杂性,需要O(N)内存w.r.t.输入序列长度N。
2022-02-23 cs.LG
Scalable bayesian shadow tomography for quantum property estimation with set transformers
Department of Electrical and Computer Engineering, Seoul National University(电气与计算机工程系,首尔国立大学)
本文提出了一种结合经典阴影协议和集合变换器的贝叶斯方法,用于高效估计量子态属性,显著降低均方误差。
2025-12-04 cs.LG quant-ph
Flatten Graphs as Sequences: Transformers are Scalable Graph Generators
Max Planck Institute of Biochemistry(马克斯·普朗克生物化学研究所)
AutoGraph利用Transformer模型将图扁平化为序列,实现高效可扩展的图生成,生成速度比扩散模型快100倍,并展示出良好的迁移能力。
2025-12-08 cs.LG stat.ML
Inducing Point Operator Transformer: A Flexible and Scalable Architecture for Solving PDEs
Alsemy
针对偏微分方程求解中算子学习架构的灵活性与可扩展性难题,提出基于注意力的诱导点算子Transformer(IPOT),通过潜在瓶颈解耦输入输出离散化与处理器,在多类基准和真实场景中取得优异性能。
2023-12-18 cs.AI cs.LG cs.NA
DART: Denoising Autoregressive Transformer for Scalable Text-to-Image Generation
Apple(苹果公司);The Chinese University of Hong Kong(香港中文大学);Mila(米拉(魁北克人工智能研究所))
本文提出DART,一种非马尔可夫框架下的去噪自回归Transformer,统一AR与扩散,无需图像量化,在文本到图像生成中实现高效可扩展的竞争性能。
2025-01-23 cs.CV cs.LG
MeshGraphNet-Transformer: Scalable Mesh-based Learned Simulation for Solid Mechanics
Keysight-UZ Chair of the National Strategy on Artificial Intelligence(Keysight-UZ人工智能国家战略主席);Aragon Institute of Engineering Research (I3A)(阿兰格工程研究所);Universidad de Zaragoza(萨拉戈萨大学)
MeshGraphNet-Transformer通过结合Transformer和MeshGraphNets,实现了高分辨率网格下的高效固体力学仿真,解决了传统方法在长距离信息传递上的不足。
2026-09-28 cs.LG
Tree Meets Transformer: A Hybrid Architecture for Scalable Power Allocation in Cell-Free Networks
Smart Networks and Services Joint Undertaking (SNS JU)(智能网络与服务联合体);Italian Ministry of Education and Research (MUR)(意大利教育与研究部);HORIZON-JU-SNS-2022 EU project TIMES(HORIZON-JU-SNS-2022 EU项目TIMES);European Union under the Italian National Recovery and Resilience Plan (NRRP) of NextGenerationEU(欧盟在意大利国家复苏与韧性计划(NRRP)下的NextGenerationEU)
本文提出了一种混合树-变换器架构,通过二进制树压缩用户特征并利用变换器编码器实现高效的可扩展功率分配,显著提升了大规模无线网络的性能。
2025-12-27 cs.LG cs.SY eess.SY
Transformer-Gather, Fuzzy-Reconsider: A Scalable Hybrid Framework for Entity Resolution
Department of Computer Engineering Ferdowsi University of Mashhad(费萨尔大学计算机工程系);Iranserver Inc.(Iranserver公司)
针对实体解析中的可扩展性、噪声鲁棒性和可靠性问题,提出一种结合预训练语言模型语义检索与模糊字符串匹配句法验证的混合框架,在真实任务中实现高召回率并支持CPU部署。
2025-10-24 cs.AI cs.DB cs.LG
Scalable Unit Harmonization in Medical Informatics via Bayesian-Optimized Retrieval and Transformer-Based Re-ranking
Data Science & Artificial Intelligence, Biopharma R&D(数据科学与人工智能、生物制药研发);AstraZeneca(阿斯利康)
针对大规模临床数据集单位不一致阻碍数据互操作的问题,提出融合BM25、句子嵌入、贝叶斯优化与Transformer重排序的多阶段单位统一流水线,在75亿条记录的数据集上取得优异检索匹配性能,可高效减少人工成本、支撑跨机构医疗研究。
2025-09-05 cs.LG
Scalable Peptide Design via Memory-Efficient Equivariant Transformer
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Department of Chemistry, Tsinghua University(清华大学化学系)
提出内存高效等变变压器(MEET),通过线性内存缩放和几何特征改进,实现全原子肽的序列与结构协同设计,在生成质量、结合亲和力和多样性上超越现有方法。
2026-06-26 cs.LG
Scalable Numerical Embeddings for Multivariate Time Series: Enhancing Healthcare Data Representation Learning
National Taiwan University (NTU)(国立台湾大学);NTU Hospital(国立台湾大学附属医院)
针对多元时间序列缺失值问题,提出SCANE框架与SUMMIT模型,通过独立标记特征值绕过插补,在三个EHR数据集上超越现有方法。
2024-05-26 cs.AI cs.LG
From Features to Transformers: Redefining Ranking for Scalable Impact
LiGR通过改进的Transformer架构实现了大规模排序系统的突破,淘汰了传统特征工程,验证了排序系统的扩展定律,并提升了多样性。
2026-02-08 cs.LG
DeepGate3: Towards Scalable Circuit Representation Learning
The Chinese University of Hong Kong(香港中文大学)
DeepGate3通过结合GNN与Transformer及池化机制,并引入多种监督任务,解决了电路表示学习中GNN模型的可扩展性瓶颈,显著提升了门级与子电路表示能力。
2024-07-15 cs.AI cs.LG
Scalable In-Context Reinforcement Learning with Recurrent Algorithm Distillation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出循环算法蒸馏(RAD),通过压缩历史为固定大小潜在记忆,在显著减小上下文窗口的同时达到与标准AD相当的性能,实现可扩展的上下文强化学习。
2026-09-29 cs.LG
Learning to Focus: Focal Attention for Selective and Scalable Transformers
AWS AI Labs(AWS人工智能实验室)
本文提出 Focal Attention,通过控制 softmax 温度锐化注意力分布,使 Transformer 更聚焦于相关 token,在减少 42% 参数或 33% 训练数据的情况下保持同等准确率,并在长上下文任务上取得 17% 至 82% 的相对提升。
2025-11-10 cs.CL cs.LG
xTrimoGene: An Efficient and Scalable Representation Learner for Single-Cell RNA-Seq Data
BioMap Research(BioMap研究院);Tsinghua University(清华大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对超5000万条scRNA-seq数据难以用经典transformer训练的问题,提出非对称编码器-解码器模型xTrimoGene,利用稀疏性将FLOPs降低1-2个数量级,并在细胞类型注释、扰动预测和药物组合预测等任务上取得SOTA表现。
2024-02-24 cs.AI cs.LG q-bio.GN
ARGUS: Attention-Guided Transformers for Scalable Person Identification Using Wi-Fi Telemetry
本文提出Argus系统,通过注意力引导Transformer处理Wi-Fi CSI实现无设备被动人员识别,在154人数据集上获高准确率,同时大幅降低计算量,还在多用户基准上表现优异并揭示部署限制。
2026-08-18 cs.AI cs.CV cs.LG
Foldable SuperNets: Scalable Merging of Transformers with Different Initializations and Tasks
Electrical and Computer Engineering Department, Technion(技术学院电子与计算机工程系);Habana Labs – An Intel company(英特尔旗下Habana实验室)
本文提出 FS-Merge 方法,通过训练包含冻结原始模型权重的 SuperNet 并进行折叠,解决了不同初始化和任务下 Transformer 的合并难题,在低数据场景下取得 SOTA 结果。
2025-08-15 cs.LG
Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers
Google(谷歌);University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维)
Transformer模型在各种领域都取得了最先进的成果。然而,对训练注意力机制以学习远距离输入之间的复杂依赖关系的成本的关注继续增长。作为回应,利用学习到的注意力矩阵的结构和稀疏性的解决方案已经蓬勃发展。然而,涉及长序列的实际应用,例如生物序列分析,可能无法满足这些假设,从而排除了对这些模型的探索。为了解决这个问题,我们提出了一个新的Transformer架构,表演者,通过正交随机特征(FAVOR)的基础上快速注意。我们的机制在序列中的令牌数量上线性而不是二次地缩放,其特征在于次二次空间复杂度,并且不包含任何稀疏模式先验。此外,它提供了强有力的理论保证:无偏估计的注意矩阵和一致收敛。它还与预先训练的常规Transformers向后兼容。我们证明了它的有效性的蛋白质序列建模的挑战性任务,并提供详细的理论分析。
2020-10-01 cs.CL cs.LG stat.ML