PolyFormer: Scalable Node-wise Filters via Polynomial Graph Transformer
Renmin University of China(中国人民大学)
针对现有谱图神经网络滤波器灵活性不足及可扩展性受限的问题,提出基于注意力机制的可扩展节点级滤波器PolyAttn及模型PolyFormer,在保持高效的同时增强表达性,实验证明其性能优越且可处理亿级节点图。
2024-07-19 cs.LG
Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种分布式训练框架,通过自动选择和优化并行策略提升图变换器在大规模图上的可扩展性,实现3.8倍的加速和78%的内存节省。
2026-04-17 cs.AI cs.DC cs.LG
FairGP: A Scalable and Fair Graph Transformer Using Graph Partitioning
Dalian University of Technology(大连理工大学);University of South Australia(南澳大学);The University of New South Wales(新南威尔士大学);The University of Melbourne(墨尔本大学);RMIT University(皇家墨尔本理工大学)
FairGP通过图划分减少高阶节点敏感特征对低阶节点的偏差影响,并优化注意力机制,在降低计算复杂度的同时提升图Transformer的公平性,在多个数据集上优于现有方法。
2025-01-02 cs.LG stat.ML
PatchSTG: Scalable Spatiotemporal Graph Transformers for Traffic Forecasting on Irregular Sensor Networks
Portsmouth Abbey School(波特茅斯修道学校);CodingFuture (Shanghai) Education Technology Co., Ltd.(上海CodingFuture教育科技有限公司)
提出PatchSTG,通过地理信息将传感器划分为平衡的局部补丁,并采用双注意力编码器交替捕捉局部和全局依赖,实现计算复杂度从二次降至近线性,在不规则传感器网络上取得高效且稳定的交通预测性能。
2026-06-02 cs.AI cs.LG
AnchorGT: Efficient and Flexible Attention Architecture for Scalable Graph Transformers
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
AnchorGT提出一种基于$k$-支配节点集锚点的注意力架构,以几乎线性复杂度保留全局感受野,可灵活替换多种图Transformer模型中的注意力模块,在提升可扩展性和效率的同时保持甚至增强表达能力。
2024-05-06 cs.LG
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification
Shanghai Jiao Tong University(上海交通大学);Amazon Web Service(亚马逊云科技);Shanghai AI Lab(上海人工智能实验室)
针对图神经网络存在的过压缩、异配性等缺陷及传统方法二次复杂度的问题,提出基于核化Gumbel-Softmax算子的NodeFormer,实现线性复杂度的可扩展图结构学习,在大图节点分类和无图增强任务中表现优异。
2023-06-14 cs.AI cs.LG
FedGT: Federated Node Classification with Scalable Graph Transformer
University of Science and Technology of China(中国科学技术大学);Hong Kong University of Science and Technology(香港科技大学)
针对子图联邦学习中存在的跨子图连接缺失、子图异质性问题,本文提出可扩展的FedGT框架,通过混合注意力机制、基于最优传输的个性化聚合及本地差分隐私,在多数据集上实现了更优的节点分类性能。
2024-01-26 cs.LG
DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室);University of Oxford(牛津大学);Amazon Web Service(亚马逊云科技)
本文提出 DIFFormer,通过能量约束扩散过程建模实例间依赖并诱导可扩展 Transformer 编码器,在大规模图节点分类、半监督分类和时空预测等任务中取得优越性能。
2023-05-28 cs.AI cs.LG
Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning
University of Oxford(牛津大学);Massachusetts Institute of Technology(麻省理工学院);McMaster University(麦马斯特大学);Vector Institute(向量研究所);AITHYRA
本文提出SMPNNs,通过替代注意力机制,实现高效的大规模图表示学习,克服传统GNN的过平滑问题,提升性能。
2026-03-09 cs.LG
GEN: A Practical Alternative to Graph Transformers for Long-Range Graph Modeling
School of Computer Science & Cyberspace Science, Xiangtan University(计算机科学与网络空间科学学院,湘潭大学);Hunan University(湖南大学)
针对MPNN长程信息传播弱、图Transformer扩展性差的问题,提出结合边级与跳级自注意力、基于图消去算法避免重复计数的GEN,在长程图基准上性能优异且支持大图全批量训练。
2025-09-01 cs.LG
Scalable Property Valuation Models via Graph-based Deep Learning
Universidad de los Andes(洛斯安第斯大学);Facultad de Ingeniería y Ciencias Aplicadas(工程与应用科学学院);Instituto Sistemas Complejos de Ingeniería (ISCI)(复杂工程系统研究所);ESE Business School(ESE商学院);University of Chile(智利大学);School of Economics and Business(经济与商学院)
本文提出两种基于空间图和 transformer 图卷积的图神经网络估价模型,利用约20万套圣地亚哥房屋数据验证,显著提升了房价预测精度与建模可扩展性。
2024-05-10 cs.AI cs.LG
Scalable Diffusion Models with Transformers
UC Berkeley(加州大学伯克利分校);New York University(纽约大学)
我们探索一类新的扩散模型的基础上的Transformer架构。我们训练图像的潜空间扩散模型,用一个在潜在补丁上运行的Transformer代替常用的U-Net主干。我们分析了我们的扩散Transformer(DiTs)的可扩展性,通过镜头的前向通过复杂性测量的Gflops。我们发现,具有更高Gflops的DiT-通过增加Transformer深度/宽度或增加输入令牌的数量-始终具有较低的FID。除了具有良好的可扩展性外,我们最大的DiT-XL/2模型在类条件ImageNet 512 x512和256 x256基准测试中的表现优于所有先前的扩散模型,后者达到了最先进的FID 2.27。
2023-03-02 cs.CV cs.LG
Spectral Transform Forms Scalable Transformer
The University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学);The University of New South Wales(新南威尔士大学)
许多现实世界的关系系统,如社交网络和生物系统,包含动态交互。在学习动态图形表示时,必须使用时序信息和几何结构。主流工作通过消息传递网络实现拓扑嵌入(例如,GCN、GAT)。另一方面,时间演变通常经由存储器单元(例如,LSTM或GRU)在门机制中具有方便的信息过滤。然而,这样的设计由于过于复杂的编码而防止了大规模的输入序列。这项工作借鉴了自我注意的哲学,并提出了一个有效的基于频谱的神经单元,采用信息的长距离时间的相互作用。开发的光谱窗口单元(SWINIT)模型预测可扩展的动态图,保证效率。该架构由几个简单有效的计算块组成,这些计算块构成随机SVD,MLP和图Framelet卷积。SVD加MLP模块对动态图事件的长短期特征演化进行编码。小框架卷积中的快速小框架图变换嵌入了结构动力学。这两种策略增强了模型的可扩展性分析能力。特别地,迭代SVD近似将具有N条边和d条边特征的动态图的注意力的计算复杂性缩减为O(Nd \log(d)),并且小框架卷积的多尺度变换允许网络训练中的足够的可扩展性。我们的SWINIT在各种在线连续时间动态图学习任务上实现了最先进的性能,而与基线方法相比,其可学习参数的数量减少了7倍。
2021-11-15 cs.LG cs.SI
Scalable Transformer for PDE Surrogate Modeling
Carnegie Mellon University(卡内基梅隆大学)
本文提出FactFormer,利用轴向分解核积分与可学习投影降低高维PDE代理建模的注意力成本,并在二维Kolmogorov流和三维烟雾浮力模拟中验证其精度、效率与可扩展性。
2023-11-03 cs.LG
SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers
New York University(纽约大学)
本文提出SiT生成模型,基于DiT骨干网络,利用灵活的插值框架模块化研究动态传输生成模型的设计选择,在相同结构和参数下于ImageNet基准上全面超越DiT。
2024-09-23 cs.CV cs.LG
S$^2$Transformer: Scalable Structured Transformers for Global Station Weather Forecasting
Harbin Institute of Technology(哈尔滨工业大学);Swiss Data Science Center(瑞士数据科学中心)
针对全球站点天气预报中空间相关性建模不足的问题,提出S$^2$Transformer,通过空间结构化注意力块划分子图并传递消息,实现可扩展且结构化的多尺度时空预测,性能提升最高达16.8%。
2025-09-25 cs.LG physics.ao-ph
GIST: Gauge-Invariant Spectral Transformers for Scalable Graph Neural Operators
IBM Research(IBM研究院)
GIST通过限制注意力至高效近似频谱嵌入的成对内积,解决了不规则网格上神经算子的规范不变性与计算复杂性之间的矛盾,证明其在端到端O(N)复杂度下能估计精确的规范不变图核,并在多个基准上取得最佳性能。
2026-05-12 cs.LG
From block-Toeplitz matrices to differential equations on graphs: towards a general theory for scalable masked Transformers
Google Brain Robotics(谷歌大脑机器人部门);Columbia University(哥伦比亚大学);University of Cambridge(剑桥大学);University of Oxford(牛津大学);Google Research(谷歌研究院);The Alan Turing Institute(艾伦·图灵研究所);Google(谷歌)
在本文中,据我们所知,我们提供了第一种全面的方法,用于以可扩展的方式将各种掩蔽机制整合到Transformers架构中。我们表明,最近的结果线性因果注意(Choromanski等人,2021)和对数线性RPE-注意(Luo等人,2021)是这一一般机制的特例。然而,通过铸造的问题作为一个拓扑(基于图形)调制的未掩蔽的注意,我们得到了一些结果未知的,包括有效的d维RPE掩蔽和图形内核掩蔽。我们利用许多数学技术,从频谱分析,通过动态规划和随机游走的新算法解决图上的马尔可夫过程。我们提供了相应的实证评价。
2023-03-28 cs.AI cs.LG
Fast and scalable retrosynthetic planning with a transformer neural network and speculative beam search
SUPSI, IDSIA(SUPSI、IDSIA);Pfizer Research and Development(辉瑞研发);Institute for Digital Technologies for Personalized Healthcare(个性化医疗数字技术研究所);KAUST(王国立科技大学);Center for Generative AI(生成人工智能中心)
针对AI驱动的逆合成规划系统延迟高的问题,提出结合Medusa草稿策略的推测性束搜索,加速SMILES到SMILES Transformer,在相同时间限制下解决多26%至86%的分子,满足高通量筛选需求。
2025-08-02 cs.AI cs.LG
Prompt Tuning Decision Transformers with Structured and Scalable Bandits
Örebro University(奥雷布罗大学);King AI Labs, Microsoft Gaming(King AI实验室,微软游戏)
针对现有提示决策Transformer均匀采样轨迹提示未考虑信息性的问题,提出基于结构化可扩展老虎机的提示调优方法,实现线性缩放与高效奖励建模,理论与实验均验证其性能优于现有基线。
2025-10-01 cs.LG
Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers
Birchlabs, England, United Kingdom(英国英格兰Birchlabs实验室);Independent Researcher, Florida, United States(美国佛罗里达独立研究员)
本文提出Hourglass Diffusion Transformer,通过线性扩展像素数量实现高分辨率图像生成,无需传统高分辨率训练技术, 在ImageNet和FFHQ数据集上取得新突破。
2026-03-25 cs.AI cs.CV cs.LG
Scalable bayesian shadow tomography for quantum property estimation with set transformers
Department of Electrical and Computer Engineering, Seoul National University(电气与计算机工程系,首尔国立大学)
本文提出了一种结合经典阴影协议和集合变换器的贝叶斯方法,用于高效估计量子态属性,显著降低均方误差。
2025-12-04 cs.LG quant-ph
Flatten Graphs as Sequences: Transformers are Scalable Graph Generators
Max Planck Institute of Biochemistry(马克斯·普朗克生物化学研究所)
AutoGraph利用Transformer模型将图扁平化为序列,实现高效可扩展的图生成,生成速度比扩散模型快100倍,并展示出良好的迁移能力。
2025-12-08 cs.LG stat.ML
Tree Meets Transformer: A Hybrid Architecture for Scalable Power Allocation in Cell-Free Networks
Smart Networks and Services Joint Undertaking (SNS JU)(智能网络与服务联合体);Italian Ministry of Education and Research (MUR)(意大利教育与研究部);HORIZON-JU-SNS-2022 EU project TIMES(HORIZON-JU-SNS-2022 EU项目TIMES);European Union under the Italian National Recovery and Resilience Plan (NRRP) of NextGenerationEU(欧盟在意大利国家复苏与韧性计划(NRRP)下的NextGenerationEU)
本文提出了一种混合树-变换器架构,通过二进制树压缩用户特征并利用变换器编码器实现高效的可扩展功率分配,显著提升了大规模无线网络的性能。
2025-12-27 cs.LG cs.SY eess.SY
DART: Denoising Autoregressive Transformer for Scalable Text-to-Image Generation
Apple(苹果公司);The Chinese University of Hong Kong(香港中文大学);Mila(米拉(魁北克人工智能研究所))
本文提出DART,一种非马尔可夫框架下的去噪自回归Transformer,统一AR与扩散,无需图像量化,在文本到图像生成中实现高效可扩展的竞争性能。
2025-01-23 cs.CV cs.LG
Q-Transformer: Scalable Offline Reinforcement Learning via Autoregressive Q-Functions
Google DeepMind(谷歌DeepMind)
提出 Q-Transformer 方法,利用 Transformer 对离散化动作维度的 Q 值进行自回归序列建模,实现从大型离线数据集中训练多任务策略,在真实机器人操作任务上优于现有离线 RL 和模仿学习算法。
2023-10-17 cs.AI cs.LG cs.RO
FastRPB: a Scalable Relative Positional Encoding for Long Sequence Tasks
Moscow Institute of Physics and Technology(莫斯科物理技术学院);VK Lab(VK实验室);Tinkoff(Tinkoff公司)
Transformers在各个领域都取得了卓越的性能,包括NLP、CV、音频处理和图形分析。然而,他们没有规模以及长序列的任务,由于其二次复杂性w.r.t.输入长度。线性Transformers被提出来解决这个限制。然而,这些模型在长序列任务上的性能较弱。在本文中,我们探讨线性Transformer模型,重新思考他们的两个核心组成部分。首先,采用平移不变核函数SIKF对线性Transformer进行改进,在不损失速度的前提下提高了精度。其次,我们介绍了FastRPB,它代表快速相对位置偏差,它有效地增加了位置信息,自我注意使用快速傅立叶变换。FastRPB独立于自注意机制,可以与原始自注意及其所有有效变体相结合。FastRPB具有O(N log(N))计算复杂性,需要O(N)内存w.r.t.输入序列长度N。
2022-02-23 cs.LG
Scalable Communication for Multi-Agent Reinforcement Learning via Transformer-Based Email Mechanism
Tsinghua University(清华大学)
针对多智能体强化学习通信的可扩展性问题,提出基于Transformer的邮件机制框架,通过局部通信加消息链转发实现跨观测范围协作,在多基准测试中优于基线且智能体数量变化时无需重训。
2023-06-12 cs.AI cs.LG cs.MA
MeshGraphNet-Transformer: Scalable Mesh-based Learned Simulation for Solid Mechanics
Keysight-UZ Chair of the National Strategy on Artificial Intelligence(Keysight-UZ人工智能国家战略主席);Aragon Institute of Engineering Research (I3A)(阿兰格工程研究所);Universidad de Zaragoza(萨拉戈萨大学)
MeshGraphNet-Transformer通过结合Transformer和MeshGraphNets,实现了高分辨率网格下的高效固体力学仿真,解决了传统方法在长距离信息传递上的不足。
2026-09-28 cs.LG
Scalable Unit Harmonization in Medical Informatics via Bayesian-Optimized Retrieval and Transformer-Based Re-ranking
Data Science & Artificial Intelligence, Biopharma R&D(数据科学与人工智能、生物制药研发);AstraZeneca(阿斯利康)
针对大规模临床数据集单位不一致阻碍数据互操作的问题,提出融合BM25、句子嵌入、贝叶斯优化与Transformer重排序的多阶段单位统一流水线,在75亿条记录的数据集上取得优异检索匹配性能,可高效减少人工成本、支撑跨机构医疗研究。
2025-09-05 cs.LG
Scalable Peptide Design via Memory-Efficient Equivariant Transformer
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Department of Chemistry, Tsinghua University(清华大学化学系)
提出内存高效等变变压器(MEET),通过线性内存缩放和几何特征改进,实现全原子肽的序列与结构协同设计,在生成质量、结合亲和力和多样性上超越现有方法。
2026-06-26 cs.LG
Alternative positional encoding functions for neural transformers
Department of Computer Languages and Computer Science University of Málaga(计算机语言与计算机科学系马拉加大学);Department of Systems Engineering and Automation University of Málaga(系统工程与自动化系马拉加大学);ITIS Software. Universidad de Málaga(ITIS软件. 马拉加大学)
本文提出了一种替代的位置编码函数,以改进神经变换器的表现,实验显示其在某些情况下优于传统的正弦函数。
2025-12-22 cs.AI cs.LG
From Features to Transformers: Redefining Ranking for Scalable Impact
LiGR通过改进的Transformer架构实现了大规模排序系统的突破,淘汰了传统特征工程,验证了排序系统的扩展定律,并提升了多样性。
2026-02-08 cs.LG
Cascaded Transformer for Robust and Scalable SLA Decomposition via Amortized Optimization
Informatics Institute University of Amsterdam Amsterdam, The Netherlands(阿姆斯特丹大学信息学院)
Casformer通过摊销优化与Transformer序列建模,实现稳健且可扩展的SLA分解,提升网络自动化效率。
2026-01-17 cs.AI cs.LG cs.NE
Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers
Google(谷歌);University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维)
Transformer模型在各种领域都取得了最先进的成果。然而,对训练注意力机制以学习远距离输入之间的复杂依赖关系的成本的关注继续增长。作为回应,利用学习到的注意力矩阵的结构和稀疏性的解决方案已经蓬勃发展。然而,涉及长序列的实际应用,例如生物序列分析,可能无法满足这些假设,从而排除了对这些模型的探索。为了解决这个问题,我们提出了一个新的Transformer架构,表演者,通过正交随机特征(FAVOR)的基础上快速注意。我们的机制在序列中的令牌数量上线性而不是二次地缩放,其特征在于次二次空间复杂度,并且不包含任何稀疏模式先验。此外,它提供了强有力的理论保证:无偏估计的注意矩阵和一致收敛。它还与预先训练的常规Transformers向后兼容。我们证明了它的有效性的蛋白质序列建模的挑战性任务,并提供详细的理论分析。
2020-10-01 cs.CL cs.LG stat.ML
Scalable In-Context Reinforcement Learning with Recurrent Algorithm Distillation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出循环算法蒸馏(RAD),通过压缩历史为固定大小潜在记忆,在显著减小上下文窗口的同时达到与标准AD相当的性能,实现可扩展的上下文强化学习。
2026-09-29 cs.LG
Learning to Focus: Focal Attention for Selective and Scalable Transformers
AWS AI Labs(AWS人工智能实验室)
本文提出 Focal Attention,通过控制 softmax 温度锐化注意力分布,使 Transformer 更聚焦于相关 token,在减少 42% 参数或 33% 训练数据的情况下保持同等准确率,并在长上下文任务上取得 17% 至 82% 的相对提升。
2025-11-10 cs.CL cs.LG
Scalable Cross-Attention Transformer for Cooperative Multi-AP OFDM Uplink Reception
IETR - UMR CNRS 6164, CentraleSupélec(法国电子与信息技术研究所 - 法国国家科学研究中心联合实验室6164,中央理工-高等电力学院);Orange Research(Orange研究院)
本文提出一种可扩展的交叉注意力变换器,用于联合解码多协作接入点接收的上行OFDM信号,通过共享的接收器编码器和令牌级交叉注意力模块融合接收器,产生软对数似然比以提升解码性能。
2026-07-07 cs.IT cs.LG eess.SP
Magnetic Field Data Calibration with Transformer Model Using Physical Constraints: A Scalable Method for Satellite Missions, Illustrated by Tianwen-1
本文提出一种基于物理约束Transformer的磁场数据校准方法,以天问一号火星任务为例,将校准时间从数周缩短至分钟级,并提升数据准确性与物理一致性。
2025-03-12 astro-ph.EP astro-ph.IM cs.LG
PairConnect: A Compute-Efficient MLP Alternative to Attention
Rice University(莱斯大学)
Transformer模型在自然语言处理方面表现出了优越的性能。Transformer中的点积自我注意力使我们能够对单词之间的交互进行建模。然而,这种建模伴随着显著的计算开销。在这项工作中,我们重新审视了与Transformer相关的内存-计算权衡,特别是多头注意力,并显示了一个内存繁重但计算效率更高的替代方案Transformer。我们的建议,表示为PairConnect,多层感知器(MLP),模型的两两之间的相互作用,明确的两两词嵌入。因此,PairConnect用一个简单的嵌入查找代替了自点积。我们在数学上表明,尽管是一个MLP,我们的计算效率PairConnect严格比Transformer更有表现力。我们在语言建模任务上的实验表明,PairConnect可以实现与Transformer相当的结果,同时显著降低与推理相关的计算成本。
2021-06-15 cs.CL cs.LG
Voost: A Unified and Scalable Diffusion Transformer for Bidirectional Virtual Try-On and Try-Off
NXN Labs(NXN实验室);University of British Columbia(不列颠哥伦比亚大学)
本文提出Voost框架,用单个扩散Transformer统一建模虚拟试穿与试脱,通过双向监督和两种推理技术提升服装-身体对应关系建模,在多个基准上取得最优性能。
2025-11-05 cs.AI cs.CV cs.GR
$k$NN Attention Demystified: A Theoretical Exploration for Scalable Transformers
Boston University(波士顿大学)
本文为 $k$NN 注意力建立理论框架,将其重构为 softmax 期望,并利用惰性 Gumbel 采样和马尔可夫链估计提出次二次算法,实证验证了其在训练和推理中的效率优势。
2024-11-07 cs.DS cs.LG
MeshTok: Efficient Multi-Scale Tokenization for Scalable PDE Transformers
School of Mathematical Sciences, University of Science(科学学院,科学大学);Suzhou Institute for Advanced Research, University of Science(先进研究院,科学大学)
提出受自适应网格细化启发的MeshTok框架,通过多尺度分词化在统一Transformer中同时捕获粗粒度全局上下文和细粒度局部细节,改善PDE建模的效率-准确率权衡。
2026-06-03 cs.LG cs.NA math.NA
Foldable SuperNets: Scalable Merging of Transformers with Different Initializations and Tasks
Electrical and Computer Engineering Department, Technion(技术学院电子与计算机工程系);Habana Labs – An Intel company(英特尔旗下Habana实验室)
本文提出 FS-Merge 方法,通过训练包含冻结原始模型权重的 SuperNet 并进行折叠,解决了不同初始化和任务下 Transformer 的合并难题,在低数据场景下取得 SOTA 结果。
2025-08-15 cs.LG
Scalable GANs with Transformers
KAIST(韩国科学技术院)
本文通过紧凑变分自编码器潜在空间和纯Transformer架构,研究了生成对抗网络的可扩展性,并提出了轻量级中间监督和宽度自适应学习率调整来解决缩放时的失败模式,在ImageNet-256上以40个epoch达到2.96的FID。
2026-06-05 cs.AI cs.CV cs.LG
Rethinking Attention: Polynomial Alternatives to Softmax in Transformers
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究院,阿德莱德大学)
本文质疑softmax在transformer中的高性能是否源于对输入的概率分布,提出softmax的有效性在于其对注意力矩阵Frobenius范数的隐式正则化。通过探索多项式替代方案,理论分析显示某些多项式可有效替代softmax,保持强性能。
2026-03-13 cs.CV cs.LG stat.ML
S-Crescendo: A Nested Transformer Weaving Framework for Scalable Nonlinear System in S-Domain Representation
提出 S-Crescendo 嵌套 Transformer 框架,融合 S 域表示与神经算子,将高阶非线性网络仿真复杂度由 O(n^3) 降至 O(n),并在 1–10 阶网络上实现最高 0.99 的 R² 与 18 倍加速。
2025-05-17 cs.LG eess.SP
Scaling Transformers for Time Series Forecasting: Do Pretrained Large Models Outperform Small-Scale Alternatives?
Department of Computer and Information Science (IDA), REAL, AIICS, Linköping University, Sweden(计算机与信息科学系(IDA)、REAL、AIICS、利厄普大学,瑞典)
本文实证比较预训练大规模时间序列模型(如Moirai、TimeGPT)与传统小规模Transformer在多个基准上的表现,揭示预训练模型的优势与局限及其适用场景。
2025-06-24 cs.LG
HistoViT: Vision Transformer for Accurate and Scalable Histopathological Cancer Diagnosis
Department of Data Science and Mathematics, Embry-Riddle Aeronautical University(数据科学与数学系,埃姆布里-里德航空航天大学)
本研究提出基于Vision Transformer的深度学习框架HistoViT,通过简化的预处理管道处理组织病理学图像,在四个基准数据集上实现高准确率分类,验证了Transformer架构在数字病理学中的临床潜力。
2025-08-15 cs.CV cs.LG eess.IV
CipherPrune: Efficient and Scalable Private Transformer Inference
University of Central Florida(中佛罗里达大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Ant Research(蚂蚁集团研究院);Indiana University Bloomington(印第安纳大学伯明顿分校)
提出CipherPrune框架,通过加密令牌剪枝和多项式降低协议及网络优化,解决私有Transformer推理的效率与可扩展性问题,大幅降低执行开销。
2025-03-05 cs.CR cs.LG
STAR-VAE: A Scalable Latent-Variable Transformer for Controllable Molecular Generation
IBM Research(IBM研究院)
提出STAR-VAE框架,基于Transformer编码器-解码器与SELFIES表示,利用潜变量实现属性引导的可控分子生成,并通过LoRA高效微调,在多个基准上表现优异。
2026-09-23 cs.AI cs.LG q-bio.BM
Scalable Transformer for High Dimensional Multivariate Time Series Forecasting
Monash University(莫纳什大学);VinUniversity;Tymestack;University of Granada(格拉纳达大学)
本文针对高维多元时间序列预测中通道依赖模型性能下降的问题,提出可扩展Transformer模型STHD,通过关系矩阵稀疏化、ReIndex训练策略和二维Transformer捕捉通道依赖,在三个高维数据集上取得显著改进。
2024-08-08 cs.AI cs.IR cs.LG
FiTv2: Scalable and Improved Flexible Vision Transformer for Diffusion Model
Shanghai AI Laboratory(上海人工智能实验室);Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学);University of Sydney(悉尼大学);Tsinghua University(清华大学)
FiTv2通过将图像视为动态尺寸token序列,结合Query-Key归一化、AdaLN-LoRA、rectified flow调度器和Logit-Normal采样器等设计,实现了任意分辨率和宽高比的高效图像生成,收敛速度较FiT提升两倍。
2026-10-21 cs.LG
Inducing Point Operator Transformer: A Flexible and Scalable Architecture for Solving PDEs
Alsemy
针对偏微分方程求解中算子学习架构的灵活性与可扩展性难题,提出基于注意力的诱导点算子Transformer(IPOT),通过潜在瓶颈解耦输入输出离散化与处理器,在多类基准和真实场景中取得优异性能。
2023-12-18 cs.AI cs.LG cs.NA