Tree Meets Transformer: A Hybrid Architecture for Scalable Power Allocation in Cell-Free Networks
Smart Networks and Services Joint Undertaking (SNS JU)(智能网络与服务联合体);Italian Ministry of Education and Research (MUR)(意大利教育与研究部);HORIZON-JU-SNS-2022 EU project TIMES(HORIZON-JU-SNS-2022 EU项目TIMES);European Union under the Italian National Recovery and Resilience Plan (NRRP) of NextGenerationEU(欧盟在意大利国家复苏与韧性计划(NRRP)下的NextGenerationEU)
本文提出了一种混合树-变换器架构,通过二进制树压缩用户特征并利用变换器编码器实现高效的可扩展功率分配,显著提升了大规模无线网络的性能。
2025-12-27 cs.LG cs.SY eess.SY
FastRPB: a Scalable Relative Positional Encoding for Long Sequence Tasks
Moscow Institute of Physics and Technology(莫斯科物理技术学院);VK Lab(VK实验室);Tinkoff(Tinkoff公司)
Transformers在各个领域都取得了卓越的性能,包括NLP、CV、音频处理和图形分析。然而,他们没有规模以及长序列的任务,由于其二次复杂性w.r.t.输入长度。线性Transformers被提出来解决这个限制。然而,这些模型在长序列任务上的性能较弱。在本文中,我们探讨线性Transformer模型,重新思考他们的两个核心组成部分。首先,采用平移不变核函数SIKF对线性Transformer进行改进,在不损失速度的前提下提高了精度。其次,我们介绍了FastRPB,它代表快速相对位置偏差,它有效地增加了位置信息,自我注意使用快速傅立叶变换。FastRPB独立于自注意机制,可以与原始自注意及其所有有效变体相结合。FastRPB具有O(N log(N))计算复杂性,需要O(N)内存w.r.t.输入序列长度N。
2022-02-23 cs.LG
Cascaded Transformer for Robust and Scalable SLA Decomposition via Amortized Optimization
Informatics Institute University of Amsterdam Amsterdam, The Netherlands(阿姆斯特丹大学信息学院)
Casformer通过摊销优化与Transformer序列建模,实现稳健且可扩展的SLA分解,提升网络自动化效率。
2026-01-17 cs.AI cs.LG cs.NE
From Features to Transformers: Redefining Ranking for Scalable Impact
LiGR通过改进的Transformer架构实现了大规模排序系统的突破,淘汰了传统特征工程,验证了排序系统的扩展定律,并提升了多样性。
2026-02-08 cs.LG
On Learning the Transformer Kernel
ETH Zürich(苏黎世联邦理工学院);Google Research(谷歌研究院)
在这项工作中,我们介绍KERNELIZED Transformer,一个通用的,可扩展的,数据驱动的框架,学习内核功能的Transformers。我们的框架将Transformer内核近似为光谱特征图之间的点积,并通过学习光谱分布来学习内核。这不仅有助于端到端地学习通用内核,而且还将Transformers的时间和空间复杂度从二次降低到线性。我们表明,KERNELIZED Transformers实现性能媲美现有的高效Transformer架构,无论是在精度和计算效率。我们的研究还表明,内核的选择对性能有很大的影响,内核学习变体是固定内核Transformers的竞争替代品,无论是在长序列还是短序列任务中。
2022-07-21 cs.CL cs.LG
DeepSolo: Let Transformer Decoder with Explicit Points Solo for Text Spotting
Wuhan University(武汉大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
端到端文本定位旨在将场景文本检测和识别集成到一个统一的框架中。如何处理好这两个子任务之间的关系,是设计高效侦察员的关键。虽然基于transformer的方法消除了启发式后处理,但它们仍然存在子任务之间的协同问题和低训练效率。在本文中,我们提出了DeepSolo,这是一个简单的类似DETR的基线,可以让一个带有显式点Solo的解码器同时进行文本检测和识别。从技术上讲,对于每个文本实例,我们将字符序列表示为有序点,并使用可学习的显式点查询对其进行建模。在通过单个解码器之后,点查询已经编码了必要的文本语义和位置,因此可以通过非常简单的预测头并行地进一步解码到文本的中心线、边界、脚本和置信度。此外,我们还引入了文本匹配标准,以提供更准确的监督信号,从而实现更有效的训练。在公共基准上的定量实验表明,DeepSolo优于以前的最先进的方法,并实现了更好的训练效率。此外,DeepSolo还兼容线注释,这需要比多边形少得多的注释成本。该代码可在https://github.com/ViTAE-Transformer/DeepSolo上获得。
2023-03-15 cs.CV
Factorizer: A Scalable Interpretable Approach to Context Modeling for Medical Image Segmentation
KU Leuven(鲁汶大学);Université Claude-Bernard Lyon 1(里昂第一大学);icometrix;KU Leuven Kulak(鲁汶大学库拉克校区)
具有U形架构的卷积神经网络(CNN)主导了医学图像分割,这对于各种临床目的至关重要。然而,卷积的固有局部性使得CNN无法充分利用全局上下文,这对于更好地识别某些结构至关重要,例如,脑损伤Transformers最近在视觉任务(包括语义分割)上证明了有前途的性能,这主要是因为它们能够对长距离依赖关系进行建模。然而,注意力的二次复杂性使得现有的基于transformer的模型仅在以某种方式降低图像分辨率之后才使用自注意力层,这限制了以更高分辨率捕获全局上下文的能力。因此,这项工作引入了一系列模型,称为Factorizer,它利用低秩矩阵分解的功能来构建端到端的分割模型。具体来说,我们提出了一个线性可扩展的方法来上下文建模,制定非负矩阵分解(NMF)作为一个可微层集成到一个U形架构。移位窗口技术还与NMF结合使用,以有效地聚合局部信息。因子分解器在准确性、可扩展性和可解释性方面与CNN和Transformers竞争,在BraTS数据集的脑肿瘤分割和ISLES 22数据集的中风病变分割上实现了最先进的结果。相对于CNN和Transformers,高度有意义的NMF分量为因子分解器提供了额外的可解释性优势。此外,我们的消融研究揭示了因式分解器的一个独特特征,即在不需要任何额外步骤的情况下,在不牺牲太多准确性的情况下,可以显著加快经过训练的因式分解器的推理速度。代码和模型可在https://g…
2022-12-13 cs.CV cs.LG eess.IV
Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers
Microsoft(微软公司)
针对Transformer推理中注意力操作随上下文长度平方增长的延迟问题,提出LeanAttention技术,利用在线softmax结合律和stream-K归约实现解码阶段注意力并行计算,显著提升长上下文下的推理速度。
2025-01-14 cs.AR cs.LG
Mamba for Scalable and Efficient Personalized Recommendations
Lirio AI Research(Lirio AI研究机构);Lirio, Inc.(Lirio公司)
提出FT-Mamba模型,用Mamba层替换FT-Transformer中的Transformer层处理表格数据,将计算复杂度降至线性,在三个数据集上实验证明其计算效率更优且推荐性能保持或提升。
2024-09-11 cs.IR cs.LG
Fast Multipole Attention: A Scalable Multilevel Attention Mechanism for Text and Images
University of Waterloo(滑铁卢大学)
本文受快速多极方法启发提出快速多极注意力FMA,通过多级可学习层次将自注意力复杂度降至O(n log n)或O(n),在语言和视觉任务上以更低内存达到或超越基线性能。
2025-09-18 cs.CL cs.LG
JetFormer: A Scalable and Efficient Transformer for Jet Tagging from Offline Analysis to FPGA Triggers
Imperial College London(帝国理工学院伦敦分校);California Institute of Technology(加州理工学院);SLAC National Accelerator Laboratory(SLAC国家加速器实验室)
JetFormer是一种高效的Transformer模型,适用于从离线分析到FPGA触发的喷注标记,通过优化实现高精度与低延迟的统一部署。
2026-01-23 cs.LG hep-ex
Spectral Transform Forms Scalable Transformer
The University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学);The University of New South Wales(新南威尔士大学)
许多现实世界的关系系统,如社交网络和生物系统,包含动态交互。在学习动态图形表示时,必须使用时序信息和几何结构。主流工作通过消息传递网络实现拓扑嵌入(例如,GCN、GAT)。另一方面,时间演变通常经由存储器单元(例如,LSTM或GRU)在门机制中具有方便的信息过滤。然而,这样的设计由于过于复杂的编码而防止了大规模的输入序列。这项工作借鉴了自我注意的哲学,并提出了一个有效的基于频谱的神经单元,采用信息的长距离时间的相互作用。开发的光谱窗口单元(SWINIT)模型预测可扩展的动态图,保证效率。该架构由几个简单有效的计算块组成,这些计算块构成随机SVD,MLP和图Framelet卷积。SVD加MLP模块对动态图事件的长短期特征演化进行编码。小框架卷积中的快速小框架图变换嵌入了结构动力学。这两种策略增强了模型的可扩展性分析能力。特别地,迭代SVD近似将具有N条边和d条边特征的动态图的注意力的计算复杂性缩减为O(Nd \log(d)),并且小框架卷积的多尺度变换允许网络训练中的足够的可扩展性。我们的SWINIT在各种在线连续时间动态图学习任务上实现了最先进的性能,而与基线方法相比,其可学习参数的数量减少了7倍。
2021-11-15 cs.LG cs.SI
POIFormer: A Transformer-Based Framework for Accurate and Scalable Point-of-Interest Attribution
University of Southern California(美国南加州大学)
针对GPS误差和城市POI高密度导致归因困难的问题,提出基于Transformer的POIFormer框架,联合建模时空、上下文与行为特征,在真实数据集上显著提升了归因准确率。
2025-07-12 cs.AI cs.LG
Scalable Neural Decoders for Practical Real-Time Quantum Error Correction
Department of Statistics and Data Science(统计与数据科学系);Yonsei University(延世大学);Department of Applied Statistics(应用统计学系);Department of Quantum Information(量子信息系)
针对Transformer神经解码器复杂度高、实时性不足的问题,本文提出基于Mamba状态空间模型的解码器,复杂度降至O(d²),在模拟实时场景中错误阈值达0.0104,优于Transformer的0.0097,兼顾速度与精度。
2025-10-26 cs.LG quant-ph
Scalable-Softmax Is Superior for Attention
Institute for Physics of Intelligence, The University of Tokyo(东京大学智能物理研究所)
针对Transformer中Softmax导致长上下文注意力分布扁平化的问题,提出Scalable-Softmax(SSMax),显著提升模型预训练收敛速度、长上下文性能及长度泛化能力。
2025-01-31 cs.AI cs.CL cs.LG
InAttention: Linear Context Scaling for Transformers
针对Transformer自注意力机制显存随上下文长度二次增长的问题,提出InAttention机制替换自注意力,实现推理时显存线性增长,可在消费级GPU处理长序列,微调能低成本扩展上下文长度,为长距离依赖建模提供可扩展方案。
2024-10-09 cs.LG
xTrimoGene: An Efficient and Scalable Representation Learner for Single-Cell RNA-Seq Data
BioMap Research(BioMap研究院);Tsinghua University(清华大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对超5000万条scRNA-seq数据难以用经典transformer训练的问题,提出非对称编码器-解码器模型xTrimoGene,利用稀疏性将FLOPs降低1-2个数量级,并在细胞类型注释、扰动预测和药物组合预测等任务上取得SOTA表现。
2024-02-24 cs.AI cs.LG q-bio.GN
PDE-Transformer: Efficient and Versatile Transformers for Physics Simulations
提出PDE-Transformer,通过结合扩散transformer改进与物理通道单独嵌入为时空令牌的机制,在16种PDE数据集及下游任务中优于现有视觉transformer和物理基础模型。
2025-05-30 cs.LG
Angel-PTM: A Scalable and Economical Large-scale Pre-training System in Tencent
Peking University(北京大学);Tencent Inc.(腾讯公司);Carnegie Mellon University(卡内基梅隆大学)
近年来,大规模预训练模型取得了前所未有的成就,特别是Transformer模型。腾讯公司的许多产品和服务,例如微信,QQ和腾讯广告,已经被选择来获得预先训练的模型的力量。在这项工作中,我们介绍了Angel-PTM,这是一个高效的深度学习系统,旨在预训练和微调Transformer模型。Angel-PTM可以有效地训练具有层次存储的超大规模模型。Angel-PTM的关键设计是通过页面抽象和协调计算、数据移动和通信的统一调度方法进行细粒度存储管理。此外,Angel-PTM支持SSD存储的极端模型扩展,并实现无锁更新机制以解决SSD I/O带宽瓶颈。实验结果表明,Angel-PTM在最大模型规模方面优于现有系统高达114.8%,在训练吞吐量方面则高达88.9%。此外,在GPT 3 - 175 B和T5-MoE-1.2T模型上使用数百个GPU的实验验证了Angel-PTM的强大可扩展性。
2023-03-06 cs.DC cs.LG
DeepSolo++: Let Transformer Decoder with Explicit Points Solo for Multilingual Text Spotting
Wuhan University(武汉大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);Nanyang Technological University(南洋理工大学)
本文提出DeepSolo++,一种基于Transformer解码器和显式点查询的端到端多语言文本识别方法,同时处理检测、识别和脚本识别,性能优于现有方法且扩展性强。
2024-03-18 cs.CV
Scalable Diffusion Models with Transformers
UC Berkeley(加州大学伯克利分校);New York University(纽约大学)
我们探索一类新的扩散模型的基础上的Transformer架构。我们训练图像的潜空间扩散模型,用一个在潜在补丁上运行的Transformer代替常用的U-Net主干。我们分析了我们的扩散Transformer(DiTs)的可扩展性,通过镜头的前向通过复杂性测量的Gflops。我们发现,具有更高Gflops的DiT-通过增加Transformer深度/宽度或增加输入令牌的数量-始终具有较低的FID。除了具有良好的可扩展性外,我们最大的DiT-XL/2模型在类条件ImageNet 512 x512和256 x256基准测试中的表现优于所有先前的扩散模型,后者达到了最先进的FID 2.27。
2023-03-02 cs.CV cs.LG
SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers
New York University(纽约大学)
本文提出SiT生成模型,基于DiT骨干网络,利用灵活的插值框架模块化研究动态传输生成模型的设计选择,在相同结构和参数下于ImageNet基准上全面超越DiT。
2024-09-23 cs.CV cs.LG
DART: Denoising Autoregressive Transformer for Scalable Text-to-Image Generation
Apple(苹果公司);The Chinese University of Hong Kong(香港中文大学);Mila(米拉(魁北克人工智能研究所))
本文提出DART,一种非马尔可夫框架下的去噪自回归Transformer,统一AR与扩散,无需图像量化,在文本到图像生成中实现高效可扩展的竞争性能。
2025-01-23 cs.CV cs.LG
ScalableViT: Rethinking the Context-oriented Generalization of Vision Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);ByteDance Inc.(字节跳动公司)
香草自我注意力机制内在地依赖于预定义的和稳定的计算维度。这种不灵活性限制了它具有面向上下文的概括能力,而这种概括能力可以带来更多的上下文线索和全局表示。为了缓解这个问题,我们提出了一个可扩展的自我注意力(SSA)机制,利用两个缩放因子来释放查询,键和值矩阵的维度,同时将它们与输入解除绑定。这种可扩展性获得了面向上下文的泛化能力,并增强了对象敏感性,从而使整个网络在准确性和成本之间处于更有效的权衡状态。此外,我们提出了一个交互式的基于窗口的自我注意力(IWSA),它建立了非重叠区域之间的相互作用,重新合并独立的价值令牌和聚合空间信息从相邻的窗口。通过交替堆叠SSA和IWSA,可扩展视觉Transformer(ScalableViT)在通用视觉任务中实现了最先进的性能。例如,ScalableViT-S在ImageNet-1 K分类上比Twins-SVT-S高1.4%,比Swin-T高1.8%。
2022-07-17 cs.AI cs.CV
HSViT: Horizontally Scalable Vision Transformer
School of IT, Deakin University(迪肯大学信息技术学院);IISRI, Deakin University(迪肯大学智能系统与图像研究学院)
针对ViT依赖预训练且参数多的问题,提出HSViT,通过引入图像级特征嵌入保留归纳偏置,实现免预训练并提升小数据集性能,同时设计水平可扩展架构支持多设备协作,实验显示top-1准确率显著提升。
2024-07-16 cs.CV
LINEA: Fast and Accurate Line Detection Using Scalable Transformers
The University of New Mexico(新墨西哥大学)
本文提出LINEA,一种基于可变形直线注意力(DLA)的Transformer直线检测方法,无需大型数据集预训练,在分布外测试中速度更快且sAP精度更高。
2025-05-22 cs.CV
Gated Recursive Fusion: A Stateful Approach to Scalable Multimodal Transformers
本文提出门控递归融合(GRF)架构,以线性复杂度O(n)的顺序递归方式实现多模态交叉注意力融合,并通过GRU启发的门控融合单元动态筛选特征,在CMU-MOSI上取得与复杂基线相当的性能。
2025-07-01 cs.AI cs.CL cs.CV
A Data-scalable Transformer for Medical Image Segmentation: Architecture, Model Efficiency, and Benchmark
Rutgers University(罗格斯大学);SenseBrain Research(商汤研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出用于3D医学图像分割的数据可扩展Transformer(MedFormer),通过引入归纳偏置、线性复杂度分层注意力和多尺度特征融合,无需预训练即可在七个多模态公开数据集上优于CNN和现有视觉Transformer。
2023-04-05 cs.CV eess.IV
Scalable GANs with Transformers
KAIST(韩国科学技术院)
本文通过紧凑变分自编码器潜在空间和纯Transformer架构,研究了生成对抗网络的可扩展性,并提出了轻量级中间监督和宽度自适应学习率调整来解决缩放时的失败模式,在ImageNet-256上以40个epoch达到2.96的FID。
2026-06-05 cs.AI cs.CV cs.LG
Voost: A Unified and Scalable Diffusion Transformer for Bidirectional Virtual Try-On and Try-Off
NXN Labs(NXN实验室);University of British Columbia(不列颠哥伦比亚大学)
本文提出Voost框架,用单个扩散Transformer统一建模虚拟试穿与试脱,通过双向监督和两种推理技术提升服装-身体对应关系建模,在多个基准上取得最优性能。
2025-11-05 cs.AI cs.CV cs.GR
HistoViT: Vision Transformer for Accurate and Scalable Histopathological Cancer Diagnosis
Department of Data Science and Mathematics, Embry-Riddle Aeronautical University(数据科学与数学系,埃姆布里-里德航空航天大学)
本研究提出基于Vision Transformer的深度学习框架HistoViT,通过简化的预处理管道处理组织病理学图像,在四个基准数据集上实现高准确率分类,验证了Transformer架构在数字病理学中的临床潜力。
2025-08-15 cs.CV cs.LG eess.IV
InstantCharacter: Personalize Any Characters with a Scalable Diffusion Transformer Framework
Hunyuan, Tencent(腾讯混元);InstantX Team(InstantX团队)
针对现有角色定制方法泛化能力弱、文本可控性差等问题,提出基于扩散Transformer的InstantCharacter框架,通过可扩展适配器和千万级双结构数据集,实现开放域高保真个性化,树立角色驱动图像生成新基准。
2025-04-16 cs.CV
AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
预训练视觉Transformer(ViTs)在视觉识别中取得了巨大的成功。下面的场景是使ViT适应各种图像和视频识别任务。适应是具有挑战性的,因为繁重的计算和存储器存储。每个模型都需要一个独立完整的微调过程来适应不同的任务,这限制了它在不同视觉领域的可移植性。为了解决这一挑战,我们提出了一种有效的自适应方法,Transformer,即AdaptFormer,它可以适应预先训练的ViT到许多不同的图像和视频任务有效。它具有比现有技术更有吸引力的几个优点。首先,AdaptFormer引入了轻量级模块,仅向ViT添加不到2%的额外参数,同时能够在不更新其原始预训练参数的情况下增加ViT的可移植性,在动作识别基准上显着优于现有的100%完全微调模型。其次,它可以在不同的Transformers中即插即用,并可扩展到许多视觉任务。最后,在5个图像和视频数据集上的大量实验表明,AdaptFormer在目标域中显著提高了ViTs。例如,当仅更新1.5%的额外参数时,与Something-Something~v2和HMDB 51上完全微调的模型相比,它分别实现了约10%和19%的相对改进。代码可在https://github.com/ShoufaChen/AdaptFormer上获得。
2022-10-15 cs.CV
Energy-Based Transformers are Scalable Learners and Thinkers
UVA(弗吉尼亚大学);UIUC(伊利诺伊大学香槟分校);Amazon GenAI(亚马逊人工智能);Stanford University(斯坦福大学);Harvard University(哈佛大学)
本文提出基于能量的Transformer(EBTs),通过无监督学习验证输入与候选预测的兼容性并将预测转化为能量最小化优化,在文本和视觉任务上展现出比Transformer++更快的扩展速度、更强的推理性能与更好的泛化能力。
2025-07-02 cs.AI cs.CL cs.CV
Scalable Vision Transformers with Hierarchical Pooling
Monash University(莫纳什大学)
最近提出的视觉图像Transformers(ViT)与纯注意力的图像识别任务,如图像分类取得了可喜的成绩。然而,目前的ViT模型的例行程序是在推理过程中保持一个完整长度的补丁序列,这是冗余的,缺乏层次表示。为此,我们提出了一个分层的视觉Transformer(HVT),逐步池的视觉令牌,以缩小序列长度,从而降低计算成本,类似于特征图下采样卷积神经网络(CNN)。它带来了一个很大的好处,我们可以增加模型的容量,通过缩放的深度/宽度/分辨率/补丁大小的尺寸,而不引入额外的计算复杂性,由于减少序列长度。此外,我们的经验发现,平均池视觉令牌包含更多的歧视性信息比单类令牌。为了证明我们的HVT的改进的可扩展性,我们进行了广泛的实验上的图像分类任务。在具有可比FLOP的情况下,我们的HVT在ImageNet和CIFAR-100数据集上的表现优于竞争基线。代码可在https://github.com/MonashAI/HVT上获得
2021-08-18 cs.CV
SynAgent: Generalizable Cooperative Humanoid Manipulation via Solo-to-Cooperative Agent Synergy
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Department of Automation, Tsinghua University(清华大学自动化系);College of Artificial Intelligence, Nanjing Forestry University(南京林业大学人工智能学院)
本文提出SynAgent框架,通过独狼到协作代理协同转移单agent人-物体交互技能,实现可扩展且物理合理的协作操作,实验显示其在协作模仿和轨迹条件控制方面优于现有基线。
2026-08-04 cs.CV cs.GR cs.RO
Siamese Vision Transformers are Scalable Audio-visual Learners
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出音视频孪生网络AVSiam,用单一共享ViT骨干同时处理音频和视觉输入,结合多比例随机掩码的对比预训练,在AudioSet和VGGSound上以更高参数效率取得有竞争力的分类与检索性能。
2024-03-28 cs.CV cs.SD eess.AS
ClothTransformer: Unified Latent-Space Transformers for Scalable Cloth Simulation
S-Lab, Nanyang Technological University, Singapore(新加坡南洋理工大学S实验室,南洋理工大学,新加坡);Feeling AI;University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学);Shanghai AI Laboratory(上海人工智能实验室)
提出ClothTransformer,通过将布料模拟重构为潜空间中的自回归序列建模,使用统一Transformer架构处理多种场景,实现比现有方法低4-9倍的误差,并引入可扩展潜空间公式和穿透自由数据集。
2026-07-23 cs.CV cs.GR
Stratified Knowledge-Density Super-Network for Scalable Vision Transformers
针对多ViT模型部署成本高的问题,本文提出分层知识密度超网络,通过WPAC集中知识、PIAD促进知识分层,可灵活提取不同尺寸子网络,性能优于现有压缩与扩展方法。
2025-11-12 cs.AI cs.CV cs.LG
PVTransformer: Point-to-Voxel Transformer for Scalable 3D Object Detection
Waymo Research(Waymo研究院)
本文提出PVTransformer,用注意力模块替代PointNet池化,解决点云3D检测中的信息瓶颈问题,在Waymo Open Dataset上以76.5 mAPH L2达到最先进性能。
2024-05-05 cs.CV
Scalable Diffusion Transformer for Conditional 4D fMRI Synthesis
Seoul National University(首尔国立大学);Brookhaven National Laboratory(布鲁赫斯旺国家实验室);Seoul National Laboratory(首尔国立实验室)
本文提出了一种可扩展的扩散变换器,用于条件4D fMRI合成,通过结合3D VQ-GAN和CNN-Transformer结构,实现了高精度的任务条件生成。
2025-11-28 cs.CV q-bio.NC
VistaFormer: Scalable Vision Transformers for Satellite Image Time Series Segmentation
University of Victoria(维多利亚大学)
本研究提出轻量级遥感图像语义分割模型VistaFormer,采用无位置自注意力与多尺度编解码结构,通过邻域注意力替换多头自注意力提升可扩展性,在两个作物分割基准上以更低运算量和参数实现了更优性能。
2024-09-13 cs.CV
Pixel-Level Residual Diffusion Transformer: Scalable 3D CT Volume Generation
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
提出像素级残差扩散Transformer(PRDiT),通过两阶段训练(局部MLP盲估计器分离低频结构+全局残差扩散Transformer建模高频残差)实现高保真3D CT体生成,在LIDC-IDRI和RAD-ChestCT数据集上优于现有方法。
2026-06-19 cs.CV eess.IV
Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer
DreamTech(梦工厂);Nanjing University(南京大学);University of Oxford(牛津大学)
本文提出原生3D生成模型Direct3D,包含D3D-VAE和D3D-DiT,通过半连续表面采样和融合三平面位置信息,实现无需多视角扩散或SDS优化的高质量图像到3D生成,确立了新的SOTA。
2024-06-01 cs.CV
STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer
S-Lab, Nanyang Technological University, Singapore(南洋理工大学S实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);WICT, Peking University(北京大学WICT学院);The University of Hong Kong(香港大学)
STream3R提出一种基于因果Transformer的流式3D重建方法,将点图预测重构为仅解码器问题,高效处理图像序列并泛化至动态场景,在多项基准上超越现有方法。
2025-08-14 cs.CV
DriveTransformer: Unified Transformer for Scalable End-to-End Autonomous Driving
Sch. of Computer Science & Sch. of Artificial Intelligence, Shanghai Jiao Tong University(计算机科学学院与人工智能学院,上海交通大学)
提出DriveTransformer框架,通过任务并行、稀疏表示和流式处理解决端到端自动驾驶中的累积误差与计算挑战,在Bench2Drive和nuScenes基准上达到SOTA。
2025-07-11 cs.CV cs.LG cs.RO
SCHEME: Scalable Channel Mixer for Vision Transformers
University of California, San Diego(加州大学圣地亚哥分校);Microsoft(微软公司)
提出SCHEME,用稀疏分块对角MLP替代密集MLP,结合训练时无参数CCA分支,推理时零额外成本,提升ViT性能,建立新帕累托前沿。
2025-05-24 cs.CV
Scalable Visual State Space Model with Fractal Scanning
vivo Mobile Communication Co., Ltd(维沃移动通信有限公司)
针对Transformer二次复杂度及现有SSM线性扫描序列化缺陷,提出分形扫描曲线序列化图像块,提升状态空间模型在图像分类、检测与分割任务中的性能。
2024-05-27 cs.CV
Self-supervised Vision Transformer are Scalable Generative Models for Domain Generalization
University of Bamberg(班贝格大学);xAILab
本文提出一种基于自监督Vision Transformer的生成式方法,通过合成多样组织病理学图像增强数据集,显著提升深度学习模型跨领域泛化能力,并在多个数据集上超越现有方法。
2024-07-03 cs.CV cs.LG eess.IV
ARGUS: Attention-Guided Transformers for Scalable Person Identification Using Wi-Fi Telemetry
本文提出Argus系统,通过注意力引导Transformer处理Wi-Fi CSI实现无设备被动人员识别,在154人数据集上获高准确率,同时大幅降低计算量,还在多用户基准上表现优异并揭示部署限制。
2026-08-18 cs.AI cs.CV cs.LG
LungEvaty: A Scalable, Open-Source Transformer-based Deep Learning Model for Lung Cancer Risk Prediction in LDCT Screening
Technical University of Munich (TUM)(慕尼黑技术大学);TUM University Hospital(慕尼黑技术大学医院);Imperial College London(伦敦帝国学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
LungEvaty是一种基于Transformer的深度学习模型,利用LDCT扫描预测肺癌风险,通过全肺输入和解剖学指导注意力实现高效且准确的预测。
2025-11-25 cs.AI cs.CV
SMART: Scalable Mesh-free Aerodynamic Simulations from Raw Geometries using a Transformer-based Surrogate Model
Jan Hagnberger;Mathias Niepert
提出SMART,一种无需模拟网格、仅使用几何点云预测任意查询位置物理量的神经代理模型,通过交叉层交互联合更新几何特征和物理场,性能媲美甚至超越依赖网格的方法。
2026-06-15 cs.AI cs.CV cs.LG
Multimodal Diffusion Transformer with Memory Bank for Scalable Long-Duration Talking Video Generation
South China University of Technology(南方科技大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing National Research Center for Information Science and Technology, Tsinghua University(北京信息科学研究中心,清华大学);Department of Automation, BNRist, Tsinghua University(清华大学自动化系,北京信息科学研究中心)
本文提出 LetsTalk 框架,通过多模态指导和内存库机制解决长时谈话视频生成中的质量、一致性、时间连贯性和计算效率问题,实验表明其在生成质量和效率上达到新水平。
2026-05-08 cs.CV
FlashVGGT: Efficient and Scalable Visual Geometry Transformers with Compressed Descriptor Attention
The Hong Kong University of Science and Technology(香港科学与技术大学)
本文提出FlashVGGT,通过压缩描述符注意力机制解决传统自注意力的可扩展性问题,实现高效多视角图像三维重建,实验表明其在精度和效率上优于VGGT。
2026-03-25 cs.CV