The Devil is in the Detail: Simple Tricks Improve Systematic Generalization of Transformers
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA)
近年来,许多数据集被用来测试神经网络的系统泛化能力。同伴基线Transformers,通常使用标准任务的默认超参数进行训练,显示出显着失败。在这里,我们证明,通过重新访问模型配置的基本缩放嵌入,提前停止,相对位置嵌入,通用Transformer的变种,我们可以大大提高性能的Transformers的系统推广。我们报告了五个流行数据集的改进:SCAN,CFQ,PCFG,COGS和Mathematics数据集。我们的模型将PCFG生产率分割的准确性从50%提高到85%,将COGS的准确性从35%提高到81%。在SCAN上,相对位置嵌入在很大程度上减轻了EOS决策问题(Newman等人,2020年),产生100%的准确率的长度分裂与截止26。重要的是,这些模型之间的性能差异通常在IID数据分割上不可见。这就需要适当的泛化验证集来开发系统泛化的神经网络。我们公开发布代码以重现我们的结果。
2022-02-14 cs.AI cs.LG cs.NE
ST-LDM: A Universal Framework for Text-Grounded Object Generation in Real Images
Southeast University(东南大学);Univ Rennes(雷恩大学)
ST-LDM提出基于Swin-Transformer的通用框架,通过可变形多模态Transformer与全局感知自编码器,在无需训练的反向引导下提升扩散模型在文本引导对象生成中的空间定位能力。
2024-03-15 cs.CV
Masked-attention Mask Transformer for Universal Image Segmentation
Facebook AI Research (FAIR)(脸书人工智能研究院);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
图像分割是关于将具有不同语义的像素分组,例如,类别或实例成员资格,其中每个语义选择定义一个任务。虽然每个任务的语义不同,但目前的研究重点是为每个任务设计专门的架构。我们提出了掩蔽注意掩模Transformer(Mask2Former),一个新的架构能够解决任何图像分割任务(全景,实例或语义)。它的关键组成部分包括掩蔽注意力,它通过将交叉注意力约束在预测的掩蔽区域内来提取局部特征。除了将研究工作量减少至少三倍之外,它在四个流行的数据集上的表现明显优于最好的专业架构。最值得注意的是,Mask2Former为全景分割(COCO上为57.8 PQ)、实例分割(COCO上为50.1 AP)和语义分割(ADE 20 K上为57.7 mIoU)设定了最新的技术水平。
2022-06-15 cs.AI cs.CV cs.LG
Understanding Video Transformers via Universal Concept Discovery
York University(约克大学);Samsung AI Centre Toronto(三星多伦多人工智能中心);Toyota Research Institute(丰田研究所);Vector Institute(矢量研究所)
针对视频Transformer可解释性研究不足的问题,提出首个VTCD算法以无监督发现时空概念并排序其重要性,揭示了视频Transformer的通用推理机制,还可应用于细粒度动作识别等任务。
2024-04-10 cs.AI cs.CV cs.LG
Universal Algorithm-Implicit Learning
研究针对当前元学习方法局限性,引入理论框架定义实际通用性及算法显隐式学习。提出基于Transformer的TAIL算法,有随机投影等创新,在少样本基准测试中性能领先,能推广到未见领域和模态,处理更多类别任务且节省计算成本。
2026-07-08 cs.AI cs.CV cs.LG
Universal Graph Transformer Self-Attention Networks
Oracle Labs(甲骨文实验室);VinAI Research(VinAI研究院);Monash University(莫纳什大学)
我们引入了一个基于transformer的GNN模型,名为UGformer,来学习图形表示。特别是,我们提出了两种UGformer变体,其中第一种变体(于2019年9月发布)是在每个输入节点的一组采样邻居上利用Transformer,而第二种变体(于2021年5月发布)是在所有输入节点上利用Transformer。实验结果表明,第一个UGformer变体在归纳设置和无监督转换设置中的图分类的基准数据集上实现了最先进的精度;第二个UGformer变体获得了归纳文本分类的最先进的精度。代码可在以下网址获得:\url{https://github.com/daiquocnguyen/Graph-Transformer}。
2022-03-08 cs.CV cs.LG stat.ML
NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning
Xidian University(西安电子科技大学);Intellifusion(云天励飞);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出NAR-Former V2,一种融合GNN归纳能力的改进Transformer模型,用于通用神经网络表示学习,在延迟估计上显著超越NNLP,在精度预测上与最先进方法相当。
2023-10-16 cs.CV cs.LG
SATr: Slice Attention with Transformer for Universal Lesion Detection
University of Science and Technology of China(中国科学技术大学)
计算机断层扫描中的通用病灶检测(ULD)在计算机辅助诊断中起着至关重要的作用。多切片输入检测方法已经报告了有希望的ULD结果,该方法从多个相邻CT切片对3D上下文进行建模,但是这样的方法仍然难以在不同切片之间和每个单独切片内获得全局表示,因为它们仅使用基于卷积的融合操作。在本文中,我们提出了一种新的切片注意力Transformer(SATr)块,它可以很容易地插入到基于卷积的ULD骨干,形成混合网络结构。这种新形成的混合骨干可以通过Transformer块中的级联自注意模块更好地对长距离特征依赖性进行建模,同时仍然保持利用原始骨干中的卷积操作对局部特征进行建模的强大能力。五个国家的最先进的方法的实验表明,所提出的SATr块可以提供一个几乎免费的提高病变检测精度,而无需额外的超参数或特殊的网络设计。
2022-03-13 cs.AI cs.CV eess.IV
Pre-Trained Language Transformers are Universal Image Classifiers
University of Tartu(塔尔图大学);Sharif University of Technology(谢里夫理工大学);University of South Carolina(南卡罗来纳大学)
面部图像揭示了许多隐藏的个人特征,如年龄,性别,种族,健康,情绪和心理。了解这些特征将有助于将人们分为不同的属性。在本文中,我们提出了一种新的方法,使用预训练的Transformer模型进行图像分类。我们将预训练的Transformer应用于犯罪和非犯罪类别的面部图像的二进制分类。GPT-2的预训练的Transformer被训练成生成文本,然后被微调成对面部图像进行分类。在对图像进行微调的过程中,GT-2的大部分层在反向传播过程中被冻结,模型被冻结在预训练的Transformer(FPT)中。FPT作为一种通用的图像分类器,本文展示了FPT在人脸图像上的应用。我们还在加密图像上使用FPT进行分类。我们的FPT在原始面部图像和加密图像上都显示出很高的准确性。我们假设FPT的元学习能力是因为它的规模大,并通过理论和实验进行了大规模的训练。GPT-2训练一次生成一个单词token,通过自回归过程,强制重尾分布。然后FPT使用重尾属性作为其分类图像的元学习能力。我们的工作显示了一种方法,以避免偏见在机器分类的图像。FPT编码的世俗知识,因为一个文本的预训练,它使用在分类。由于增加了文本的上下文信息,减少了分类的统计误差。本文展示了使用加密数据进行分类的伦理维度。犯罪图像对跨边界共享很敏感,但加密在很大程度上避免了伦理问题。FPT在加密图像上表现出良好的分类准确率,为隐私保护机器学习的进一步…
2022-01-25 cs.AI cs.CV
The Missing Point in Vision Transformers for Universal Image Segmentation
ViT-P提出了一种无需预训练的两阶段分割框架,通过解耦掩码生成与分类,提升图像分割的准确性和效率。
2025-12-09 cs.AI cs.CV cs.LG
Medical Transformer: Universal Brain Encoder for 3D MRI Analysis
Korea University(高丽大学)
由于现实世界中训练数据驱动的深度学习模型的注释3D医学数据集有限,迁移学习在医学图像分析中受到了关注。现有的基于3D的方法已经将预训练的模型转移到下游任务中,仅用少量的训练样本就取得了令人满意的结果。然而,它们需要大量的参数来训练用于3D医学成像的模型。在这项工作中,我们提出了一种新的迁移学习框架,称为医疗Transformer,有效地建模三维体积图像的形式序列的二维图像切片。为了使3D形式的高级表示更好地赋予空间关系,我们采取了多视图方法,该方法利用了来自3D体积的三个平面的大量信息,同时提供参数有效的训练。为了构建一个普遍适用于各种任务的源模型,我们使用一个大规模的正常,健康的大脑磁共振成像(MRI)数据集,以自监督学习的方式对模型进行预训练,以屏蔽编码向量预测作为代理任务。我们的预训练模型在三个下游任务上进行评估:(i)脑疾病诊断,(ii)脑年龄预测,以及(iii)脑肿瘤分割,这些都是脑MRI研究中积极研究的。实验结果表明,我们的医疗Transformer优于最先进的迁移学习方法,有效地减少了高达约92%的分类参数的数量,
2021-04-28 cs.AI cs.CV
Universal Physics Simulation: A Foundational Diffusion Approach
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出首个通用物理模拟基础AI模型,利用草图引导的扩散Transformer直接从边界条件学习物理定律,无需先验方程编码,实现高精度稳态解生成与物理规律发现。
2025-07-13 cs.AI cs.CV cs.LG
A Universal Representation Transformer Layer for Few-Shot Image Classification
Mila(米拉研究所);Australian AI Institute, UTS(澳大利亚人工智能研究所,悉尼科技大学);McGill University(麦吉尔大学);Google Research, Brain Team(谷歌研究院,大脑团队)
Few-Shot分类的目标是在只有少量样本的情况下识别未见过的类别。我们考虑多域Few-Shot图像分类的问题,其中看不见的类和例子来自不同的数据源。这个问题已经引起了越来越多的关注,并激发了元数据集等基准的开发。在这种多域设置中的一个关键挑战是有效地集成来自不同训练域集合的特征表示。在这里,我们提出了一个通用表示Transformer(URT)层,该层通过动态重新加权和组合最合适的特定于域的表示,来进行元学习,以利用通用特征进行Few-Shot分类。在实验中,我们表明,URT设置一个新的国家的最先进的元数据集的结果。具体而言,与竞争方法相比,它在最多的数据源上实现了最高性能。我们分析了URT的变体,并呈现了注意力得分热图的可视化,该热图揭示了模型如何执行跨领域泛化。我们的代码可在https://github.com/liulu112601/URT上获得。
2020-09-02 cs.CV cs.LG stat.ML
Dynamic Universal Approximation Theory: The Basic Theory for Deep Learning-Based Computer Vision Models
The Hong Kong Polytechnic University(香港理工大学)
针对基于卷积神经网络和Transformer的计算机视觉模型存在的深层结构必要性、泛化能力等基础问题,该研究利用通用逼近定理为其提供理论基础,以从理论层面解释相关关键问题。
2024-11-29 cs.AI cs.CV
Universal Neural Architecture Space: Covering ConvNets, Transformers and Everything in Between
Department of Cybernetics FEE, Czech Technical University(控制系,捷克技术大学)
本文提出通用神经架构空间UniNAS,统一卷积网络与Transformer,并设计新搜索算法及标准化工具包,以发现优于手工设计的架构,推动NAS研究。
2025-10-07 cs.CV
Attention is all you need for Videos: Self-attention based Video Summarization using Universal Transformers
UC San Diego(加州大学圣地亚哥分校)
近年来,由于序列建模的进步,随着长短期记忆网络(LSTM)的复兴和门控递归单元(GRU)的引入,视频描述和摘要变得非常流行。现有的架构使用CNN提取时空特征,并利用GRU或LSTM对软注意力层的依赖关系进行建模。这些注意力层确实有助于关注最突出的特征并改进经常性单元,然而,这些模型受到经常性单元本身固有的缺陷的影响。Transformer模型的引入将序列建模领域推向了一个新的方向。在这个项目中,我们实现了一个基于transformer的视频描述模型,利用3D CNN架构,如C3D和双流I3D视频提取。我们还应用了某些降维技术,以保持模型的整体大小在一定范围内。最后,我们提出了我们的结果MSVD和ActivityNet数据集的单一和密集的视频描述任务分别。
2019-06-06 cs.CV
RUMPL: Ray-Based Transformers for Universal Multi-View 2D to 3D Human Pose Lifting
ICTEAM/ELEN, UCLouvain(ICTEAM/ELEN,乌尔克大学);EPFL(瑞士联邦理工学院)
RUMPL提出了一种基于变换器的3D姿态提升方法,通过引入3D射线表示实现多视角姿态估计的通用性和鲁棒性,显著提升了姿态提升的精度。
2025-12-17 cs.CV
Cloud Transformers: A Universal Approach To Point Cloud Processing Tasks
Samsung AI Center Moscow(三星莫斯科人工智能中心);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Yandex
我们提出了一个新的多功能构建块的深点云处理架构,同样适用于不同的任务。这个构建块将空间Transformers和多视图卷积网络的思想与二维和三维密集网格中标准卷积层的效率相结合。新的块通过多个平行的头进行操作,而每个头将各个点的特征表示可区分地光栅化到低维空间中,然后使用密集卷积来跨点传播信息。然后将各个头部的处理结果组合在一起,从而更新点特征。使用新的块,我们建立了区分(点云分割,点云分类)和生成(点云修复和基于图像的点云重建)任务的架构。由此产生的架构实现了这些任务的最先进的性能,展示了点云处理的新块的多功能性。
2021-10-03 cs.CV
Progressive Token Length Scaling in Transformer Encoders for Efficient Universal Segmentation
NEC Laboratories(NEC实验室);University of California, San Diego(加利福尼亚大学圣迭戈分校);Amazon AGI(亚马逊AGI);Atmanity Inc.(Atmanity公司)
提出PRO-SCALE策略,通过随编码器层渐进缩放令牌长度,在Mask2Former中减少约52%编码器计算量且性能不降,适用于通用分割并具扩展潜力。
2025-03-29 cs.CV
LUMA: Benchmarking Segmentation via a Lightweight Universal Mask Adapter
RPTU University Kaiserslautern-Landau(凯泽斯劳滕-兰道大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
提出轻量级通用掩码适配器(LUMA),一种与骨干无关的掩码Transformer头,通过廉价交叉注意力实现高精度分割,并基于此对20种骨干网络和11种预训练方案进行基准测试,发现高效token混合器未实现高效,预训练目标主导分割质量。
2026-10-27 cs.AI cs.CV cs.LG
Paying U-Attention to Textures: Multi-Stage Hourglass Vision Transformer for Universal Texture Synthesis
University of Michigan(密歇根大学);Adobe Research(奥多比研究院)
本文提出U型注意力视觉Transformer,通过分层沙漏主干网络在单次推理中实现通用纹理合成,兼顾全局结构与微观细节,并在随机和结构化纹理上取得更强的2倍合成效果。
2024-08-08 cs.CV cs.GR eess.IV
Layout Anything: One Transformer for Universal Room Layout Estimation
Nanjing University of Information Science and Technology(南京信息工程大学);Bangladesh University of Engineering and Technology(孟加拉国工程与技术大学)
Layout Anything通过整合任务条件查询和对比学习,提出了一种基于变换器的通用房间布局估计框架,实现了高速推理和高精度性能。
2025-12-02 cs.CV
Universal Polarization Transformations: Spatial programming of polarization scattering matrices using a deep learning-designed diffractive polarization transformer
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);California NanoSystems Institute (CNSI)(加州纳米系统研究所)
本研究提出一种基于深度学习设计的衍射偏振变换器,可在单个衍射体内实现大量空间编码的偏振散射矩阵,并通过太赫兹波段实验验证,为通用偏振控制及相关应用提供新方案。
2023-04-12 cs.CV physics.optics
SlowFormer: Universal Adversarial Patch for Attack on Compute and Energy Efficiency of Inference Efficient Vision Transformers
University of California, Davis(加州大学戴维斯分校)
本文提出 SlowFormer 通用对抗补丁,可迫使自适应高效 Vision Transformer 将推理计算和功耗提升至最高水平,并验证对抗训练只能部分缓解。
2023-10-04 cs.CV
Recurrence Meets Transformers for Universal Multimodal Retrieval
Department of Education and Humanities, University of Modena and Reggio Emilia(教育与人文学院, Modena and Reggio Emilia大学)
本文提出结合循环机制与Transformer的统一多模态检索模型ReT-2,其支持多模态查询,在M2KR等基准上达最优性能,推理更快、内存占用更低,还可提升下游任务表现。
2026-08-28 cs.AI cs.CL cs.CV
OneFormer: One Transformer to Rule Universal Image Segmentation
SHI Labs(SHI实验室);Picsart AI Research(Picsart人工智能研究院)
通用图像分割并不是一个新概念。在过去的几十年中,统一图像分割的尝试包括场景解析、全景分割以及最近的新全景架构。然而,这种全景架构并没有真正统一图像分割,因为它们需要在语义、实例或全景分割上单独训练以实现最佳性能。理想情况下,一个真正通用的框架应该只训练一次,并在所有三个图像分割任务中实现SOTA性能。为此,我们提出了OneFormer,这是一个通用的图像分割框架,它将分割与多任务训练一次设计相结合。我们首先提出了一个任务条件的联合训练策略,使训练的基础真理的每个领域(语义,实例,和全景分割)在一个单一的多任务训练过程。其次,我们引入了一个任务令牌来约束我们的模型,使我们的模型具有任务动态性,以支持多任务训练和推理。第三,我们建议在训练过程中使用查询文本对比损失来建立更好的任务间和类间区分。值得注意的是,我们的单个OneFormer模型在ADE20k、CityScapes和COCO上的所有三个分割任务中的性能都优于专门的Mask2Former模型,尽管后者在三个任务中的每一个上都进行了单独的训练,资源是前者的三倍。使用新的ConvNeXt和DiNAT主干,我们观察到更多的性能改进。我们相信OneFormer是使图像分割更加通用和可访问的重要一步。为了支持进一步的研究,我们在https://github.com/SHI-Labs/OneFormer上开源了我们的代码和模型。
2022-12-27 cs.CV
SnowFormer: Context Interaction Transformer with Scale-awareness for Single Image Desnowing
Jimei University(集美大学);Southwest University(西南大学)
由于积雪退化的多样性和复杂性,单帧图像去噪是一项具有挑战性的图像复原任务。由于现有技术不能理想地处理它,我们提出了一种新的Transformer,SnowFormer,它探索了有效的交叉注意力,以建立跨补丁的局部-全局上下文交互,并超越了现有的工作,采用本地操作员或香草Transformers。与现有的去噪方法和通用的图像复原方法相比,SnowFormer具有几个优点。首先,不同于最近的图像复原视觉Transformer中的多头自注意,SnowFormer结合了多头交叉注意力机制来执行尺度感知的雪查询和局部块嵌入之间的局部-全局上下文交互。其次,SnowFormer中的雪查询由查询生成器从聚合的尺度感知特征生成,这些特征富含潜在的干净线索,从而获得优异的恢复结果。第三,SnowFormer在六个合成和真实世界数据集上胜过先进的最先进的去噪网络和普遍的通用图像复原Transformers。代码在\url{https://github.com/Ephemeral182/SnowFormer}中发布。
2022-11-13 cs.CV
GiT: Towards Generalist Vision Transformer through Universal Language Interface
Peking University(北京大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));ETH Zurich(苏黎世联邦理工学院)
本文提出GiT,一种仅用普通ViT和通用语言接口统一多种视觉任务的通用视觉Transformer,在五个基准上联合训练并取得领先性能,缩小了视觉与语言的架构差距。
2024-03-14 cs.CV
DFormer: Diffusion-guided Transformer for Universal Image Segmentation
Tianjin University(天津大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Chongqing University(重庆大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出 DFormer,将通用图像分割建模为扩散去噪过程,通过含噪掩膜与像素特征及扩散解码器逐步预测掩膜,在全景、实例和语义分割任务上取得优于现有扩散方法的结果。
2023-06-08 cs.CV
UMMAFormer: A Universal Multimodal-adaptive Transformer Framework for Temporal Forgery Localization
Sichuan University(四川大学)
针对现有伪造检测多为完整视频二分类、工业适用性有限的问题,提出用于时间伪造定位的UMMAFormer框架,结合TFAA模块与PCA-FPN增强检测,构建TVIL数据集,在多个基准上取得SOTA性能。
2023-08-28 cs.CV cs.MM
TransMamba: Fast Universal Architecture Adaption from Transformers to Mamba
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Hong Kong Polytechnic University(香港理工大学);Zhuhai Campus of Sun Yat-sen University(中山大学珠海校区);University of Adelaide(阿德莱德大学);Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
TransMamba提出两阶段框架,利用Transformer预训练知识初始化Mamba架构,并通过自适应知识蒸馏,实现跨架构迁移,在多种任务上超越基线,加速Mamba模型训练。
2025-10-09 cs.CV
DATR: Domain-adaptive transformer for multi-domain landmark detection
University of Science and Technology of China(中国科学技术大学)
准确的解剖标志点检测在医学图像分析中起着越来越重要的作用。虽然现有的方法取得了令人满意的性能,他们大多是基于CNN和专用于一个单一的域说,与一个特定的解剖区域。在这项工作中,我们提出了一个通用的多域标志检测模型,利用Transformer建模长依赖关系,并开发了一个域自适应的Transformer模型,命名为DATR,这是训练的多个混合数据集从不同的解剖结构,并能够检测任何图像的标志,从这些解剖结构。提出的DATR具有三个主要特点:(i)它是第一个引入Transformer作为多解剖结构界标检测编码器的通用模型;(ii)我们设计了一个用于解剖结构感知界标检测的域自适应Transformer,它可以有效地扩展到任何其他Transformer网络;(iii)根据先前的研究,我们采用了一个轻量级的引导网络,它鼓励Transformer网络检测更准确的地标。我们在三个广泛使用的X射线数据集上进行界标检测实验,这些数据集共有1,588张图像和62个界标,包括三种不同的解剖结构(头部,手部和胸部)。实验结果表明,我们提出的DATR实现了国家的最先进的性能,大多数指标和行为远远优于任何以前的卷积为基础的模型。代码将公开发布。
2022-03-12 cs.CV
Comprehensive Information Bottleneck for Unveiling Universal Attribution to Interpret Vision Transformers
Dept. of Artificial Intelligence, Korea University, Seoul, Korea(人工智能系,韩国大学)
本文提出综合信息瓶颈CoIBA,通过在多个目标层间共享参数化阻尼比来估计综合信息并补充被过度压缩的决策线索,从而提升视觉Transformer特征归因的忠实性。
2025-07-06 cs.CV
Mask2Anomaly: Mask Transformer for Universal Open-set Segmentation
Politecnico di Torino(都灵理工大学)
提出基于掩码分类的 Mask2Anomaly 框架,通过全局掩码注意力、对比学习、掩码细化和未知实例挖掘等技术,联合解决异常分割、开集语义与全景分割,并在多个基准上取得 SOTA 结果。
2023-09-12 cs.CV
A Universal Latent Fingerprint Enhancer Using Transformers
Michigan State University(密歇根州立大学)
本文提出 ULPrint,一种结合 UNet、MiT SegFormer-B5、空洞卷积与引导融合的两步潜在指纹增强方法,显著提升多个数据库上的闭集识别准确率。
2023-05-31 cs.CV
PLUTO: Pathology-Universal Transformer
PathAI(派斯艾公司)
本研究提出轻量级病理基础模型PLUTO,在1.95亿图像块数据上预训练,通过任务适配头支持多尺度病理任务,在多基准测试中性能比肩或超越更大规模的同类模型,为病理图像通用嵌入分析提供了方向。
2024-05-13 cs.CV eess.IV
UniPR-3D: Towards Universal Visual Place Recognition with Visual Geometry Grounded Transformer
Shanghai Jiao Tong University(上海交通大学);University of Zaragoza(萨拉戈萨大学);University of Macau(澳门大学)
本文提出UniPR-3D,首个融合多视角信息的视觉位置识别架构,通过3D tokens与2D tokens联合描述,提升跨视角推理与泛化能力,实验表明其优于单多视角基线。
2026-06-29 cs.CV
Uni-SMART: Universal Science Multimodal Analysis and Research Transformer
DP Technology(度势科技);AI for Science Institute, Beijing(北京人工智能科学研究院)
针对科学文献中表格、图表和分子等多模态内容难以被文本型 LLM 理解的问题,本文提出 Uni-SMART,并在多领域定量评估及专利、图表应用中验证其优越性能。
2024-06-15 cs.CL cs.CV
UniMiSS: Universal Medical Self-Supervised Learning via Breaking Dimensionality Barrier
The University of Adelaide(阿德莱德大学);Northwestern Polytechnical University(西北工业大学)
自监督学习(SSL)为医学图像分析提供了巨大的机会,而医学图像分析以其缺乏注释而闻名。然而,由于其高成像成本和隐私限制,聚合大量(未标记)3D医学图像(如计算机断层扫描(CT))仍然具有挑战性。在本文中,我们主张引入丰富的2D图像,如胸部X光片,以弥补3D数据的不足,旨在建立一个通用的医学自我监督表示学习框架,称为UniMiSS。下面的问题是如何打破维度障碍,\ie,使其能够执行SSL与2D和3D图像?为了实现这一点,我们设计了一个金字塔U型医用Transformer(MiT)。它由可切换贴片嵌入(SPE)模块和Transformers组成。SPE模块根据输入维度自适应地切换到2D或3D面片嵌入。嵌入的面片将转换为序列,而不考虑其原始尺寸。Transformers以序列到序列的方式对长期依赖关系进行建模,从而使UniMiSS能够从2D和3D图像中学习表示。以MiT为骨干,我们以自蒸馏的方式执行UniMiSS。我们对六个3D/2D医学图像分析任务进行了昂贵的实验,包括分割和分类。结果表明,所提出的UniMiSS在各种下游任务上都取得了令人满意的性能,大大优于ImageNet预训练和其他高级SSL同行。代码可从\def \UrlFont{\rm\small\ttfamily} \url{https://github.com/YtongXie/UniMiSS-code}获得。
2022-08-16 cs.CV
Expression Prompt Collaboration Transformer for Universal Referring Video Object Segmentation
Hunan University(湖南大学);Changsha University of Science and Technology(长沙理工大学)
针对A-VOS和R-VOS任务中交互灵活性与定位精度难以平衡的问题,提出通用架构EPCFormer,通过EA机制对齐音频文本、EVA模块实现多模态深度交互,在两项任务上均取得SOTA结果。
2025-01-17 cs.CV eess.AS eess.IV
URoPE: Universal Relative Position Embedding across Geometric Spaces
Applied Intuition(应用直觉);University of California, Berkeley(加州大学伯克利分校)
URoPE扩展了RoPE,使模型能在不同视角或维度的几何空间中处理位置信息,适用于多任务如视图合成、3D检测等,提升模型在几何推理中的表现。
2026-07-01 cs.CV
ClusterFormer: Clustering As A Universal Visual Learner
Rochester Institute of Technology(罗切斯特理工学院);University of Florida(佛罗里达大学);Meta AI;University of Rochester(罗切斯特大学);Zhejiang University(浙江大学)
本文提出基于聚类与Transformer的通用视觉模型CLUSTERFORMER,通过循环交叉注意力聚类和特征分派设计,以不同聚类粒度处理多类视觉任务,在多个基准上性能优于专用架构,有望推动通用视觉模型范式转变。
2023-10-06 cs.CV
Cross-architecture universal feature coding via distribution alignment
Nanyang Technological University(南洋理工大学);Tencent Media Lab(腾讯媒体实验室);University of Science and Technology of China(中国科学技术大学)
针对现有特征编码多为架构专属、难以适配CNN与Transformer特征共存场景的问题,提出基于两步分布对齐的跨架构通用特征编码方法,在图像分类任务上实现了更优的码率-准确率权衡,为异构架构通用特征压缩迈出第一步。
2025-06-15 cs.CV cs.DC
Label-Efficient LiDAR Semantic Segmentation with 2D-3D Vision Transformer Adapters
Department of Computer Science, University of Freiburg(德国弗莱堡大学计算机科学系)
提出BALViT方法,利用冻结视觉模型结合距离视图和鸟瞰图LiDAR编码机制,通过2D-3D适配器实现标签高效的LiDAR语义分割,在小数据场景下优于现有方法。
2025-03-05 cs.CV