PatchRot: A Self-Supervised Technique for Training Vision Transformers
Arizona State University(亚利桑那州立大学);Georgia State University(佐治亚州立大学)
视觉Transformer需要大量的标记数据才能胜过卷积神经网络。然而,标记一个巨大的数据集是一个非常昂贵的过程。自监督学习技术通过以无监督的方式学习类似于监督学习的特征来缓解这个问题。在本文中,我们提出了一种自监督技术PatchRot,专为视觉Transformer。PatchRot旋转图像和图像补丁,并训练网络来预测旋转角度。该网络学习从图像中提取全局和局部特征。我们在不同数据集上的大量实验展示了PatchRot训练学习到的丰富特征,这些特征优于监督学习和基线比较。
2022-10-27 cs.CV
Fake & Square: Training Self-Supervised Vision Transformers with Synthetic Data and Synthetic Hard Negatives
Imperial College London(伦敦帝国学院)
该研究提出Syn2Co框架,结合合成数据增强与表示空间合成难负例生成两种策略,在DeiT-S和Swin-T架构上验证了合成增强训练对提升视觉表示鲁棒性与迁移性的作用,明确了其前景与局限。
2025-09-02 cs.AI cs.CV
Multiscale Vision Transformer With Deep Clustering-Guided Refinement for Weakly Supervised Object Localization
Hanyang University(汉阳大学);Seoul National University of Science and Technology(首尔国立科技大学)
针对弱监督目标定位精度有限的问题,提出多尺度目标定位Transformer及深度聚类引导优化方法,在ILSVRC-2012数据集上验证了有效性。
2023-12-15 cs.AI cs.CV
FactoFormer: Factorized Hyperspectral Transformers with Self-Supervised Pretraining
Robotics and Autonomous Systems, DATA61, CSIRO(CSIRO DATA61 机器人与自主系统);Queensland University of Technology (QUT)(昆士兰科技大学)
提出分解式光谱-空间Transformer结合自监督预训练,解决高光谱图像空间信息利用不足与数据依赖问题,在六个数据集上达到SOTA。
2024-01-04 cs.AI cs.CV
Semi-Supervised Vision Transformers
Fudan University(复旦大学);Meta AI;Baidu Apollo(百度阿波罗)
研究了用于半监督图像分类的视觉Transformer的训练问题。Transformers最近在众多的监督学习任务中表现出令人印象深刻的性能。令人惊讶的是,当只有一小部分标记数据可用时,我们发现视觉Transformer的性能明显低于卷积神经网络。受此观察的启发,我们引入了一个联合半监督学习框架Semiformer,它包含一个Transformer流,一个卷积流和一个精心设计的融合模块,用于这些流之间的知识共享。卷积流在有限的标记数据上训练,并进一步用于生成伪标记以监督Transformer流在未标记数据上的训练。在ImageNet上进行的大量实验表明,Semiformer实现了75.5%的top-1准确率,明显优于最先进的技术。此外,我们还展示了Semiformer是一个通用框架,与大多数现代Transformer和卷积神经架构兼容。代码可在https://github.com/wengzejia1/Semiformer上获得。
2022-07-17 cs.CV
SeqCo-DETR: Sequence Consistency Training for Self-Supervised Object Detection with Transformers
SenseTime Research(商汤科技研究院);Institute of Automation, CAS(中国科学院自动化研究所);Peng Cheng Lab(鹏城实验室)
自监督预训练和基于变换器的网络显著提高了目标检测的性能。然而,大多数当前的自监督目标检测方法是建立在基于卷积的架构。我们认为,Transformers的序列特性时,应考虑设计一个基于变压器的自监督方法的目标检测任务。为此,我们提出了SeqCo-DETR,一种新的基于序列一致性的自监督方法,用于使用Transformers进行目标检测。SeqCo-DETR定义了一个简单但有效的借口,通过最小化不同图像视图作为输入的Transformers的输出序列的差异,并利用二分匹配来找到最相关的序列对,以提高序列级自监督表示学习性能。此外,我们提供了一个基于掩码的增强策略与序列一致性策略相结合,以提取更多的代表性上下文信息的对象的目标检测任务。我们的方法在MS COCO(45.8 AP)和PASCAL VOC(64.1 AP)上实现了最先进的结果,证明了我们方法的有效性。
2023-03-15 cs.CV
Self-Supervised Pre-Training of Swin Transformers for 3D Medical Image Analysis
Vanderbilt University(范德堡大学);NVIDIA(英伟达)
视觉Transformer(ViT)在全局和局部表示的自监督学习中表现出出色的性能,这些表示可以转移到下游应用程序。受这些结果的启发,我们引入了一个新的自监督学习框架与定制的代理任务的医学图像分析。具体而言,我们建议:(i)一种新的基于3D变换器的模型,称为Swin UNEt Transformers(Swin UNETR),具有用于自我监督预训练的分层编码器;(ii)定制的代理任务,用于学习人体解剖学的基本模式。我们在来自各种身体器官的5,050个公开的计算机断层扫描(CT)图像上成功地对所提出的模型进行了预训练。我们的方法的有效性是通过微调预训练模型的超越颅骨拱顶(BTCV)分割挑战与13个腹部器官和分割任务从医学分割十项全能(MSD)数据集。我们的模型目前在MSD和BTCV数据集的公共测试排行榜上都是最先进的(即排名第一)。代码:https://monai.io/research/swin-unetr
2022-03-28 cs.AI cs.CV cs.LG
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能委员会);LIST(信息系统技术与软件实验室);Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息技术与信息系统实验室)
本文提出COMEDIAN流程,通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位,在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
ACE: All-round Creator and Editor Following Instructions via Diffusion Transformer
Tongyi Lab(通义实验室)
提出ACE,一种基于扩散Transformer的统一视觉生成模型,通过长上下文条件单元和高效数据收集,在多种生成与编辑任务上达到专家级性能,并支持多模态聊天系统。
2024-11-05 cs.AI cs.CV
ProgResViT: Progressive Resolution and Width for Adaptive Vision Transformers
Kiel University(基尔大学);Hamburg University of Technology (TUHH)(汉堡工业大学);UNU-INWEH(联合国大学国际水资源研究所)
ProgResViT是一种输入自适应视觉Transformer,通过渐进式多轮推理复用表示并引入PSG机制,在图像分类等任务上实现了更优的精度-计算量权衡。
2026-09-04 cs.CV
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(萨里大学视觉、语音与信号处理中心)
自监督学习方法在计算机视觉中获得越来越多的关注,这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理(NLP)中,自监督学习和Transformers已经是首选的方法。最近的文献表明,Transformers在计算机视觉中也变得越来越流行。到目前为止,视觉Transformer已经被证明在使用大规模监督数据或某种共同监督(例如,在教师网络方面)进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中,我们调查的优点自监督学习预训练图像/视觉Transformer,然后使用它们的下游分类任务。我们提出了自监督视觉Transformer(SiT),并讨论了几种自监督训练机制,以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明,预训练的SiT可以在小规模数据集上进行下游分类任务的微调,这些数据集由几千张图像组成,而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习,并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Self-supervised Video Transformer
Stony Brook University(石溪大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学)
在本文中,我们提出了使用未标记视频数据的视频Transformers的自监督训练。从一个给定的视频,我们创建具有不同的空间大小和帧速率的局部和全局时空视图。我们的自我监督目标旨在匹配这些代表同一视频的不同视图的特征,对动作的时空变化保持不变。据我们所知,所提出的方法是第一个减轻依赖于负样本或专用存储体的自监督视频Transformer(SVT)。此外,由于Transformer模型的灵活性,SVT支持使用动态调整的位置编码的单个架构内的慢-快视频处理,并且支持沿时空维度的长期关系建模。我们的方法在四个动作识别基准测试(Kinetics-400,UCF-101,HMDB-51和SSv 2)上表现良好,并且在小批量的情况下收敛得更快。代码:https://git.io/J1juJ
2022-03-19 cs.CV
Attention Distillation: self-supervised vision transformer students need more guidance
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
自监督学习已被广泛应用于训练高质量的视觉Transformer。因此,在内存和计算受限的设备上释放其出色的性能是一个重要的研究课题。然而,如何将知识从一个自我监督的ViT提取到另一个还没有被探索。此外,现有的自监督知识蒸馏(SSKD)方法集中在基于ConvNet的架构是次优的ViT知识蒸馏。本文研究了自监督视觉Transformer(ViT-SSKD)的知识蒸馏。我们发现,直接从教师到学生的关键注意力机制中提取信息可以显着缩小两者之间的绩效差距。在ImageNet-Subset和ImageNet-1 K上的实验中,我们证明了我们的方法AttnDistill优于现有的自监督知识蒸馏(SSKD)方法,并与从头开始学习(使用ViT-S模型)的自监督学习(SSL)方法相比,实现了最先进的k-NN准确性。我们也是第一个将微型ViT-T模型应用于自监督学习的人。此外,AttnDistill算法不依赖于自监督学习算法,可以应用于基于ViT的SSL方法中,以提高性能。代码在这里:https://github.com/wangkai930418/attndistill
2022-10-03 cs.CV
WegFormer: Transformers for Weakly Supervised Semantic Segmentation
Tongji University(同济大学);The University of Hong Kong(香港大学);SenseTime(商汤科技);Shanghai AI Lab(上海人工智能实验室)
尽管卷积神经网络(CNN)在弱监督语义分割(WSSS)方面取得了显着进展,但CNN的有效感受野不足以捕获全局上下文信息,从而导致次优结果。受Transformers在基础视觉领域的巨大成功的启发,本文首次引入了Transformer来构建一个简单有效的WSSS框架,称为WegFormer。与现有的基于CNN的方法不同,WegFormer使用视觉Transformer(ViT)作为分类器来产生高质量的伪分割掩模。为此,我们在基于transformer的框架中引入了三个定制组件,它们是(1)深度泰勒分解(DTD)以生成注意力地图,(2)软擦除模块以平滑注意力地图,以及(3)高效的潜在对象挖掘(EPOM)以过滤背景中的噪声激活。在没有任何额外功能的情况下,WegFormer在PASCAL VOC数据集上实现了最先进的70.5% mIoU,显著优于之前的最佳方法。我们希望WegFormer为挖掘Transformer在弱监督语义分割中的潜力提供一个新的视角。代码将被释放。
2022-03-16 cs.CV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.(美团公司)
视觉Transformer(ViT)在半监督学习(SSL)中面临数据稀缺的问题。为了缓解这个问题,受到掩码自编码器(MAE)的启发,这是一个数据高效的自监督学习器,我们提出了Semi-MAE,一个纯粹的基于ViT的SSL框架,由一个并行MAE分支组成,以帮助视觉表示学习,使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支,并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率,标签为10%,超过了半监督图像分类的现有技术水平。此外,大量的实验表明,半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
SemFormer: Semantic Guided Activation Transformer for Weakly Supervised Semantic Segmentation
Shenzhen University(深圳大学)
目前主流的弱监督语义分割(WSSS)方法主要基于由基于CNN(卷积神经网络)的图像分类器生成的类激活图(CAM)。在本文中,我们提出了一种新的基于transformer的框架,命名为语义引导激活Transformer(SemFormer),WSSS。我们设计了一个基于transformer的类感知自动编码器(CAAE)来提取输入图像的类嵌入,并学习数据集的所有类的类语义。然后使用类嵌入和学习的类语义来指导具有四个损失的激活图的生成,即,类前景、类背景、激活抑制和激活互补损失。在PASCAL VOC 2012数据集上的实验结果表明,该算法实现了\textbf{74.3} \% mIoU,并在很大程度上超过了目前主流的WSSS算法.代码将在\url{https://github.com/JLChen-C/SemFormer}上提供。
2022-10-26 cs.CV
Emerging Properties in Self-Supervised Vision Transformers
Facebook AI Research(脸书人工智能研究院);Inria(法国国家信息与自动化研究所);Sorbonne University(索邦大学)
在本文中,我们质疑自监督学习是否为视觉Transformer(ViT)提供了与卷积网络(convnets)相比突出的新属性。除了自监督方法适应这种架构特别好的事实,我们做了以下观察:第一,自监督ViT功能包含明确的信息的语义分割的图像,这并不清楚地出现与监督ViT,也与convnets。其次,这些特征也是优秀的k-NN分类器,在ImageNet上达到了78.3%的top-1,具有较小的ViT。我们的研究还强调了动量编码器,多作物训练以及使用ViTs小补丁的重要性。我们将我们的发现应用到一个简单的自我监督方法中,称为DINO,我们将其解释为一种没有标签的自我蒸馏形式。我们通过在ImageNet上使用ViT-Base进行线性评估时达到80.1%的top-1,展示了DINO和ViTs之间的协同作用。
2021-05-24 cs.CV
MonoViT: Self-Supervised Monocular Depth Estimation with a Vision Transformer
East China University of Science and Technology(华东理工大学);University of Bologna(博洛尼亚大学);PhiGent Robotics(鉴智机器人)
自监督单目深度估计是一种有吸引力的解决方案,它不需要难以获取的深度标签进行训练。最近,卷积神经网络(CNN)在这项任务中取得了巨大成功。然而,它们有限的感受野限制了现有的网络架构只能在本地进行推理,从而抑制了自我监督范式的有效性。鉴于视觉Transformer(ViTs)最近取得的成功,我们提出了MonoViT,一个全新的框架相结合的全局推理ViT模型的灵活性,自我监督单眼深度估计。通过将普通卷积与Transformer块相结合,我们的模型可以在本地和全局进行推理,从而以更高的细节和准确度进行深度预测,从而使MonoViT能够在已建立的KITTI数据集上实现最先进的性能。此外,MonoViT在Make3D和DrivingStereo等其他数据集上证明了其卓越的泛化能力。
2022-08-06 cs.CV
Masked Self-Supervised Pre-Training for Text Recognition Transformers on Large-Scale Datasets
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院)
本文提出掩码自监督预训练方法,通过逐步增加掩码概率并改进损失函数,在5000万未标注文本行上预训练文本识别Transformer,显著降低字符错误率(最高相对降低30%),性能与迁移学习相当且无需额外标注数据。
2025-03-28 cs.AI cs.CV cs.LG
Efficient Self-supervised Vision Transformers for Representation Learning
Microsoft Research(微软研究院);Microsoft Cloud + AI(微软云计算与人工智能部门)
本文研究了两种技术,开发有效的自我监督视觉Transformer(EsViT)的视觉表示学习。首先,我们通过一个全面的实证研究表明,多阶段架构与稀疏的自我注意力可以显着降低建模的复杂性,但失去了捕捉图像区域之间的细粒度对应的能力的成本。其次,我们提出了一个新的区域匹配的预训练任务,它允许模型捕获细粒度的区域依赖关系,从而显着提高了学习的视觉表示的质量。我们的研究结果表明,结合这两种技术,EsViT在ImageNet线性探针评估中达到了81.3%的top-1,优于现有技术,吞吐量高出一个数量级。当转移到下游线性分类任务时,EsViT在18个数据集中的17个数据集上的表现优于其监督对手。代码和模型可在https://github.com/microsoft/esvit上公开获取
2022-07-06 cs.AI cs.CV cs.LG
Self-Supervised Learning with Swin Transformers
Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学)
我们正在见证计算机视觉中从CNN到Transformers的建模转变。在这项工作中,我们提出了一个自监督学习的方法,称为MoBY,与视觉Transformer作为其骨干架构。该方法基本上没有新的发明,它结合了MoCo v2和BYOL,并经过调整,在ImageNet-1 K线性评估中实现了相当高的准确度:通过300次训练,使用DeiT-S和Swin-T分别达到72.8%和75.0%的top-1准确度。性能略优于MoCo v3和DINO的最新作品,后者采用DeiT作为主干,但技巧要轻得多。更重要的是,通用的Swin Transformer主干使我们能够评估下游任务(如目标检测和语义分割)的学习表示,而最近基于ViT/DeiT的一些方法仅报告ImageNet-1 K上的线性评估结果,因为ViT/DeiT不适合这些密集的预测任务。我们希望我们的研究结果可以促进更全面的评估自监督学习方法设计的Transformer架构。我们的代码和模型可以在https://github.com/SwinTransformer/Transformer-SSL上获得,它将不断丰富。
2021-05-11 cs.CV
Self-Supervised Pre-training of Vision Transformers for Dense Prediction Tasks
Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);List(李斯特研究所)
我们提出了一种新的自监督预训练的视觉Transformer密集的预测任务。它基于跨视图的对比损失,将像素级表示与全局图像表示进行比较。这种策略产生更好的局部特征,适合于密集预测任务,而不是仅基于全局图像表示的对比预训练。此外,我们的方法并没有遭受减少批量大小,因为在对比损失所需的负例的数量是在本地功能的数量的顺序。我们证明了我们的预训练策略在两个密集预测任务上的有效性:语义分割和单眼深度估计。
2022-06-07 cs.CV
Joint CNN and Transformer Network via weakly supervised Learning for efficient crowd counting
Chongqing University(重庆大学);Huazhong University of Science and Technology(华中科技大学)
目前,对于人群计数,基于密度图估计的全监督方法是主流研究方向。然而,这样的方法需要在图像中的人的位置级注释,这是费时费力的。因此,迫切需要一种仅依赖计数级标注的弱监督方法。由于CNN不适合对全局上下文和图像块之间的交互进行建模,因此通过CNN进行弱监督学习的人群计数通常不能表现出良好的性能。提出了基于Transformer的弱监督模型,用于全局上下文建模和对比度特征学习。然而,Transformer直接将人群图像划分为一系列令牌,由于每个行人都是独立的个体,并且网络的参数数量非常大,这可能不是一个很好的选择。因此,我们提出了一个联合CNN和Transformer网络(JCTNet)通过弱监督学习人群计数在本文中。JCTNet由三部分组成:CNN特征提取模块(CFM)、Transformer特征提取模块(TFM)和计数回归模块(CRM)。CFM提取人群的语义信息特征,将其分片发送给TRM进行全局上下文建模,CRM用于预测人群数量。大量的实验和可视化结果表明,JCTNet可以有效地集中在人群区域,并在五个主流数据集上获得优异的弱监督计数性能。与纯Transformer工作相比,该模型的参数数可减少约67%~73%。我们还试图解释仅受计数级注释约束的模型仍然可以聚焦于人群区域的现象。我们相信我们的工作可以促进这一领域的进一步研究。
2022-03-12 cs.CV
Human-like Object Grouping in Self-supervised Vision Transformers
本文通过行为基准测试,探讨自监督视觉模型在物体感知上的类人特性,发现基于DINO目标的Transformer模型在预测人类反应时间方面表现最佳,且Gram矩阵结构对感知对齐有驱动作用。
2026-07-10 cs.AI cs.CV q-bio.NC
OffRoadTranSeg: Semi-Supervised Segmentation using Transformers on OffRoad environments
IISER Bhopal(印度科学教育与研究学院博帕尔分院)
我们提出了OffRoadTranSeg,这是第一个使用Transformers和自动数据选择进行标签的非结构化户外环境中的半监督分割的端到端框架。越野分割是自动驾驶中广泛使用的一种场景理解方法。流行的越野分割方法是使用完全连接的卷积层和大的标记数据,然而,由于类别不平衡,会有几个不匹配,也可能无法检测到一些类别。我们的方法是以半监督的方式完成越野分割的任务。目的是提供一种模型,其中自监督视觉Transformer用于微调越野数据集,并使用深度估计进行自监督数据汇集以进行标记。该方法在RELLIS-3D和RUGD越野数据集上进行了验证。实验表明,OffRoadTransSeg优于其他最先进的模型,也解决了RELLIS-3D类不平衡的问题。
2021-06-26 cs.CV cs.RO
MOST: Multiple Object localization with Self-supervised Transformers for object discovery
Meta;University of Maryland, College Park(马里兰大学帕克分校);Johns Hopkins University(约翰斯·霍普金斯大学)
本研究提出基于自监督Transformer的多目标定位方法MOST,通过盒计数法分析特征相似性图识别前景token并聚类生成边界框,可单图定位多目标,在多个基准上超越SOTA,还可用于目标检测器自监督预训练提升性能。
2023-08-26 cs.CV
A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network
North University of China(中北大学)
基于深度学习的水下目标检测(UOD)仍然是一个主要挑战,这是由于能见度下降以及难以获得从各种视角捕获的足够的水下目标图像用于训练。针对这些问题,提出了一种基于联合自监督去模糊和改进空间Transformer网络的高精度UOD方法。在所设计的多任务学习辅助目标检测体系结构中引入自监督去模糊子网络,强制共享特征提取模块为检测子网络输出干净的特征。针对不同视角照片不足的局限性,设计了一种基于视角变换的改进空间Transformer网络,自适应地丰富网络中的图像特征。实验结果表明,该方法在URPC2017和URPC2018上分别获得了47.9 mAP和70.3 mAP的性能,优于许多现有的UOD方法,表明该方法更适合UOD。
2022-03-09 cs.CV
Semi-Supervised Medical Image Segmentation via Cross Teaching between CNN and Transformer
University of Electronic Science and Technology of China(电子科技大学);Shanghai AI Lab(上海人工智能实验室);SenseTime(商汤科技)
最近,使用卷积神经网络(CNN)和Transformers的深度学习在完全监督的医学图像分割中显示出令人鼓舞的结果。然而,它仍然是具有挑战性的,他们实现良好的性能与有限的注释训练。在这项工作中,我们提出了一个非常简单而有效的框架,半监督医学图像分割之间的交叉教学引入CNN和Transformer。具体来说,我们将经典的深度协同训练从一致性正则化简化为交叉教学,其中网络的预测被用作伪标签,直接端到端地监督另一个网络。考虑到CNN和Transformer之间学习范式的差异,我们引入了CNN和Transformer之间的交叉教学,而不仅仅是使用CNN。在一个公开的基准测试上的实验表明,我们的方法比现有的八种半监督学习方法更好,只是一个更简单的框架。值得注意的是,这项工作可能是首次尝试将CNN和Transformer结合起来进行半监督医学图像分割,并在公共基准上取得了有希望的结果。该代码将在https://github.com/HiLab-git/SSL4MIS上发布。
2022-03-01 cs.CV eess.IV
SPARTAN: Self-supervised Spatiotemporal Transformers Approach to Group Activity Recognition
University of Arkansas(阿肯色大学);West Virginia University(西弗吉尼亚大学)
本研究提出自监督时空Transformer方法SPARTAN,通过构建多尺度时空视图的自监督匹配目标,利用无标注视频提升群体活动识别效果,在两个基准数据集上的关键指标显著超越现有最优水平。
2023-08-28 cs.CV
TransCAM: Transformer Attention-based CAM Refinement for Weakly Supervised Semantic Segmentation
University of Toronto(多伦多大学);Optimy AI(Optimy人工智能公司);LG AI Research(LG人工智能研究院)
只有图像级监督的弱监督语义分割是一项具有挑战性的任务。大多数现有的方法利用类激活图(CAM)生成像素级的伪标签进行监督训练。然而,由于卷积神经网络(CNN)的局部感受野,应用于CNN的CAM通常会受到部分激活的影响-突出显示最具辨别力的部分,而不是整个对象区域。为了同时捕获局部特征和全局表示,已提出Conformer来将视觉Transformer分支与CNN分支相结合。在本文中,我们提出了TransCAM,一个基于Conformer的WSSS解决方案,明确利用Conformer的Transformer分支的注意力权重来细化从CNN分支生成的CAM。TransCAM的动机是我们的观察,从浅Transformer块的注意力权重能够捕获低级别的空间特征相似性,而从深Transformer块的注意力权重捕获高级别的语义上下文。尽管它的简单性,transCAM实现了一个新的国家的最先进的性能分别为69.3%和69.6%的PASCAL VOC 2012年验证和测试集,显示了Transformer注意力为基础的细化CAM的WSSS的有效性。
2022-03-14 cs.CV
PhySU-Net: Long Temporal Context Transformer for rPPG with Self-Supervised Pre-training
University of Oulu(奥卢大学);Center for Machine Vision and Signal Analysis (CMVS)(机器视觉与信号分析中心)
提出首个长时空图rPPG Transformer网络PhySU-Net及自监督预训练策略,利用传统方法和图像掩码生成伪标签,在OBF和VIPL-HR数据集上表现优越,有效缓解数据稀缺问题。
2024-02-19 cs.CV
TransCrowd: weakly-supervised crowd counting with transformers
Huazhong University of Science and Technology(华中科技大学);Beijing University of Posts and Telecommunications(北京邮电大学)
主流的人群计数方法通常利用卷积神经网络(CNN)来回归密度图,需要点级注释。然而,用一个点注释每个人是一个昂贵而费力的过程。在测试阶段,不考虑点级注释来评估计数精度,这意味着点级注释是冗余的。因此,需要开发仅依赖于计数级注释的弱监督计数方法,这是一种更经济的标记方式。当前的弱监督计数方法采用CNN通过图像到计数范例来回归人群的总计数。然而,对于上下文建模具有有限的感受野是这些基于弱监督CNN的方法的内在限制。因此,这些方法不能实现令人满意的性能,在现实世界中的应用有限。Transformer是自然语言处理(NLP)中流行的序列到序列预测模型,它包含一个全局感受野。在本文中,我们提出了transCrowd,它重新制定了弱监督的人群计数问题的角度来看,基于Transformers的顺序计数。我们观察到,所提出的transCrowd通过使用Transformer的自注意力机制,可以有效地提取语义人群信息。据我们所知,这是第一个工作,采用纯Transformer的人群计数研究。在五个基准数据集上的实验表明,与所有基于弱监督CNN的计数方法相比,所提出的TransCrowd具有更好的性能,与一些流行的全监督计数方法相比,具有很强的竞争力。
2022-09-08 cs.CV
Hierarchically Self-Supervised Transformer for Human Skeleton Representation Learning
Rutgers University(罗格斯大学);Google Research(谷歌研究院);ByteDance Inc.(字节跳动公司)
尽管完全监督的人类骨骼序列建模取得了成功,但由于大规模获取任务特定的骨骼注释很困难,因此利用自监督预训练进行骨骼序列表示学习一直是一个活跃的领域。近年来的研究主要集中在使用对比学习学习视频级的时间和判别信息,但忽略了人类骨骼的分层时空性质。不同于这种肤浅的监督在视频层面上,我们提出了一个自我监督的分层预训练计划纳入一个分层的基于变换器的骨架序列编码器(Hi-TRS),明确捕捉空间,短期和长期的时间依赖性在帧,剪辑和视频级别,分别。为了评估所提出的具有Hi-TRS的自监督预训练方案,我们进行了广泛的实验,涵盖了三个基于机器人的下游任务,包括动作识别,动作检测和运动预测。在监督和半监督评估协议下,我们的方法达到了最先进的性能。此外,我们证明了我们的模型在预训练阶段学习的先验知识对不同的下游任务具有很强的转移能力。
2023-03-27 cs.CV
Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers
Eindhoven University of Technology(埃因霍温理工大学);ARIA Lab(ARIA实验室);AIMS Lab(AIMS实验室)
SPECTRE通过可扩展的3D视觉Transformer架构和现代自监督与视觉-语言预训练策略,学习通用CT表示,克服了体素CT的极端标记扩展、几何各向异性及临床监督弱的问题,实现了大规模3D注意力计算。
2026-03-30 cs.CV
Transformer based multiple instance learning for weakly supervised histopathology image segmentation
Beihang University(北京航空航天大学);China Pharmaceutical University(中国药科大学);Zhejiang University(浙江大学);Microsoft Research(微软研究院);Xiaomi Corporation(小米公司)
病理图像分割算法在计算机辅助诊断技术中占有重要地位。弱监督分割算法的发展解决了医学图像标注费时费力的问题。作为弱监督学习的一个子集,多实例学习(MIL)在分割中被证明是有效的。然而,MIL中实例之间缺乏相关信息,这限制了分割性能的进一步提高。在本文中,我们提出了一种新的弱监督的方法,在组织病理学图像的像素级分割,它引入Transformer到MIL框架,以捕获全局或长期的依赖关系。Transformer中的多头自注意建立了实例之间的关系,解决了MIL中实例之间相互独立的缺点。此外,引入深度监督,克服了弱监督方法中标注的局限性,更好地利用了层次信息。结肠癌数据集上的最新结果表明,与其他弱监督方法相比,该方法具有优越性。值得相信的是,我们的方法在医学图像的各种应用中有潜力。
2022-05-18 cs.CV
Monocular Robot Navigation with Self-Supervised Pretrained Vision Transformers
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
在这项工作中,我们考虑的问题,学习的感知模型,单目机器人导航,使用很少的注释图像。使用视觉Transformer(ViT)预训练的无标签的自我监督的方法,我们成功地训练一个粗略的图像分割模型的Duckietown环境使用70个训练图像。我们的模型在8x8补丁级别执行粗图像分割,并且可以调整推理分辨率以平衡预测粒度和实时感知约束。我们研究如何最好地适应我们的任务和环境的ViT,并发现一些轻量级的架构可以产生良好的单图像分割在可用的帧速率,甚至在CPU上。由此产生的感知模型被用作骨干的一个简单而强大的视觉伺服代理,我们部署在差分驱动移动机器人执行两项任务:车道跟踪和避障。
2022-05-01 cs.AI cs.CV cs.RO
Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
Department of Electrical and Computer Engineering, Rowan University, Glassboro, NJ, USA(电子与计算机工程系,罗文大学,Glassboro, NJ, USA);Department of Computer Science, Stevens Institute of Technology, Hoboken, NJ, USA(计算机科学系,史蒂文斯理工学院,Hoboken, NJ, USA)
SSMAE通过动态伪标签和验证驱动门控机制,在有限数据下提升视觉变换器性能,实验显示其在低标签条件下表现显著优于传统方法。
2026-01-27 cs.AI cs.CV cs.LG
Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers
Department of Electrical and Computer Engineering, Florida International University, Miami, Florida, USA(电气与计算机工程系,佛罗里达国际大学,迈阿密,佛罗里达州,美国)
本文提出Gardener,通过信息熵分析无数据剪枝掩码自监督视觉变换器中的冗余块,实现高效的模型压缩和迁移学习。
2026-02-03 cs.CV
DiT: Self-supervised Pre-training for Document Image Transformer
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure AI(微软Azure人工智能部门)
Image Transformer最近在自然图像理解方面取得了重大进展,无论是使用监督(ViT,DeiT等)或自我监督(BEiT,MAE等)预训练技术。在本文中,我们提出了\textbf{DiT},这是一种自监督的预训练\textbf{D}或\textbf{I}图像\textbf{T} transformer模型,使用大规模未标记的文本图像进行文档AI任务,这是必不可少的,因为由于缺乏人类标记的文档图像,因此不存在监督的对应物。我们利用DiT作为各种基于视觉的文档AI任务的骨干网络,包括文档图像分类、文档布局分析、表格检测以及OCR的文本检测。实验结果表明,自监督预训练DiT模型在这些下游任务上实现了新的最先进的结果,例如文档图像分类(91.11 $\rightarrow$ 92.69)、文档布局分析(91.0 $\rightarrow$ 94.9)、表格检测(94.23 $\rightarrow$ 96.55)和OCR文本检测(93.07 $\rightarrow$ 94.29)。代码和预训练模型可在\url{https://aka.ms/msdit}上公开获得。
2022-07-19 cs.CV
Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning
Seoul National University(首尔大学);Inha University(仁荷大学)
本文针对360°单目深度估计中深度数据不足和自监督解不稳定问题,提出仅用重力对齐视频的自监督方法、监督与自监督联合学习方案以及非局部融合块,首次将Transformer成功应用于360°深度估计,并在多个基准上达到最先进性能。
2021-12-30 cs.CV
Positional Label for Self-Supervised Vision Transformer
Southwest Jiaotong University(西南交通大学)
位置编码对于视觉Transformer(ViT)捕获输入图像的空间结构是重要的。一般有效性已在ViT中得到证明。在我们的工作中,我们建议训练ViT识别输入图像的补丁的位置标签,这个看似简单的任务实际上产生了一个有意义的自我监督任务。基于ViT位置编码的工作,我们提出了两个位置标签专用于二维图像,包括绝对位置和相对位置。我们的位置标签可以很容易地插入到各种当前的ViT变体中。它可以通过两种方式工作:(a)作为vanilla ViT的辅助训练目标(例如,ViT-B和Swin-B)以获得更好的性能。(b)结合自我监督的ViT(例如,MAE)为语义特征学习提供更强大的自监督信号。实验表明,使用所提出的自监督方法,ViT-B和Swin-B在ImageNet上的增益分别提高了1.20%(top-1 Acc)和0.74%(top-1 Acc),在Mini-ImageNet上分别提高了6.15%和1.14%。
2023-02-16 cs.CV
Self-Supervised Video Transformers for Isolated Sign Language Recognition
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Chicago(芝加哥大学)
本文分析了多种自监督视频Transformer方法在孤立手语识别中的应用,发现MaskFeat在WLASL2000上达到79.02%的top-1准确率,并验证了掩码重建预训练与分层视觉Transformer对手语表征的关键作用。
2023-09-02 cs.CV
Multi-class Token Transformer for Weakly Supervised Semantic Segmentation
The University of Western Australia(西澳大学);The University of Sydney(悉尼大学);Hong Kong University of Science and Technology(香港科技大学)
本文提出了一种新的基于transformer的框架,学习类特定的对象定位图作为伪标签的弱监督语义分割(WSSS)。受标准视觉Transformer中一类标记的关注区域可以用来形成类不可知的定位图的启发,我们研究了Transformer模型是否也可以通过学习Transformer中的多个类标记来有效地捕获类特定的注意力,以实现更具鉴别力的对象定位。为此,我们提出了一个多类令牌Transformer,称为MCTformer,它使用多个类令牌来学习类令牌和补丁令牌之间的交互。建议的MCTformer可以成功地产生类判别的对象定位地图,从类到补丁的关注对应于不同的类令牌。我们还建议使用一个补丁级成对的亲和力,这是从补丁到补丁Transformer的注意力,以进一步完善本地化地图。此外,所提出的框架,以充分补充类激活映射(CAM)的方法,导致PASCAL VOC和MS COCO数据集上的WSSS结果显着优越。这些结果强调了类标记对于WSSS的重要性。
2022-03-06 cs.CV
Test-Time Personalization with a Transformer for Human Pose Estimation
Shanghai Jiao Tong University(上海交通大学);UC San Diego(加州大学圣地亚哥分校)
我们建议个性化的人的姿态估计给出了一组测试图像的人,而不使用任何手动注释。虽然在人体姿态估计方面取得了重大进展,但模型推广到不同的未知环境和看不见的人仍然非常具有挑战性。而不是使用一个固定的模型为每个测试用例,我们适应我们的姿势估计在测试时间利用个人特定的信息。我们首先训练我们的模型在不同的数据与监督和自我监督的姿态估计目标联合。我们使用Transformer模型来构建自监督关键点和监督关键点之间的转换。在测试期间,我们通过自监督目标进行微调来个性化和调整我们的模型。然后通过变换更新的自监督关键点来改进姿势。我们对多个数据集进行了实验,并通过我们的自我监督个性化在姿势估计方面取得了显着改进。
2021-11-08 cs.CV
Self-supervised pretraining for an iterative image size agnostic vision transformer
INSAIT, Sofia University "St. Kliment Ohridski", Bulgaria(INSAIT,索菲亚大学"圣克莱门特·奥赫里迪斯",保加利亚)
本文提出基于DINO自蒸馏目标的新型序列到全局自监督学习框架,通过高效积分图像补丁提取方法实现图像尺寸无关的视觉编码器大规模预训练,取得ImageNet-1K和下游分类任务的竞争力表现。
2026-04-22 cs.CV
Learning Self-Regularized Adversarial Views for Self-Supervised Vision Transformers
Sun Yat-sen University(中山大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);University of Technology Sydney(悉尼科技大学);Oxford University(牛津大学)
自动数据增强(AutoAugment)策略在视觉Transformer的监督数据高效训练协议中是不可或缺的,并且已经在监督学习中产生了最先进的结果。尽管取得了成功,但其在自监督视觉Transformer上的发展和应用受到一些障碍的阻碍,包括搜索成本高,缺乏监督,以及不合适的搜索空间。在这项工作中,我们提出了AutoView,一个自正则化的对抗AutoAugment方法,通过解决上述障碍来学习自监督视觉Transformer的视图。首先,我们减少搜索成本的AutoView几乎为零,同时学习的意见和网络参数在一个单一的前向-后向步骤,最小化和最大化的互信息之间的不同增强的意见,分别。然后,为了避免由于标签监督不足而导致的信息崩溃,我们提出了一个自正则化的损失项来保证信息的传播。此外,我们提出了一个策划的增强策略搜索空间的自监督学习,通过修改通常使用的搜索空间设计的监督学习。在ImageNet上,我们的AutoView在RandAug基线上实现了显着的改进(+10. 2% k-NN准确度),并且始终优于sota手动调整的视图策略(高达+1. 3% k-NN准确度)。大量的实验表明,AutoView预训练也有利于下游任务(在ADE 20 K语义分割上+1.2% mAcc,在重新访问的牛津图像检索基准上+2.8% mAP),并提高了模型的鲁棒性(在ImageNet-A上+2.3% Top-1…
2022-10-16 cs.CV
eX-ViT: A Novel eXplainable Vision Transformer for Weakly Supervised Semantic Segmentation
James Cook University(詹姆斯库克大学);La Trobe University(乐卓博大学);Beijing University of Technology(北京工业大学)
最近,视觉Transformer模型已成为一系列视觉任务的突出模型。然而,这些模型通常是不透明的,具有较弱的特征可解释性。此外,目前还没有为本质上可解释的Transformer构建的方法,该方法能够解释其推理过程并提供忠实的解释。为了弥补这些关键的差距,我们提出了一种新的视觉Transformer,称为eXplainable Vision Transformer(eX-ViT),一个本质上可解释的Transformer模型,能够共同发现强大的可解释的功能,并执行预测。具体来说,eX-ViT由可解释多头注意力(E-MHA)模块、属性引导解释器(AttE)模块和自监督属性引导损失组成。E-MHA定制可解释的注意力权重,这些权重能够在具有噪声鲁棒性的模型决策方面从局部补丁中学习语义可解释的表示。同时,AttE提出了编码的区别性属性特征的目标对象,通过不同的属性发现,这构成了模型的预测的忠实证据。此外,我们的eX-ViT开发了一个自我监督的属性引导损失,旨在通过属性区分机制和属性多样性机制学习增强的表示,以定位多样化和有区别的属性,并生成更强大的解释。因此,我们可以通过所提出的eX-ViT发现具有不同属性的忠实和强大的解释。
2022-07-12 cs.CV
Discriminative Sampling of Proposals in Self-Supervised Transformers for Weakly Supervised Object Localization
ETS Montreal(蒙特利尔高等技术学院);Ericsson(爱立信)
无人机被用于越来越多的视觉识别应用。手机信号塔检查的最新发展是基于无人机的资产监视,其中无人机的自主飞行通过定位连续空中图像中的感兴趣对象来引导。在本文中,我们提出了一种训练深度弱监督对象定位(WSOL)模型的方法,仅基于图像类标签来定位具有高置信度的对象。为了训练我们的定位器,伪标签是有效地从一个自我监督的视觉Transformer(SST)收获。然而,由于SST将场景分解为包含各种对象部分的多个地图,并且不依赖于任何显式的监督信号,因此它们不能区分感兴趣的对象和其他对象,如WSOL所要求的。为了解决这个问题,我们建议利用不同的Transformer头生成的多个映射来获取伪标签,以训练深度WSOL模型。特别地,引入了一种新的判别建议采样(DiPS)方法,该方法依赖于CNN分类器来识别判别区域。然后,从这些区域中采样前景和背景像素,以便训练WSOL模型,用于生成激活图,该激活图可以准确地定位属于特定类别的对象。在具有挑战性的TelDrone数据集上的实证结果表明,我们提出的方法可以在生成的地图上的广泛阈值范围内优于最先进的方法。我们还计算了CUB数据集上的结果,表明我们的方法可以适用于其他任务。
2022-11-20 cs.CV
Self-Supervised Pre-Training for Table Structure Recognition Transformer
Georgia Institute of Technology(佐治亚理工学院);ADP, Inc.(ADP公司)
针对表格结构识别中线性投影Transformer替换CNN骨干后性能下降的问题,提出自监督预训练方法缩小性能差距,并通过消融实验和开源代码验证其有效性。
2024-02-23 cs.CV
CCAT-NET: A Novel Transformer Based Semi-supervised Framework for Covid-19 Lung Lesion Segmentation
Zhengzhou University(郑州大学);Ningbo Huamei Hospital, University of the Chinese Academy of Sciences(中国科学院大学宁波华美医院)
2019新型冠状病毒病(COVID-19)的传播已夺去数百万人的生命。从CT图像中自动分割病变可以帮助医生进行筛查、治疗和监测。然而,由于数据和模型的限制,从CT图像中准确分割病变可能非常具有挑战性。最近,基于Transformer的网络在计算机视觉领域引起了广泛的关注,因为Transformer在一系列任务上的表现优于CNN。在这项工作中,我们提出了一种新的网络结构,将CNN和Transformer结合起来,用于COVID-19病变的分割。我们进一步提出了一个有效的半监督学习框架,以解决标记数据的短缺。大量的实验表明,我们提出的网络优于大多数现有的网络和半监督学习框架可以优于基础网络的3.0%和8.2%的骰子系数和灵敏度。
2022-04-06 cs.CV eess.IV
DFTR: Depth-supervised Fusion Transformer for Salient Object Detection
Tencent Jarvis Lab(腾讯Jarvis实验室);University of Science and Technology of China(中国科学技术大学)
自动显著目标检测(SOD)在计算机视觉的许多应用中起着越来越重要的作用。深度监督卷积神经网络(CNN)通过将深度信息重新表达为监督而不是输入,在RGB和RGB-D SOD场景下都取得了令人满意的结果,其优点是在推理阶段不需要额外的深度网络和深度输入。本文首次寻求将深度监督的适用性扩展到Transformer架构。具体来说,我们开发了深度监督融合Transformer(DFTR),以进一步提高RGB和RGB-D SOD的准确性。本文提出的DFTR包含三个主要特征:1)DFTR是第一个基于transformer的深度监督SOD模型; 2)提出了多尺度特征聚合(MFA)模块,充分利用Swin Transformer编码的多尺度特征; 3)为了实现不同特征流之间的双向信息流,一种新的多阶段特征融合(MFF)模块进一步集成到我们的DFTR中,重点关注不同网络学习阶段的显著区域。我们广泛地评估了十个基准数据集的建议DFTR。实验结果表明,我们的DFTR始终优于现有的最先进的方法,RGB和RGB-D SOD任务。代码和模型将公开提供。
2022-04-11 cs.CV
Self-Supervised Vision Transformers Are Efficient Segmentation Learners for Imperfect Labels
Yonsei University(延世大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出冻结自监督 vision transformer 主干并训练轻量分割头,以低成本利用涂鸦、点级、图像级及零样本视觉语言模型标签,在所有不完美标签设置下超越基线,最高提升 11.5%p。
2024-01-23 cs.CV
GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
Australian National University(澳大利亚国立大学);SenseTime(商汤科技)
弱监督语义分割(WSSS)是具有挑战性的,特别是当图像级标签用于监督像素级预测时。为了弥合它们之间的差距,通常生成类激活图(CAM)以提供像素级伪标签。卷积神经网络中的CAM受到部分激活的影响,即只有最具辨别力的区域被激活。另一方面,基于Transformer的方法在探索具有长范围依赖性建模的全局上下文方面非常有效,从而潜在地减轻“部分激活”问题。在本文中,我们提出了第一个基于Transformer的WSSS方法,并介绍了梯度加权元素的Transformer注意力地图(GETAM)。GETAM显示所有特征图元素的精细缩放激活,显示对象跨Transformer层的不同部分。此外,我们提出了一个激活感知标签完成模块,以生成高质量的伪标签。最后,我们将我们的方法到一个端到端的框架WSSS使用双反向传播。在PASCAL VOC和COCO上进行的大量实验表明,我们的结果明显优于最先进的端到端方法,并且优于大多数多阶段方法。
2022-05-10 cs.CV
ViT-2SPN: Vision Transformer-based Dual-Stream Self-Supervised Pretraining Networks for Retinal OCT Classification
The University of Arizona(亚利桑那大学);University of Arizona(亚利桑那大学)
提出ViT-2SPN框架,通过监督预训练、自监督预训练和监督微调三阶段流程,利用ViT-Base和负余弦相似度损失增强特征提取,在OCTMNIST数据集上实现高诊断准确率并优于现有方法。
2025-01-28 cs.AI cs.CV cs.LG