An Empirical Study Of Self-supervised Learning Approaches For Object Detection With Transformers
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
自监督学习(SSL)方法(如掩蔽语言建模)通过预训练用于各种自然语言处理任务的Transformer模型而显示出巨大的性能增益。后续研究采用了类似的方法,如视觉Transformer中的掩码图像建模,并证明了图像分类任务的改进。对于目标检测Transformers(DETR,可变形DETR),没有详尽地研究这种简单的自监督方法,因为它们的Transformer编码器模块在卷积神经网络(CNN)提取的特征空间中而不是像一般的视觉Transformer那样在图像空间中获取输入。然而,CNN特征图仍然保持空间关系,我们利用这一属性来设计自监督学习方法,以在预训练和多任务学习设置中训练目标检测Transformers的编码器。我们探讨了常用的基于图像重建、掩码图像建模和拼图的自监督方法。在iSAID数据集中的初步实验表明,在预训练和多任务学习设置中,DETR在初始阶段的收敛速度更快;然而,在使用可变形DETR的多任务学习中没有观察到类似的改进。我们用DETR和可变形DETR进行实验的代码可分别在https://github.com/gokulkarthik/detr和https://github.com/gokulkarthik/Deformable-DETR上获得。
2022-05-11 cs.AI cs.CV cs.LG
An Empirical Study of Training Self-Supervised Vision Transformers
Facebook AI Research (FAIR)(脸书人工智能研究院)
本文没有描述一种新方法。相反,鉴于计算机视觉的最新进展,它研究了一个简单的,增量的,但必须知道的基线:视觉Transformer(ViT)的自监督学习。虽然标准卷积网络的训练方法已经非常成熟和强大,但ViT的方法还有待建立,特别是在训练变得更具挑战性的自监督场景中。在这项工作中,我们回到基础知识,并研究了几个基本组成部分对训练自我监督ViT的影响。我们观察到,不稳定性是降低准确性的主要问题,并且它可以被表面上良好的结果所隐藏。我们发现,这些结果确实是部分失败的,他们可以得到改善时,培训更加稳定。我们在MoCo v3和其他几个自监督框架中对ViT结果进行了基准测试,并在各个方面进行了消融。我们讨论了目前的积极证据以及挑战和开放的问题。我们希望这项工作将为未来的研究提供有用的数据点和经验。
2021-08-16 cs.CV cs.LG
Adapting Self-Supervised Vision Transformers by Probing Attention-Conditioned Masking Consistency
Georgia Institute of Technology(佐治亚理工学院)
视觉领域自适应(DA)试图将训练的模型转移到分布偏移中看不见的未标记域,但方法通常专注于适应用监督ImageNet表示初始化的卷积神经网络架构。在这项工作中,我们将重点转移到适应对象识别的现代体系结构-越来越受欢迎的视觉Transformer(ViT)-以及基于自监督学习(SSL)的现代预训练。受最近SSL方法设计的启发,该方法基于从通过掩蔽或裁剪生成的部分图像输入中学习-无论是通过学习预测丢失的像素,还是学习对这种增强的代表性不变性-我们提出了PACMAC,一种简单的两阶段自适应算法,用于自监督ViTs。PACMAC首先对合并的源和目标数据执行域内SSL,以学习任务区分特征,然后在通过新型注意力条件掩蔽策略生成的一组部分目标输入中探测模型的预测一致性,以识别可靠的候选者进行自我训练。我们简单的方法导致了一致的性能增益竞争的方法,使用ViTs和自我监督的初始化标准的对象识别基准。代码可在https://github.com/virajprabhu/PACMAC获得
2022-06-16 cs.CV cs.LG
SentimentArcs: A Novel Method for Self-Supervised Sentiment Analysis of Time Series Shows SOTA Transformers Can Struggle Finding Narrative Arcs
Digital Humanities Colab(数字人文合作实验室);Integrated Program for Humane Studies(人文研究综合项目);Kenyon College(凯尼恩学院)
SOTA Transformer和DNN短文本情感分类器在IMDB电影评论等狭窄领域的准确率超过97%。现实世界的性能显着较低,因为传统模型过拟合基准,并且对不同或更开放的领域文本的概括性较差。本文介绍了SentimentArcs,一种新的自监督时间序列情感分析方法,它解决了传统监督情感分析的两个主要局限性:有限的标记训练数据集和泛化能力差。大量不同模型的集合为自监督学习提供了合成的基础事实。新的度量共同优化了在每个可能的语料库中的穷举搜索:模型组合。对语料库和模型的联合优化解决了泛化问题。简单的可视化利用了叙述中的时间结构,因此领域专家可以快速发现趋势,识别关键特征,并注意到数百个弧和数百万个数据点的异常。据我们所知,这是第一个用于时间序列情感分析的自监督方法,也是直接比较长形式叙述的真实世界模型性能的最大调查。
2021-10-18 cs.CL cs.LG
Self-supervised Learning Method Using Transformer for Multi-dimensional Sensor Data Processing
Kyushu Institute of Technology(九州工业大学)
本文提出一种基于Transformer架构的增强型n维数值处理模型,通过线性层嵌入、分箱预处理和输出层线性变换处理多维传感器信号,在五个数据集上使人类活动识别准确率较vanilla Transformer提升10%-15%。
2025-05-28 cs.AI cs.LG
Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for Long-term Traffic Prediction
University of Shanghai for Science and Technology(上海理工大学);Capital One(第一资本)
针对长期交通预测中动态时空依赖难捕捉的问题,提出融合混合Transformer、切比雪夫图卷积与两项时空自监督学习任务的模型,经自适应数据增强提升鲁棒性,在PeMS04、PeMS08数据集上表现更优。
2024-01-29 cs.AI cs.LG
Self-Supervised Pre-Training of Swin Transformers for 3D Medical Image Analysis
Vanderbilt University(范德堡大学);NVIDIA(英伟达)
视觉Transformer(ViT)在全局和局部表示的自监督学习中表现出出色的性能,这些表示可以转移到下游应用程序。受这些结果的启发,我们引入了一个新的自监督学习框架与定制的代理任务的医学图像分析。具体而言,我们建议:(i)一种新的基于3D变换器的模型,称为Swin UNEt Transformers(Swin UNETR),具有用于自我监督预训练的分层编码器;(ii)定制的代理任务,用于学习人体解剖学的基本模式。我们在来自各种身体器官的5,050个公开的计算机断层扫描(CT)图像上成功地对所提出的模型进行了预训练。我们的方法的有效性是通过微调预训练模型的超越颅骨拱顶(BTCV)分割挑战与13个腹部器官和分割任务从医学分割十项全能(MSD)数据集。我们的模型目前在MSD和BTCV数据集的公共测试排行榜上都是最先进的(即排名第一)。代码:https://monai.io/research/swin-unetr
2022-03-28 cs.AI cs.CV cs.LG
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能委员会);LIST(信息系统技术与软件实验室);Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息技术与信息系统实验室)
本文提出COMEDIAN流程,通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位,在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
Revitalizing CNN Attentions via Transformers in Self-Supervised Visual Representation Learning
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室);University of Oxford(牛津大学)
自监督视觉表示学习(SSL)的研究提高了编码器的骨干,以区分没有标签的训练样本。虽然通过SSL的CNN编码器实现了与通过监督学习的编码器相当的识别性能,但它们的网络注意力尚未得到进一步改进。受在识别场景中有效探索视觉注意力的Transformers的启发,我们提出了一个CNN注意力恢复(CARE)框架,以训练由SSL中的Transformers引导的注意力集中的CNN编码器。所提出的CARE框架由CNN流(C-stream)和Transformer流(T-stream)组成,其中每个流包含两个分支。C-stream遵循现有的SSL框架,具有两个CNN编码器,两个投影仪和一个预测器。T-stream包含两个Transformers,两个projector和一个predictor。T-Stream连接到CNN编码器,并与其余的C-Stream并行。在训练过程中,我们同时在两个流中执行SSL,并使用T流输出来监督C流。来自CNN编码器的特征在T流中被调制以用于视觉注意力增强,并且变得适合于SSL场景。我们使用这些调制特征来监督C流,以学习专注的CNN编码器。为此,我们以Transformers为指导,重振CNN的关注。几个标准的视觉识别基准,包括图像分类,目标检测和语义分割的实验表明,所提出的CARE框架提高了CNN编码器骨干的最先进的性能。
2021-10-11 cs.CV cs.LG
S2F2: Self-Supervised High Fidelity Face Reconstruction from Monocular Image
InterDigital R&I(InterDigital研发创新中心)
我们提出了一种新的人脸重建方法,能够重建详细的人脸几何形状,空间变化的人脸反射率从一个单一的单目图像。我们的工作建立在基于DNN的自动编码器的最新进展之上,该编码器具有可微分的光线追踪图像形成,以自我监督的方式进行训练。虽然提供了基于学习的方法和实时重建的优势,后一种方法缺乏保真度。在这项工作中,我们实现了,第一次,高保真人脸重建仅使用自监督学习。我们新颖的从粗到细的深度架构使我们能够以高计算速度解决使用单个图像将面部反射与几何结构解耦的挑战性问题。与最先进的方法相比,我们的方法实现了更具视觉吸引力的重建。
2022-04-05 cs.CV cs.GR cs.LG
Self-supervised Graph Transformer with Contrastive Learning for Brain Connectivity Analysis towards Improving Autism Detection
University of Arizona(亚利桑那大学);Children's National Hospital(儿童国家医院);Imperial College London(伦敦帝国学院)
本文提出一种结合对比学习与随机图改变的自监督图Transformer框架,通过脑网络Transformer编码器分析fMRI数据,在ABIDE数据集上实现82.6 AUROC和74%准确率,显著提升了自闭症检测性能。
2025-01-18 cs.AI cs.LG
DSFormer: A Dual-domain Self-supervised Transformer for Accelerated Multi-contrast MRI Reconstruction
Yale University(耶鲁大学);New York University(纽约大学);Hyperfine Research(Hyperfine研究公司)
多对比度MRI(MC-MRI)可捕获多种互补成像模式,以辅助放射学决策。鉴于需要降低多次采集的时间成本,当前的深度加速MRI重建网络专注于利用多次对比之间的冗余。然而,现有的工作主要是监督配对数据和/或昂贵的全采样MRI序列。此外,重建网络通常依赖于卷积架构,其在对远程相互作用进行建模的能力方面受到限制,并且可能导致精细解剖细节的次优恢复。为此,我们提出了一个双域自监督Transformer(DSFormer)加速MC-MRI重建。DSFormer开发了一种深度条件级联Transformer(DCCT),由几个级联的Swin Transformer重建网络(SwinRN)组成,在两种深度条件策略下进行训练,以实现MC-MRI信息共享。我们进一步提出了一个双域(图像和k空间)的DCCT自监督学习策略,以减轻获取完全采样的训练数据的成本。DSFormer生成高保真重建,在实验上优于当前的全监督基线。此外,我们发现DSFormer在完全监督或我们提出的双域自监督下训练时达到了几乎相同的性能。
2022-08-17 cs.CV cs.LG eess.IV
Supervised Contrastive Vision Transformer for Breast Histopathological Image Classification
Old Dominion University(奥多明尼昂大学)
提出监督对比视觉Transformer(SupCon-ViT),结合预训练ViT与监督对比学习,在乳腺IDC分类中达到SOTA性能(F1=0.8188),并适用于少量标注数据的临床场景。
2024-04-18 cs.CV cs.LG
DINO-CXR: A self supervised method based on vision transformer for chest X-ray classification
Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学)
本文提出DINO-CXR,一种基于视觉Transformer的自监督方法,用于胸部X光分类,在肺炎和COVID-19检测中优于现有方法且所需标注数据更少。
2023-08-01 cs.CV cs.LG eess.IV
Dual-Domain Self-Supervised Learning for Accelerated Non-Cartesian MRI Reconstruction
Hyperfine Research(Hyperfine研究院);Yale University(耶鲁大学);New York University(纽约大学)
虽然能够加速采集和提高重建精度,但当前的深度MRI重建网络通常是受监督的,需要完全采样的数据,并且限于笛卡尔采样模式。这些因素限制了它们的实际应用,因为全采样MRI在临床上采集非常耗时。此外,非笛卡尔采样模式特别理想,因为它们更容易受到加速度的影响,并且显示出更好的运动鲁棒性。为此,我们提出了一个完全自我监督的方法,加速非笛卡尔MRI重建,利用自我监督在k空间和图像域。在训练中,欠采样数据被分成不相交的k空间域分区。对于k-空间自监督,我们训练一个网络来重建输入欠采样数据从不相交的分区和从本身。对于图像级的自我监督,我们强制从原始欠采样数据和两个分区获得的外观一致性。在我们模拟的多线圈非笛卡尔MRI数据集上的实验结果表明,DDSS可以生成接近完全监督重建精度的高质量重建,优于以前的基线方法。最后,DDSS被证明可以扩展到在便携式低场(0.064 T)MRI扫描仪上采集的极具挑战性的真实世界临床MRI重建,没有数据可用于监督训练,同时证明与传统重建相比,图像质量有所改善,如放射科医生研究所确定的。
2023-02-18 cs.CV cs.LG eess.IV
Self-supervised Deep Unrolled Reconstruction Using Regularization by Denoising
State University of New York at Buffalo(纽约州立大学布法罗分校);Cleveland Clinic(克利夫兰诊所);Paul C. Lauterbur Research Center for Biomedical Imaging, SIAT, CAS(中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心)
针对MRI重建需大量标注数据的问题,提出结合自监督去噪网络与即插即用方法的DURED-Net,借助RED实现去噪网络的应用,在更少训练数据下达到优于现有Noise2Noise类方法的重建效果。
2023-10-05 cs.CV cs.LG eess.IV
Self-supervised speech representation learning for keyword-spotting with light-weight transformers
Amazon(亚马逊)
自监督语音表示学习(S3RL)正在彻底改变我们利用不断增长的数据可用性的方式。虽然S3RL相关研究通常使用大型模型,但我们采用轻量级网络来满足计算受限设备的内存要求。我们通过使用具有330k参数的Transformers来证明S3RL在关键词定位(KS)问题上的有效性,并提出了一种增强话语区分的机制,这对于提高分类任务的性能至关重要。在Google语音命令v2数据集上,应用于自回归预测编码S3RL的方法与从头开始训练相比,准确率提高了1.2%。在具有四个不同关键字的内部KS数据集上,它在固定的错误拒绝率下提供了6%至23.7%的相对错误接受改善。我们认为,这表明了S3RL方法的适用性,轻量级模型KS和确认S3RL是一个强大的替代传统的监督学习资源受限的应用程序。
2023-03-07 cs.LG cs.SD eess.AS
Masked Self-Supervised Pre-Training for Text Recognition Transformers on Large-Scale Datasets
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院)
本文提出掩码自监督预训练方法,通过逐步增加掩码概率并改进损失函数,在5000万未标注文本行上预训练文本识别Transformer,显著降低字符错误率(最高相对降低30%),性能与迁移学习相当且无需额外标注数据。
2025-03-28 cs.AI cs.CV cs.LG
Efficient Self-supervised Vision Transformers for Representation Learning
Microsoft Research(微软研究院);Microsoft Cloud + AI(微软云计算与人工智能部门)
本文研究了两种技术,开发有效的自我监督视觉Transformer(EsViT)的视觉表示学习。首先,我们通过一个全面的实证研究表明,多阶段架构与稀疏的自我注意力可以显着降低建模的复杂性,但失去了捕捉图像区域之间的细粒度对应的能力的成本。其次,我们提出了一个新的区域匹配的预训练任务,它允许模型捕获细粒度的区域依赖关系,从而显着提高了学习的视觉表示的质量。我们的研究结果表明,结合这两种技术,EsViT在ImageNet线性探针评估中达到了81.3%的top-1,优于现有技术,吞吐量高出一个数量级。当转移到下游线性分类任务时,EsViT在18个数据集中的17个数据集上的表现优于其监督对手。代码和模型可在https://github.com/microsoft/esvit上公开获取
2022-07-06 cs.AI cs.CV cs.LG
Self-Supervised Multimodal Fusion Transformer for Passive Activity Recognition
University of Bristol(布里斯托大学)
Wi-Fi信号的普及为医疗保健等领域的人类感知和活动识别提供了重要机会。最常用于无源Wi-Fi感测的传感器基于无源Wi-Fi雷达(PWR)和信道状态信息(CSI)数据,然而,当前系统不能有效地利用通过多个传感器获取的信息来识别不同的活动。在本文中,我们探索新的性能的Transformer架构的多模态传感器融合。我们研究了不同的信号处理技术,从PWR和CSI数据中提取多个基于图像的特征,如频谱图,尺度图和马尔可夫转移场(MTF)。首先,我们提出了融合Transformer,注意力为基础的多模态和多传感器融合模型。实验结果表明,我们的融合Transformer的方法可以实现有竞争力的结果相比,ResNet架构,但更少的资源。为了进一步改进我们的模型,我们提出了一个简单有效的多模态和多传感器自监督学习(SSL)框架。自监督Fusion Transformer的性能优于基线,达到了95.9%的F1分数。最后,我们展示了这种方法在使用1%(2分钟)到20%(40分钟)的标记训练数据进行训练时,如何显着优于其他方法。
2022-08-15 cs.CV cs.HC cs.LG
Transformer-Based Self-Supervised Learning for Emotion Recognition
Orange Labs(橙色实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
为了利用时间序列信号(例如生理信号)的表示,这些表示从整个信号捕获相关信息是必要的。在这项工作中,我们提出了使用基于变换器的模型来处理心电图(ECG)的情感识别。Transformer的注意力机制可用于构建信号的情境化表示,从而赋予相关部分更多重要性。然后,这些表示可以用完全连接的网络进行处理,以预测情绪。为了克服带有情感标签的数据集相对较小的问题,我们采用了自监督学习。我们收集了几个没有情感标签的ECG数据集来预训练我们的模型,然后我们对AMIGOS数据集进行了微调以进行情感识别。我们表明,我们的方法达到了最先进的性能,使用心电图信号AMIGOS的情感识别。更一般地说,我们的实验表明,Transformers和预训练是很有前途的策略与生理信号的情感识别。
2022-06-03 cs.AI cs.LG eess.SP
VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text
Columbia University(哥伦比亚大学);Google(谷歌);Cornell University(康奈尔大学)
我们提出了一个框架,学习多模态表示从未标记的数据使用卷积自由Transformer架构。具体来说,我们的视频-音频-文本Transformer(VATT)将原始信号作为输入,并提取多模态表示,这些表示足够丰富,可以使各种下游任务受益。我们使用多模态对比损失从头开始训练VATT端到端,并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务来评估其性能。此外,我们研究了一个模态不可知的,单骨干Transformer共享三个模态之间的权重。我们证明了无卷积VATT在下游任务中的性能优于最先进的基于ConvNet的架构。特别是,VATT的视觉Transformer在Kinetics-400上达到了82.1%的顶级准确率,在Kinetics-600上达到了83.6%,在Kinetics-700上达到了72.7%,在Moments in Time上达到了41.1%,这些都是新的记录,同时避免了监督式的预训练。转移到图像分类导致ImageNet上的top-1准确率为78.7%,而从头开始训练相同的Transformer的准确率为64.7%,这表明尽管视频和图像之间存在领域差距,但我们的模型具有普遍性。VATT的音频Transformer还在基于波形的音频事件识别方面创造了新纪录,在AudioSet上实现了39.4%的mAP,而无需任何监督的预训练。VATT的源代码是公开的。
2021-12-07 cs.AI cs.CV cs.LG
20-fold Accelerated 7T fMRI Using Referenceless Self-Supervised Deep Learning Reconstruction
Department of Electrical and Computer Engineering(电气与计算机工程系);Center for Magnetic Resonance Research(磁共振研究中心);Department of Neurosurgery, University of Minnesota(明尼苏达大学神经外科系);University of Minnesota(明尼苏达大学);Minneapolis, MN, USA(美国明尼苏达州明尼阿波利斯市(注:这部分按要求不应提取,实际是地址信息,此处仅为说明))
整个大脑的高空间和时间分辨率是fMRI准确分辨神经活动的关键。因此,加速成像技术以具有高时空分辨率的改进的覆盖为目标。同步多切片(SMS)成像结合平面内加速度用于涉及双磁场fMRI的大型研究,例如人类连接组项目。然而,对于甚至更高的加速速率,由于混叠和噪声伪影,这些方法不能被可靠地利用。深度学习(DL)重建技术最近在改善高加速MRI方面获得了极大的兴趣。DL重建的监督学习通常需要完全采样的训练数据集,这对于高分辨率fMRI研究是不可用的。为了应对这一挑战,已经提出了自监督学习来训练仅使用欠采样数据集的DL重建,表现出与监督学习相似的性能。在这项研究中,我们利用一个自我监督的物理引导DL重建的5倍SMS和4倍面内加速7T的fMRI数据。我们的研究结果表明,我们的自监督DL重建在20倍加速下产生高质量的图像,大大改善了现有方法,同时与标准的10倍加速采集相比,在后续分析中显示出类似的功能精度和时间效应。
2021-05-12 cs.CV cs.LG eess.IV
Self-Supervised Learning of Physics-Guided Reconstruction Neural Networks without Fully-Sampled Reference Data
University of Minnesota(明尼苏达大学);Center for Magnetic Resonance Research(磁共振研究中心)
目的:开发一种在没有完全采样数据集数据库的情况下训练物理引导MRI重建神经网络的策略。理论与方法:通过数据欠采样(SSDU)进行的自监督学习用于物理引导的深度学习(DL)重建将可用测量值划分为两个不相交的集合,其中一个用于展开网络中的数据一致性单元,另一个用于定义训练损失。建议的训练没有完全采样的数据进行比较,完全监督训练与地面实况数据,以及传统的压缩感知和并行成像方法使用公开的fastMRI膝关节数据库。相同的物理指导神经网络用于建议的SSDU和监督训练。SSDU训练还应用于不同加速率下的前瞻性2倍加速高分辨率脑数据集,并与并行成像进行比较。结果如下:在5个不同的膝关节序列的加速率为4的结果表明,所提出的自我监督的方法执行密切监督学习,而显着优于传统的压缩感知和并行成像,其特征在于定量指标和临床读者的研究。前瞻性子采样大脑数据集的结果表明,由于缺乏地面真实参考,无法使用监督学习,所提出的自监督方法可以在高加速率下成功地进行重建(4,6和8)。图像读数表明改进的视觉重建质量与所提出的方法相比,并行成像在采集加速。结论:所提出的SSDU方法允许在没有完全采样数据的情况下训练物理引导的DL-MRI重建,同时实现与在完全采样数据上训练的监督DL-MRI相当的结果。
2020-04-14 cs.CV cs.LG eess.IV
Interpretable Joint Event-Particle Reconstruction for Neutrino Physics at NOvA with Sparse CNNs and Transformers
University of California Irvine(加州大学欧文分校)
在NOvA长基线中微子振荡实验中观察到的复杂事件包含了理解标准模型中最难以捉摸的粒子的重要信息。NOvA探测器观测费米实验室NuMI光束中中微子的相互作用。将这些相互作用事件中产生的粒子与它们的源粒子相关联,这一过程称为重建,对于准确测量标准模型的关键参数至关重要。事件可能包含几个粒子,每个粒子产生稀疏的高维空间观测,目前的方法仅限于评估单个粒子。为了准确地标记这些大量的高维观测,我们提出了一种新的神经网络架构,该架构将卷积实现的空间学习与注意力实现的上下文学习相结合。这种联合方法,transformerCVN,同时对每个事件进行分类,并重建每个粒子的身份。TransformerCVN以90%的准确度对事件进行分类,并将单个粒子的重建比缺乏TransformerCVN集成架构的基线方法提高了6%。此外,这种架构使我们能够执行几个可解释性研究,这些研究提供了对网络预测的见解,并表明TransformerCVN发现了源于标准模型的几个基本原则。
2023-03-10 cs.LG
TransformerFusion: Monocular RGB Scene Reconstruction using Transformers
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们介绍了TransformerFusion,基于变换的三维场景重建方法。从输入的单目RGB视频中,视频帧由Transformer网络处理,该网络将观察融合到表示场景的体积特征网格中;然后将该特征网格解码为隐式3D场景表示。我们的方法的关键是Transformer架构,它使网络能够学习关注场景中每个3D位置的最相关图像帧,仅由场景重建任务监督。特征以从粗到细的方式融合,仅在需要时存储精细级特征,需要更低的内存存储并以交互速率实现融合。然后,使用来自内插的从粗到细的3D特征的基于MLP的表面占用预测,将特征网格解码为更高分辨率的场景重建。我们的方法可以实现精确的表面重建,优于最先进的多视图立体视觉深度估计方法、全卷积3D重建方法以及使用基于LSTM或GRU的递归网络进行视频序列融合的方法。
2021-07-05 cs.CV cs.GR cs.LG
Semi-supervised CAPP Transformer Learning via Pseudo-labeling
Simula Research Laboratory(Simula研究实验室);National Technical University of Athens(希腊国家技术大学)
本文提出一种半监督学习方法,通过假设标签改进基于变换器的CAPP模型,提升数据稀缺环境下的制造过程规划准确性。
2026-09-01 cs.AI cs.LG
Text classification in shipping industry using unsupervised models and Transformer based supervised models
Cranfield University(克兰菲尔德大学);University of Liverpool(利物浦大学)
在特定上下文中获取标记数据可能是昂贵且耗时的。虽然已经采用了不同的算法,包括无监督学习,半监督学习,自学习,文本分类的性能随上下文而变化。针对国际航运业中缺乏标签数据集的问题,提出了一种新的、简单的无监督文本分类模型,并利用国际贸易标准分类(SITC)代码对国际航运业中的货物内容进行分类。我们的方法源于使用预训练的Glove词嵌入表示单词,并使用余弦相似度找到最可能的标签。为了比较无监督文本分类模型和有监督分类模型,我们还应用了几种Transformer模型对货物内容进行分类。由于缺乏训练数据,采用了国际贸易标准分类数字代码和相应的文字说明作为训练数据。使用少量人工标记的货物内容数据来评估非监督分类和基于Transformer的监督分类的分类性能。比较表明,即使在将训练数据集的大小增加30%之后,非监督分类也显著优于基于Transformer的监督分类。缺乏训练数据是阻碍深度学习模型(如Transformers)成功应用的关键瓶颈。无监督分类可以在训练数据不足的情况下为文本分类提供另一种高效的方法。
2022-12-21 cs.CL cs.LG
Keep It SimPool: Who Said Supervised Transformers Suffer from Attention Deficit?
National Technical University of Athens(雅典国立技术大学);Institute of Advanced Research in Artificial Intelligence (IARAI)(人工智能高级研究所(IARAI))
针对监督视觉Transformer注意力图质量低的问题,提出通用基于注意力的池化机制SimPool,无需修改架构或显式损失,即可在监督和自监督下提升性能并生成高质量物体边界注意力图。
2023-09-13 cs.CV cs.LG
Semi-supervised Vision Transformers at Scale
AWS AI Labs(亚马逊云科技人工智能实验室)
我们研究半监督学习(SSL)的视觉Transformer(ViT),尽管广泛采用的ViT架构不同的任务,一个未充分探讨的话题。为了解决这个问题,我们提出了一个新的SSL管道,包括第一个非/自我监督的预训练,其次是监督微调,最后是半监督微调。在半监督微调阶段,我们采用指数移动平均(EMA)-教师框架,而不是流行的FixMatch,因为前者更稳定,并提供更高的精度为半监督视觉Transformer。此外,我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签,以改进正则化,这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法,被称为半ViT,实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势,可以轻松扩展到大尺寸模型,并提高精度。例如,Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率,这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Fast MRI Reconstruction: How Powerful Transformers Are?
Imperial College London(帝国理工学院);Royal Brompton Hospital(皇家布朗普顿医院)
磁共振成像(MRI)是一种广泛使用的非辐射和非侵入性的方法,用于器官结构和代谢的临床询问,具有固有的长扫描时间。k空间欠采样和基于深度学习的重建方法已经普及,以加速扫描过程。这项工作的重点是研究如何强大的Transformers是快速MRI利用和比较不同的新型网络架构。特别地,基于生成对抗网络(GAN)的Swin Transformer(ST-GAN)被引入用于快速MRI重建。为了进一步保留边缘和纹理信息,还开发了基于边缘增强的GAN的Swin Transformer(EES-GAN)和基于纹理增强的GAN的Swin Transformer(TES-GAN),其中应用了双边缘GAN结构。我们比较了我们提出的基于GAN的Transformers,独立Swin Transformer和其他基于卷积神经网络的GAN模型的评估指标PSNR,SSIM和FID。我们表明,Transformers工作以及从不同的欠采样条件下的MRI重建。利用GAN的对抗结构可以提高欠采样30%或更高时重建图像的质量。该代码可在https://github.com/ayanglab/SwinGANMR上公开获取。
2022-04-04 cs.CV cs.LG eess.IV
Self-Supervised Transformers for fMRI representation
Tel Aviv University(特拉维夫大学)
我们提出的TFF,这是一个Transformer框架的功能磁共振成像(fMRI)数据的分析。TFF采用两阶段培训方法。首先,将自监督训练应用于fMRI扫描的集合,其中训练模型以重建3D体积数据。其次,预训练的模型在特定任务上进行微调,使用地面真实标签。我们的研究结果显示了各种功能磁共振成像任务的最新表现,包括年龄和性别预测,以及精神分裂症识别。我们的代码的培训,网络架构和结果作为补充材料。
2022-08-13 cs.CV cs.LG eess.IV
SOHET: Sequence Of Heterogeneous Events Transformer with Self-Supervised Pre-Training
Booking.com, Amsterdam, The Netherlands(Booking.com,阿姆斯特丹,荷兰)
提出SOHET模型,通过层次化架构结合事件类型特定表格编码器与时间/类型嵌入,并引入三种自监督预训练目标,在欺诈检测和EBES基准上取得最优性能。
2026-06-23 cs.AI cs.LG
Transformers in Action: Weakly Supervised Action Segmentation
Technische Universität München(慕尼黑工业大学);Google(谷歌)
视频动作分割任务经常在较弱的监督形式下进行探索,例如转录监督,其中动作列表比密集的帧标签更容易获得。在这个公式中,任务提出了各种挑战的序列建模方法,由于强调动作转换点,长序列长度,和帧上下文,使任务以及Transformers。考虑到使Transformers能够线性扩展的发展,我们通过我们的架构展示了它们如何应用于提高基于RNN的等效模型的动作对齐精度,其中注意力机制专注于突出的动作过渡区域。此外,鉴于最近的重点推理时间的成绩单选择,我们提出了一个补充的成绩单嵌入方法,以选择成绩单更快地在推理时间。此外,我们随后演示了这种方法如何也可以提高整体分割性能。最后,我们在基准数据集上评估了我们提出的方法,以更好地理解Transformers的适用性以及转录本选择在这个视频驱动的弱监督任务中的重要性。
2022-01-20 cs.CV cs.LG
Towards Weakly-Supervised Text Spotting using a Multi-Task Transformer
AWS AI Labs(亚马逊云科技人工智能实验室)
由于联合优化文本检测和识别组件的好处,文本定位端到端方法最近在文献中获得了关注。现有的方法通常在检测和识别分支之间有明显的分离,这两个任务需要精确的注释。我们介绍TextTranSpotter(TTS),一种基于transformer的文本识别方法和第一个文本识别框架,它可以用完全和弱监督设置进行训练。通过学习每个单词检测的单个潜在表示,并使用基于匈牙利损失的新型损失函数,我们的方法消除了对昂贵的本地化注释的需求。在真实数据上仅使用文本转录注释进行训练,我们的弱监督方法与以前最先进的全监督方法相比具有竞争力的性能。当以完全监督的方式进行训练时,TextTranSpotter在多个基准测试中显示了最先进的结果。
2022-02-14 cs.CL cs.CV cs.LG
VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion
University of California, Santa Barbara(加州大学圣巴巴拉分校)
最近的体积3D重建方法可以产生非常准确的结果,甚至对于未观察到的表面也具有合理的几何形状。然而,当涉及到多视图融合时,它们面临着不期望的权衡。它们可以通过全局平均来融合所有可用的视图信息,从而丢失精细的细节,或者它们可以对局部融合的视图进行聚类,从而限制它们联合考虑所有视图的能力。我们的关键见解是,可以保留更多的细节,而不限制视图的多样性,通过学习相机姿势和图像内容的条件下的视图融合功能。我们建议使用Transformer来学习这种多视图融合。为此,我们引入了VoRTX,这是一种端到端的体积3D重建网络,使用Transformers进行宽基线,多视图特征融合。我们的模型是闭塞意识,利用Transformer架构来预测一个初始的,投影场景的几何估计。该估计用于避免通过表面将图像特征反向投影到被遮挡区域中。我们在ScanNet上对我们的模型进行了训练,并表明它比最先进的方法产生了更好的重建。我们还展示了泛化,没有任何微调,优于其他两个数据集,TUM-RGBD和ICL-NUIM相同的最先进的方法。
2021-12-01 cs.CV cs.LG
PatchTrAD: A Patch-Based Transformer focusing on Patch-Wise Reconstruction Error for Time Series Anomaly Detection
INSA Rouen(鲁昂国立应用科学学院);Univ Rouen(鲁昂大学);Normandie Univ(诺曼底大学)
本文提出PatchTrAD,一种在重构框架下结合分块与Transformer编码器的时间序列异常检测模型,在多个基准上达到与前沿深度学习模型相当的检测性能,并提升推理效率。
2025-06-10 cs.AI cs.LG
RESTAD: REconstruction and Similarity based Transformer for time series Anomaly Detection
Delft University of Technology(代尔夫特理工大学)
针对仅靠重构误差的无监督时间序列异常检测难发现细微异常的问题,提出融合RBF神经元层的Transformer模型RESTAD,结合相似度得分与重构误差提升检测敏感度,在多个基准数据集上表现优于现有基线。
2024-05-13 cs.AI cs.LG
TUNet: A Block-online Bandwidth Extension Model based on Transformers and Self-supervised Pretraining
FPT Software(FPT软件公司);Nanyang Technological University(南洋理工大学)
我们引入了一个块的时间特征线性调制(TFiLM)模型的在线变体,以实现带宽扩展。该架构简化了TFiLM的UNet主干以减少推理时间,并在瓶颈处采用高效的Transformer以缓解性能下降。我们还利用自监督预训练和数据增强来提高带宽扩展信号的质量,并降低对下采样方法的敏感性。在VCTK数据集上的实验结果表明,该方法在侵入性和非侵入性度量方面都优于最近的几个基线。预训练和滤波器增强也有助于稳定和提高整体性能。
2022-06-07 cs.LG cs.SD eess.AS
Multi-domain Integrative Swin Transformer network for Sparse-View Tomographic Reconstruction
Sun Yat-sen University(中山大学);China Three Gorges University(三峡大学);The First People’s Hospital of Yichang(宜昌市第一人民医院)
减少投影视图以降低X射线辐射剂量通常会导致严重的条纹伪影。为了提高稀疏数据的图像质量,本文提出了一种多域集成Swin Transformer网络(MIST-net)。首先,MIST-net采用灵活的网络结构,将数据、残差数据、图像和残差图像等丰富的域特征融合在一起,其中残差数据和残差图像子网络被视为数据一致性模块,以消除插值和重建误差。其次,一个可训练的边缘增强滤波器被纳入检测和保护图像的边缘。第三,高质量的重建Swin Transformer(即,Recformer)被设计用于捕获图像全局特征。在48个视图的数值和真实心脏临床数据集上的实验结果表明,我们提出的MIST-net提供了更好的图像质量,具有更多的小特征和尖锐的边缘比其他竞争对手。
2022-04-15 cs.CV cs.LG eess.IV
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley(加州大学伯克利分校);Salesforce AI Research(Salesforce AI研究)
本文提出理论框架,证明监督预训练的Transformer可模仿专家算法条件期望,并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法,首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Unsupervised MRI Reconstruction via Zero-Shot Learned Adversarial Transformers
Bilkent University(比尔肯特大学);National Magnetic Resonance Research Center, Bilkent University(比尔肯特大学国家磁共振研究中心)
监督重建模型在特征上是在匹配的欠采样和全采样数据对上训练的,以捕获MRI先验,以及关于成像操作员的监督,以加强数据一致性。为了减少监督要求,最近的深度图像先验框架在推理期间将未经训练的MRI先验与成像算子结合起来。然而,规范卷积架构在捕获远程关系方面是次优的,并且基于随机初始化网络的先验可能会产生次优性能。为了解决这些局限性,在这里,我们介绍了一种新的无监督MRI重建方法的基础上zero-Shot学习对抗Transformers(SLATER)。SLATER体现了一个深度对抗网络,具有交叉注意力Transformers,可将噪声和潜在变量映射到线圈组合的MR图像上。在预训练期间,该无条件网络在无监督生成建模任务中学习高质量的MRI先验。在推断期间,然后通过结合成像算子并优化先验以最大化欠采样数据的一致性来执行zero-shot重建。在大脑MRI数据集上进行的综合实验清楚地证明了SLATER相对于最先进的无监督方法的优越性能。
2022-01-16 cs.CV cs.LG eess.IV
3D-C2FT: Coarse-to-fine Transformer for Multi-view 3D Reconstruction
Korea Institute of Science and Technology(韩国科学技术研究院);Aidot Inc.(Aidot公司);Yonsei University(延世大学)
最近,Transformer模型已成功地用于多视图三维重建问题。然而,设计一个注意力机制来探索多视图特征并利用它们之间的关系来加强编码-解码模块仍然是一个挑战。本文提出了一种新的模型,即三维粗到细Transformer(3D-C2FT),通过引入一种新的粗到细(C2F)注意力机制编码的多视图特征和纠正缺陷的三维物体。C2F注意力机制使模型能够学习多视图信息流,并以由粗到细的方式合成3D表面校正。该模型通过ShapeNet和多视图真实生活数据集进行评估。实验结果表明,3D-C2 FT在这些数据集上取得了显着的结果,并且优于几个竞争模型。
2023-01-17 cs.AI cs.CV cs.LG
Improved Supervised Training of Physics-Guided Deep Learning Image Reconstruction with Multi-Masking
University of Minnesota(明尼苏达大学)
通过算法展开的物理引导的深度学习(PG-DL)对于改进的图像重建(包括MRI应用)已经引起了极大的兴趣。这些方法将迭代优化算法展开为一系列正则化单元和数据一致性单元。展开的网络通常使用监督方法进行端到端训练。当前的监督PG-DL方法在其数据一致性单元中使用所有可用的子采样测量。因此,网络学习拟合其余的测量值。在这项研究中,我们建议通过回顾性地选择数据一致性单元的所有可用测量的子集,利用随机性来提高监督训练的性能和鲁棒性。在训练过程中使用不同的随机掩码重复该过程多次,以进一步增强。膝关节MRI的结果表明,所提出的多掩模监督PG-DL提高重建性能相比,传统的监督PG-DL方法。
2020-10-26 cs.CV cs.LG eess.IV
Magnetic Resonance Image Processing Transformer for General Accelerated Image Reconstruction
Boston University(波士顿大学);Photonics Center(光子学中心);Chobanian & Avedisian School of Medicine(乔巴尼亚与阿韦迪西安医学院);Boston University Medical Campus(波士顿大学医学校区);Rafik B. Hariri Institute for Computing and Computational Science & Engineering(拉菲克·B·哈里里计算与计算科学与工程研究所)
本研究提出基于ViT的磁共振图像处理Transformer(MR-IPT)框架,通过大规模多欠采样模式与加速设置数据集预训练,实现统一重建,泛化性与鲁棒性优于传统模型,为加速MRI提供高效解决方案。
2025-02-07 cs.CV cs.LG eess.IV
SUPER Learning: A Supervised-Unsupervised Framework for Low-Dose CT Image Reconstruction
Michigan State University(密歇根州立大学)
近年来,人们对用于低剂量X射线CT(LDCT)成像任务的基于机器学习的模型和技术越来越感兴趣。这些方法通常可以分为监督学习方法和无监督或基于模型的学习方法。监督学习方法最近在图像复原任务中显示出成功。然而,它们通常依赖于大型训练集。基于模型的学习方法,如字典或变换学习,不需要大的或成对的训练集,通常具有良好的泛化性能,因为它们学习CT图像集的一般属性。最近的工作已经显示了有前途的重建性能的方法,如PWLS-ULTRA,依赖于聚类的基础(重建)图像补丁到一个学习的联盟的变换。在本文中,我们提出了一个新的监督-非监督(SUPER)重建框架的LDCT图像重建,结合了监督学习方法和(无监督)变换学习为基础的方法,如PWLS-ULTRA,涉及高度图像自适应聚类的好处。SUPER模型由几层组成,每层都包括一个以监督方式学习的深度网络和一个涉及图像自适应组件的无监督迭代法。SUPER重建算法以贪婪的方式从训练数据中学习。所提出的SUPER学习方法显著优于基于成分监督学习的网络和LDCT的迭代算法,并且在迭代重建模块中使用更少的迭代。
2019-10-26 cs.CV cs.LG eess.IV
Multi-branch Cascaded Swin Transformers with Attention to k-space Sampling Pattern for Accelerated MRI Reconstruction
Monash Biomedical Imaging, Monash University(莫纳什大学生物医学成像中心);Department of Electrical and Computer Systems Engineering, Monash University(莫纳什大学电气与计算机系统工程系);School of Psychological Sciences, Monash University(莫纳什大学心理科学学院);Department of Data Science and AI, Monash University(莫纳什大学数据科学与人工智能系)
由于组织和骨骼之间的相似性,全局相关性在人类解剖结构中广泛存在。这些相关性反映在磁共振成像(MRI)扫描作为近距离质子密度和T1/T2参数的结果。此外,为了实现加速MRI,k空间数据被欠采样,这导致全局混叠伪影。卷积神经网络(CNN)模型被广泛用于加速MRI重建,但由于卷积运算的固有局部性,这些模型在捕获全局相关性方面受到限制。基于自注意的Transformer模型能够捕捉图像特征之间的全局相关性,然而,目前Transformer模型对MRI重建的贡献很小。现有的贡献主要提供CNN变压器混合解决方案,很少利用MRI的物理特性。在本文中,我们提出了一个基于物理的独立(无卷积)Transformer模型,标题为多头级联Swin Transformers(McSTRA)的加速MRI重建。McSTRA将几个相互关联的MRI物理相关概念与Transformer网络相结合:它通过移位窗口自注意机制利用全局MR特征;它使用多头设置分别提取属于不同频谱分量的MR特征;它通过级联网络在中间去混叠和k空间校正之间迭代,具有k空间中的数据一致性和中间损耗计算;此外,我们提出了一种新的位置嵌入生成机制,利用对应于欠采样掩码的点扩散函数来引导自我注意。我们的模型在视觉上和定量上都明显优于最先进的MRI重建方法,同时描述了提高的分辨率和消除混叠伪影。
2022-12-21 cs.AI cs.CV cs.LG
Vision Transformer-Based Time-Series Image Reconstruction for Cloud-Filling Applications
University of Luxembourg(卢森堡大学)
本文提出利用视觉Transformer的时间序列多光谱图像重建方法,通过结合时序一致性与SAR数据提升云覆盖区域的图像重建效果。
2026-04-05 cs.AI cs.CV cs.LG
Property Neurons in Self-Supervised Speech Transformers
National Taiwan University(台湾大学);University of Edinburgh(爱丁堡大学)
本文在自监督语音Transformer的前馈层中识别属性神经元,并证明在剪枝时保护这些神经元比基于范数的剪枝更有效,从而提升下游性能。
2024-09-20 cs.CL cs.LG cs.SD