Masked Vision-Language Transformers for Scene Text Recognition
Westone Information Industry INC.（卫士通信息产业股份有限公司）
场景文本识别（STR）使计算机能够识别和阅读各种真实世界场景中的文本。最近的STR模型受益于考虑语言信息，除了视觉线索。我们提出了一种新的掩蔽视觉语言Transformers（MVLT）捕捉显式和隐式的语言信息。我们的编码器是一个视觉Transformer，我们的解码器是一个多模态Transformer。MVLT的训练分为两个阶段：在第一阶段，我们设计了一个基于掩蔽策略的STR定制预训练方法;在第二阶段，我们微调我们的模型，并采用迭代校正方法来提高性能。MVLT在几个基准测试中获得了优于最先进STR模型的结果。我们的代码和模型可以在https://github.com/onealwj/MVLT上找到。
2022-11-09 cs.CV
MaskGIT: Masked Generative Image Transformer
Google Research（谷歌研究院）
生成Transformers在合成高保真和高分辨率图像方面在计算机视觉社区中经历了快速的普及增长。然而，到目前为止最好的生成Transformer模型仍然天真地将图像视为令牌序列，并按照光栅扫描顺序（即逐行）顺序解码图像。我们发现这种策略既不是最优的，也不是有效的。本文提出了一种新的图像合成范例使用双向Transformer解码器，我们称之为MaskGIT。在训练过程中，MaskGIT通过关注各个方向的标记来学习预测随机掩蔽的标记。在推理时，模型首先同时生成图像的所有标记，然后以前一代为条件迭代地细化图像。我们的实验表明，MaskGIT在ImageNet数据集上的性能明显优于最先进的Transformer模型，并将自回归解码加速高达64倍。此外，我们说明了MaskGIT可以很容易地扩展到各种图像编辑任务，如修补，外推和图像处理。
2022-02-08 cs.CV
HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling
University of Chinese Academy of Sciences（中国科学院大学）；Fudan University（复旦大学）
近年来，掩码图像建模（MIM）为视觉Transformer的自监督预训练提供了一种新的方法。高效实现的关键思想是在整个目标网络（编码器）中丢弃被掩蔽的图像块（或令牌），这要求编码器是普通的视觉Transformer（例如，ViT），尽管是分层的视觉Transformer（例如，Swin Transformer）在制定视觉输入方面具有潜在的更好的性质。在本文中，我们提出了一种新的设计分层视觉Transformer命名为HiViT（简称分层ViT），享有高效率和良好的性能在MIM。关键是去除不必要的“局部单元间操作”，得到结构简单的分层视觉Transformer，其中掩模单元可以像普通视觉Transformer一样被序列化。为此，我们从Swin Transformer开始，并且（i）将掩码单元大小设置为Swin Transformer的主阶段中的令牌大小，（ii）在主阶段之前关闭单元间自关注，以及（iii）消除主阶段之后的所有操作。实证研究证明了HiViT在全监督、自监督和迁移学习方面的优越性能。特别是，在ImageNet-1 K上运行MAE时，HiViT-B报告比ViT-B准确率提高了+0.6%，比Swin-B提高了1.9 $\times$速度，并且性能提高适用于检测和分割的下游任务。代码将公开提供。
2022-05-30 cs.CV
MATIS: Masked-Attention Transformers for Surgical Instrument Segmentation
Center for Research and Formation in Artificial Intelligence（人工智能研究与培训中心）；Universidad de los Andes（洛斯安第斯大学）
本研究提出两阶段全Transformer的手术器械分割方法MATIS，通过掩码注意力模块处理实例级区域候选，并结合视频Transformer提升时序一致性，在两个公开基准上性能超越现有最优方法。
2024-01-26 cs.CV
Masked Pre-Training of Transformers for Histology Image Analysis
Geisel School of Medicine at Dartmouth（达特茅斯盖泽尔医学院）；Dartmouth-Hitchcock Medical Center（达特茅斯-希区柯克医疗中心）；Dartmouth College（达特茅斯学院）
本文提出MaskHIT模型，通过掩码预训练Transformer以无标注方式学习全切片图像的组织学特征，在生存预测和癌症亚型分类上超越多种多实例学习及最新Transformer方法，并能准确识别临床相关结构。
2023-04-14 cs.CV
Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers
Department of Electrical and Computer Engineering, Florida International University, Miami, Florida, USA（电气与计算机工程系，佛罗里达国际大学，迈阿密，佛罗里达州，美国）
本文提出Gardener，通过信息熵分析无数据剪枝掩码自监督视觉变换器中的冗余块，实现高效的模型压缩和迁移学习。
2026-02-03 cs.CV
AdvMIM: Adversarial Masked Image Modeling for Semi-Supervised Medical Image Segmentation
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（高性能计算研究所（IHPC）、科技研究局（A*STAR））
针对半监督医学图像分割中Transformer因标注数据有限而缺乏监督信号的问题，提出对抗性掩码图像建模方法，通过构建辅助掩码域并设计对抗训练损失缩小域间差距，显著提升了分割性能。
2025-06-25 cs.CV
Transformer with Leveraged Masked Autoencoder for video-based Pain Assessment
Chonnam National University（全南大学）
本文提出一种结合 Masked Autoencoder 与 Transformers 分类器的深度学习模型，通过面部视频的表情与微表情有效捕捉疼痛指标，在 AI4Pain 数据集上取得良好结果，为客观全面的医疗疼痛评估提供创新方案。
2024-09-30 cs.CV
A Pytorch Reproduction of Masked Generative Image Transformer
本文使用 PyTorch 复现了 MaskGIT，通过掩码双向 Transformer 架构实现高效图像生成，在 ImageNet 上取得与原论文相近甚至更优的 FID 结果，并开源了代码与权重以促进研究。
2023-10-22 cs.CV
MaskINT: Video Editing via Interpolative Non-autoregressive Masked Transformers
University of California, Irvine（加州大学欧文分校）；GenAI, Meta（Meta GenAI部门）；National University of Singapore（新加坡国立大学）
本文提出MaskINT，将文本视频编辑分为零样本关键帧编辑与非自回归掩码Transformer帧插值两阶段，在保持与扩散模型相当性能的同时显著提升推理效率。
2024-04-02 cs.CV
MaskMamba: A Hybrid Mamba-Transformer Model for Masked Image Generation
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯微信AI模式识别中心）
本文提出混合 Mamba-Transformer 模型 MaskMamba，通过改进双向 Mamba 架构并引入上下文条件，在提升图像生成质量的同时实现推理速度大幅提升。
2024-09-30 cs.CV
MDT-A2G: Exploring Masked Diffusion Transformers for Co-Speech Gesture Generation
Fudan University（复旦大学）；Tencent Youtu Lab（腾讯优图实验室）；Zhejiang University（浙江大学）；Vivo Communication Technology Co. Ltd（维沃移动通信有限公司）
本文提出MDT-A2G，一种用于协同语音手势生成的掩码扩散Transformer，通过掩码建模强化手势序列时间关系，并融合音频、文本、情感和身份等多模态信息，同时利用高效推理策略实现显著加速，在保证生成质量的同时将学习和推理速度分别提升6倍和5.7倍以上。
2024-08-06 cs.CV
Improved Masked Image Generation with Token-Critic
Google Research（谷歌研究院）
非自回归生成Transformers最近表现出令人印象深刻的图像生成性能，以及比自回归对应物快几个数量级的采样。然而，从视觉标记的真实联合分布的最佳并行采样仍然是一个开放的挑战。在本文中，我们介绍了令牌批评，一个辅助模型，以指导采样的非自回归生成Transformer。给定一个被掩蔽和重建的真实图像，Token-Critic模型被训练以区分哪些视觉标记属于原始图像，哪些是由生成Transformer采样的。在非自回归迭代采样期间，Token-Critic用于选择接受哪些令牌以及拒绝和重新采样哪些令牌。结合Token-Critic，最先进的生成Transformer显着提高了其性能，并在具有挑战性的类条件ImageNet生成中，在生成图像质量和多样性之间的权衡方面优于最近的扩散模型和GANs。
2022-09-09 cs.CV
Boosting Continuous Emotion Recognition with Self-Pretraining using Masked Autoencoders, Temporal Convolutional Networks, and Transformers
Chinatelecom Cloud（中国电信云）
本文提出一种结合MAE预训练、TCN和Transformer编码器的自预训练方法，用于提升连续情感识别性能，并在ABAW竞赛的VA、Expr和AU任务上验证了其有效性。
2024-03-18 cs.CV
Masked autoencoders are effective solution to transformer data-hungry
Hangzhou Dianzi University（杭州电子科技大学）
视觉Transformer（ViTs）凭借其全局建模能力在多个视觉任务中优于卷积神经网络（CNN）。然而，ViT缺乏卷积固有的归纳偏差，这使得它需要大量的数据进行训练。这导致ViT在医学和科学等小数据集上的表现不如CNN。我们通过实验发现，掩码自编码器（MAE）可以使Transformer更专注于图像本身，从而在一定程度上缓解了ViT的数据饥饿问题。然而，目前的MAE模型过于复杂，导致小数据集上的过拟合问题。这导致在小数据集上训练的MAE和高级CNN模型之间仍然存在差距。因此，我们研究了如何降低MAE中的解码器复杂度，并找到了更适合小数据集的架构配置。此外，我们还设计了一个位置预测任务和一个对比学习任务来引入MAE的局部性和不变性。我们的对比学习任务不仅使模型能够学习高级视觉信息，而且还允许训练MAE的类令牌。这是大多数MAE改进工作都没有考虑到的。大量的实验表明，与当前流行的小数据集的掩码图像建模（MIM）和视觉Transformer相比，我们的方法在标准小数据集以及具有少量样本的医学数据集上显示出最先进的性能。代码和模型可在https://github.com/Talented-Q/SDMAE上获得。
2023-01-10 cs.CV
MST: Masked Self-Supervised Transformer for Visual Representation
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；SenseTime Research（商汤科技研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
Transformer已被广泛应用于自然语言处理（NLP）中的自监督预训练，并取得了巨大的成功。然而，在视觉自监督学习中，它还没有得到充分的探索。同时，以往的方法只从全局的角度考虑高层特征和学习表示，可能无法将其转移到关注局部特征的下游密集预测任务中。在本文中，我们提出了一种新的Masked自监督Transformer方法命名为MST，它可以显式地捕获图像的局部上下文，同时保留全局语义信息。具体而言，受自然语言处理中的MLM（Masked Language Modeling）思想的启发，提出了一种基于多头自注意映射的Masked token策略，该策略在不破坏自监督学习关键结构的前提下，动态地屏蔽局部块的部分token。更重要的是，屏蔽令牌连同剩余令牌一起由全局图像解码器进一步恢复，该全局图像解码器保留了图像的空间信息，并且对下游密集预测任务更友好。在多个数据集上的实验证明了该方法的有效性和通用性。例如，MST使用DeiT-S仅使用300个epoch预训练通过线性评估实现了76.9%的Top-1准确率，这比具有相同epoch的监督方法高出0.4%，比其可比变体DINO高出1.0%。对于密集预测任务，MST还在MS COCO目标检测上实现了42.7%的mAP，在Cityscapes分割上实现了74.04%的mIoU，仅使用100个epoch的预训练。
2021-10-24 cs.CV
MAGVIT: Masked Generative Video Transformer
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Georgia Institute of Technology（佐治亚理工学院）
提出MAGVIT模型，通过3D tokenizer和掩码视频token建模方法，用单一模型高效处理多种视频合成任务，在生成质量和推理速度上显著优于现有方法。
2023-04-05 cs.CV
ConvMAE: Masked Convolution Meets Masked Autoencoders
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
视觉Transformer（ViT）成为各种视觉任务广泛采用的架构。用于特征预训练和多尺度混合卷积变换架构的掩蔽自动编码可以进一步释放ViT的潜力，从而在图像分类，检测和语义分割方面实现最先进的性能。在本文中，我们的ConvMAE框架证明了多尺度混合卷积变换器可以通过掩码自动编码方案学习更多的判别表示。然而，直接使用原始的掩蔽策略会导致大量的计算成本和预训练-微调的差异。为了解决这个问题，我们采用掩蔽卷积来防止卷积块中的信息泄漏。提出了一种简单的分块掩蔽策略，以确保计算效率。我们还建议更直接地监督编码器的多尺度特征，以增强多尺度特征。基于我们预训练的ConvMAE模型，ConvMAE-Base将ImageNet-1 K微调精度提高了1.4%。在目标检测方面，仅微调25个epoch的ConvMAE-Base分别以2.9%的框AP和2.2%的掩模AP超过微调100个epoch的MAE-Base。代码和预训练模型可在https://github.com/Alpha-VL/ConvMAE上获得。
2022-05-19 cs.CV
MeshMAE: Masked Autoencoders for 3D Mesh Data Analysis
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
最近，自我监督的预训练已经在各种任务上推进了视觉Transformer。不同的数据模态，例如，图像和3D点云数据。在本文中，我们探讨这种学习范式的基础上，三维网格数据分析Transformers。由于将Transformer架构应用于新的模态通常是不平凡的，因此我们首先将视觉Transformer应用于3D网格数据处理，即，网状Transformer。具体来说，我们将网格划分为几个不重叠的局部面片，每个面片包含相同数量的面，并使用每个面片中心点的3D位置来形成位置嵌入。受MAE的启发，我们探索了如何使用基于Transformer的结构对3D网格数据进行预训练，从而使下游3D网格分析任务受益。我们首先随机遮罩网格的一些补丁，并将损坏的网格馈送到网格Transformers中。然后，通过重建的信息被掩盖的补丁，网络是能够学习的网格数据的歧视性表示。因此，我们将我们的方法命名为MeshMAE，它可以在网格分析任务上产生最先进或相当的性能，即，分类和分割。此外，我们还进行了全面的消融研究，以显示我们方法中关键设计的有效性。
2022-07-20 cs.CV
MixMAE: Mixed and Masked Autoencoder for Efficient Pretraining of Hierarchical Vision Transformers
CUHK（香港中文大学）；SenseTime Research（商汤科技研究院）；CPII under InnoHK（香港创新香港旗下的计算机视觉与模式识别创新中心）
本文提出MixMAE预训练方法，通过将一张图像的掩码token替换为另一张图像的可见token生成混合图像并进行双重重建，解决了分层视觉Transformer中[MASK]符号导致的训练慢与不一致问题，显著提升了预训练效率与表示质量。
2023-03-31 cs.CV
Masked and Adaptive Transformer for Exemplar Based Image Translation
Hangzhou Dianzi University（杭州电子科技大学）；Xidian University（西安电子科技大学）
我们提出了一个新的框架，基于范例的图像翻译。近年来，针对这一问题的先进方法主要集中在建立跨领域的语义对应关系，从而以局部风格控制的方式控制图像生成。不幸的是，跨域语义匹配是具有挑战性的，并且匹配错误最终会降低生成图像的质量。为了克服这一挑战，我们一方面提高匹配的准确性，另一方面减少匹配在图像生成中的作用。为了实现前者，我们提出了一个掩蔽和自适应Transformer（MAT）学习准确的跨域对应，并执行上下文感知的特征增强。为了实现后者，我们使用的输入和全局样式代码的样本，作为补充信息，解码图像的源功能。此外，我们设计了一种新的对比风格学习方法，以获得质量区分的风格表示，这反过来又有利于高质量的图像生成。实验结果表明，我们的方法，被称为MATEBIT，表现得比国家的最先进的方法，在不同的图像翻译任务。代码可在\url{https://github.com/AiArt-HDU/MATEBIT}上获得。
2023-03-30 cs.CV
Technical Report: Masked Skeleton Sequence Modeling for Learning Larval Zebrafish Behavior Latent Embeddings
University College London（伦敦大学学院）；Harbin Institute of Technology（哈尔滨工业大学）
提出自监督掩码骨架序列建模方法，结合Transformer-CNN架构（SSTFormer）捕获幼体斑马鱼游动的时空关节相关性，有效提取行为潜在嵌入并提升相似行为区分度。
2024-03-23 cs.CV
MDTv2: Masked Diffusion Transformer is a Strong Image Synthesizer
Nankai University（南开大学）；Sea AI Lab（Sea AI实验室）；Skywork AI（天工AI）
本文提出MDTv2，通过掩码潜在建模和非对称扩散Transformer增强扩散模型的上下文关系学习能力，在ImageNet上取得FID 1.58的SOTA性能，且学习速度比DiT快10倍以上。
2024-02-21 cs.CV
Solving Masked Jigsaw Puzzles with Diffusion Vision Transformers
Northeastern University（东北大学）；Qualcomm（高通公司）
针对现有判别式方法难以求解大规模拼图的问题，提出JPDVT方法，以视觉内容为条件用扩散Transformer生成位置信息来组装拼图，支持碎片缺失场景，在多数据集上达SOTA。
2024-04-10 cs.CV
MoMask: Generative Masked Modeling of 3D Human Motions
University of Alberta（阿尔伯塔大学）
MoMask通过分层量化与双向掩码Transformer框架实现文本驱动的三维人体运动生成，在HumanML3D和KIT-ML上FID显著优于现有方法，并可无缝用于时间补全等任务。
2023-11-29 cs.CV
Deficiency-Aware Masked Transformer for Video Inpainting
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of North Texas（北德克萨斯大学）
针对跨帧信息缺失的视频修复问题，提出双模态兼容的 DMT 框架，通过图像先验蒸馏、选择性时空注意力和感受野上下文化器提升性能。
2023-07-17 cs.CV
Zorro: the masked multimodal transformer
DeepMind；VGG, Dept. of Engineering Science, University of Oxford（牛津大学工程科学系VGG）
基于注意力的模型对多模态处理很有吸引力，因为来自多个模态的输入可以连接并馈送到单个骨干网络-因此需要很少的融合工程。然而，所得到的表示在整个网络中完全纠缠在一起，这可能并不总是可取的：在学习中，对比视听自监督学习需要独立的音频和视觉特征来操作，否则学习崩溃;在推理中，视听模型的评估应该可以在只有音频或只有视频的基准上进行。在本文中，我们介绍了Zorro，一种使用掩码来控制如何从每个模态的输入路由内部Transformers，保持某些部分的表示模态纯的技术。我们将这种技术应用于三种流行的基于transformer的架构（ViT，Swin和HiP），并表明通过对比预训练，Zorro在多模态任务（AudioSet和VGGSound）的最相关基准测试中获得了最先进的结果。此外，生成的模型能够对视频和音频基准（如Kinetics-400或ESC-50）执行单峰推理。
2023-02-22 cs.CV
Fast Training of Diffusion Models with Masked Transformers
Caltech（加州理工学院）；NVIDIA（英伟达公司）
本研究提出一种掩码Transformer训练方法，通过非对称编解码架构和掩码重建辅助任务，将扩散模型训练时间降至原DiT模型的30%，同时保持甚至提升生成性能。
2024-03-05 cs.AI cs.CV cs.LG
Masked Image Residual Learning for Scaling Deeper Vision Transformers
Baidu Inc.（百度公司）；Huazhong University of Science and Technology（华中科技大学）；University of York（约克大学）
针对深度ViT训练中的退化问题，提出掩码图像残差学习（MIRL）框架，通过恢复掩码图像残差实现深层优化，使更深ViT性能提升，并在ImageNet等任务上取得优异结果。
2023-11-15 cs.CV
Video Super-Resolution Transformer with Masked Inter&Intra-Frame Attention
University of Electronic Science and Technology of China（电子科技大学）；Sun Yat-sen University（中山大学）；Xidian University（西安电子科技大学）
本文提出MIA-VSR框架，通过特征级掩码帧内与帧间注意力及自适应分块掩码预测，减少视频超分辨率Transformer的冗余计算和内存占用，在不损失PSNR精度的情况下提升效率。
2024-03-29 cs.CV
OmniMotion: Multimodal Motion Generation with Continuous Masked Autoregression
University of Sydney（悉尼大学）；Alibaba Group（阿里集团）；Fudan University（复旦大学）
针对全身多模态运动生成，提出连续掩码自回归变换器，结合门控线性注意力、RMSNorm和DiT结构，融合文本、语音、音乐，实验全面优于现有方法。
2025-10-16 cs.CV
Mask3D: Pre-training 2D Vision Transformers by Learning Masked 3D Priors
Meta Reality Labs（元宇宙现实实验室）；Technical University of Munich（慕尼黑工业大学）
当前计算机视觉中流行的骨干，如视觉Transformer（ViT）和ResNets，都是经过训练的，可以从2D图像中感知世界。然而，为了更有效地理解2D主干中的3D结构先验，我们提出Mask 3D在自监督预训练中利用现有的大规模RGB-D数据，将这些3D先验嵌入到2D学习特征表示中。与需要3D重建或多视图对应的传统3D对比学习范例相比，我们的方法很简单：我们通过掩蔽单个RGB-D帧中的RGB和深度补丁来制定文本前重建任务。我们证明了Mask 3D在将3D先验信息嵌入到强大的2D ViT骨干中方面特别有效，从而为各种场景理解任务（如语义分割、实例分割和目标检测）提供改进的表示学习。实验表明，Mask 3D在ScanNet、NYUv 2和Cityscapes图像理解任务上的表现明显优于现有的自监督3D预训练方法，在ScanNet图像语义分割上比最先进的Pri 3D提高了+6.5%mIoU。
2023-02-28 cs.CV
Unleashing Vanilla Vision Transformer with Masked Image Modeling for Object Detection
Huazhong University of Science & Technology（华中科技大学）；Tencent PCG（腾讯平台与内容事业群）
我们提出了一种方法，以有效地和有效地适应掩码图像建模（MIM）预训练的香草视觉Transformer（ViT）的目标检测，这是基于我们的两个新的观察：（i）MIM预训练的香草ViT编码器可以在具有挑战性的对象级识别场景中工作得令人惊讶，即使是随机采样的部分观察，例如，只有25%的$\sim$ 50%的输入嵌入。(ii)为了从单尺度ViT构建用于目标检测的多尺度表示，随机初始化的紧凑卷积干取代了预先训练的大内核补丁化干，并且其中间特征可以自然地用作特征金字塔网络的更高分辨率输入，而无需进一步上采样或其他操作。而预训练的ViT仅被视为我们的检测器的骨干的3个$^{rd}$阶段，而不是整个特征提取器。这导致ConvNet-ViT混合特征提取器。建议的检测器，名为MIMDet，使MIM预训练的香草ViT优于分层Swin Transformer的2.5盒AP和2.6掩模AP COCO上，并实现了更好的结果相比，以前最好的适应香草ViT检测器使用更温和的微调配方，同时收敛2.8 $\times$更快。代码和预训练模型可在https://github.com/hustvl/MIMDet上获得。
2022-05-19 cs.CV
A Unified View of Masked Image Modeling
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）
掩码图像建模已经证明了巨大的潜力，可以消除训练大规模视觉Transformer的标签饥饿问题，在各种下游任务上实现令人印象深刻的性能。在这项工作中，我们提出了一个统一的看法，掩码图像建模后，重新审视现有的方法。在统一的观点下，我们引入了一种简单而有效的方法，称为MaskDistill，它在掩蔽位置从教师模型中重建归一化的语义特征，条件是损坏的输入图像。图像分类和语义分割的实验结果表明，MaskDistill实现了可比或优于国家的最先进的方法的性能。当使用巨大的视觉Transformer和预训练300个epoch时，MaskDistill在ImageNet-1 k（224大小）上获得了88.3%的微调top-1准确率，在ADE 20 k（512大小）上获得了58.8%的语义分割mIoU指标。代码和预训练模型将在https://aka.ms/unimim上提供。
2022-10-19 cs.CV
It Takes Two: Masked Appearance-Motion Modeling for Self-supervised Video Transformer Pre-training
Baidu Inc.（百度公司）
自监督视频Transformer预训练最近受益于掩码和预测管道。它们在下游视频任务上表现出出色的效率，在小数据集上表现出卓越的数据效率。然而，这些方法没有充分利用时间关系。在这项工作中，我们明确调查视频中的运动线索作为额外的预测目标，并提出了我们的掩蔽外观运动建模（MAM 2）框架。具体来说，我们设计了一个编码器-回归器-解码器流水线。回归器分离特征编码和借口任务完成，使得编码器充分地完成特征提取过程。为了指导编码器充分挖掘时空特征，两个独立的解码器被用于两个借口任务，解开外观和运动预测。我们探索了各种运动预测目标，并指出RGB差分是简单而有效的。对于外观预测，VQGAN码被用作预测目标。通过我们的预训练管道，可以显著加快收敛速度，例如，我们只需要比最先进的VideoMAE一半的时间（400 v.s. 800)以实现具有竞争力的性能。大量的实验结果证明，我们的方法学习广义视频表示。值得注意的是，我们的MAM 2与ViT-B在Kinects-400上达到82.3%，在Something-Something V2上达到71.3%，在UCF 101上达到91.5%，在HMDB 51上达到62.5%。
2022-10-11 cs.CV
SwinMM: Masked Multi-view with Swin Transformers for 3D Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；University of Washington（华盛顿大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）
针对医学图像预训练数据不足的问题，提出结合掩码多视图机制与Swin Transformer的SwinMM框架，通过多代理任务预训练和跨注意力微调，提升了医学图像分割的精度与数据效率。
2023-07-24 cs.CV
Masked Autoencoders as Image Processors
Shanghai Jiao Tong University（上海交通大学）
本文提出结合通道注意力与移位窗口自注意力的高效Transformer模型CSformer，并为其开发图像处理MAE预训练架构MAEIP，在去噪、去模糊和去雨等任务上取得SOTA性能。
2023-03-30 cs.CV
HMSViT: A Hierarchical Masked Self-Supervised Vision Transformer for Corneal Nerve Segmentation and Diabetic Neuropathy Diagnosis
Department of Computing and Mathematics, Manchester Metropolitan University（计算与数学系，曼彻斯特 Metropolitan 大学）；Department of Eye and Vision Sciences, University of Liverpool（眼科学与视觉科学系，利物浦大学）；Faculty of Biology, Medicine and Health, University of Manchester（生物、医学与健康学院，曼彻斯特大学）；Department of Medicine, Weill Cornell Medicine-Qatar（医学系，Weill Cornell Medicine-Qatar）
HMSViT通过分层遮蔽自监督学习和多尺度特征提取，实现了角膜神经分割和糖尿病性周围神经病变诊断的高精度与低计算成本。
2026-02-14 cs.CV
Self-distilled Masked Attention guided masked image modeling with noise Regularized Teacher (SMART) for medical image analysis
本文提出SMARTFormer，通过语义注意力增强Swin Transformer并结合噪声动量教师引导掩码图像建模，在肺结节分类、肺癌治疗反应预测等医学图像分析任务中取得高准确率。
2024-07-03 cs.CV
Mean Teacher DETR with Masked Feature Alignment: A Robust Domain Adaptive Detection Transformer Framework
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对 DETR 域自适应中特征对齐不稳定、两阶段训练增益不一致及未利用类目标域的问题，提出 MTM 框架，通过风格迁移预训练、mean teacher 伪标签、OQKT 与 MDQFA/MTWFA 掩码特征对齐提升鲁棒检测性能。
2024-01-18 cs.CV
What a Whole Slide Image Can Tell? Subtype-guided Masked Transformer for Pathological Image Captioning
College of Engineering Peking University（北京大学工学院）
本文提出亚型引导掩码Transformer（SGMT），将全切片图像视为稀疏图像块序列进行病理描述生成，并通过亚型预测和非对称掩码机制提升训练效果，在PatchGastricADC22数据集上优于传统RNN方法。
2023-10-31 cs.AI cs.CV
Dynamic Motion Synthesis: Masked Audio-Text Conditioned Spatio-Temporal Transformers
Georgia Tech（佐治亚理工学院）
本文提出一种基于VQVAE离散化和双向掩码语言建模的多模态运动生成框架，同时以文本和音频为条件，结合空间注意力与token critic提升运动连贯性和自然性，拓展了多模态运动合成的可能性。
2024-09-03 cs.CV cs.GR
Halton Scheduler For Masked Generative Image Transformer
Sorbonne Université（索邦大学）
针对MaskGIT原有置信度调度器的缺陷，提出基于低偏差Halton序列的解掩码调度器，无需重训练即可即插即用，在ImageNet和COCO数据集上实现了更优的图像生成质量与多样性。
2025-03-21 cs.CV
Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis
National University of Singapore（新加坡国立大学）；Skywork AI（天工AI）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；ZJU（浙江大学）；UC Berkeley（加州大学伯克利分校）
本文提出 Meissonic，通过架构创新、位置编码、采样优化、偏好微条件与特征压缩，使非自回归 MIM 文生图在效率和 $1024 \ imes 1024$ 质量上匹敌甚至超越 SDXL。
2025-03-13 cs.CV
Masked Autoencoders for Point Cloud Self-supervised Learning
National University of Singapore（新加坡国立大学）；ZheJiang University（浙江大学）；Peking University（北京大学）；Tencent Data Platform（腾讯数据平台）；Pengcheng Laboratory（鹏城实验室）
作为一种很有前途的自监督学习方法，掩码自动编码技术在自然语言处理和计算机视觉领域有着重要的发展。受此启发，我们提出了一种用于点云自监督学习的屏蔽自编码器的简洁方案，解决了点云属性带来的挑战，包括位置信息泄漏和信息密度不均匀。具体地说，我们将输入点云划分为不规则的点片，并以高比例随机掩蔽它们。然后，一个标准的Transformer为基础的自动编码器，与一个不对称的设计和移位掩码令牌操作，学习高层次的潜在功能，从未掩蔽的点补丁，旨在重建掩蔽点补丁。大量的实验表明，我们的方法在预训练期间是有效的，并且在各种下游任务上具有很好的泛化能力。具体来说，我们的预训练模型在ScanObjectNN上的准确率为85.18%，在ModelNet40上的准确率为94.04%，优于所有其他自监督学习方法。我们展示了我们的方案，一个完全基于标准Transformers的简单架构可以超越来自监督学习的专用Transformer模型。我们的方法还提高了1.5%-2.3%的最先进的准确性，在Few-Shot对象分类。此外，我们的工作启发了将统一架构从语言和图像应用到点云的可行性。
2022-03-28 cs.CV
MAP: Unleashing Hybrid Mamba-Transformer Vision Backbone's Potential with Masked Autoregressive Pretraining
IIIS, Tsinghua University（清华大学人工智能研究院）；Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对混合Mamba-Transformer视觉骨干网络，提出掩码自回归预训练（MAP），结合MAE与自回归优势，统一提升Mamba和Transformer模块性能，在2D和3D数据集上达到最先进水平。
2025-05-23 cs.AI cs.CV
ITA-MDT: Image-Timestep-Adaptive Masked Diffusion Transformer Framework for Image-Based Virtual Try-On
Korea Advanced Institute of Science and Technology (KAIST)（韩国高级科学技术研究院）
本文提出ITA-MDT框架，通过轻量级掩码扩散Transformer结合图像-时间步自适应特征聚合器和显著区域提取器，在降低计算开销的同时提升虚拟试衣的全局上下文与细粒度细节处理能力，达到SOTA表现。
2025-06-01 cs.CV
Cross-view Masked Diffusion Transformers for Person Image Synthesis
KAIST（韩国科学技术院）
提出 X-MDPT，一种用于姿态引导人物图像生成的新型掩码扩散 Transformer 模型，通过三个关键模块在 DeepFashion 数据集上超越现有方法，以更少参数实现更优性能和更快推理。
2024-06-03 cs.CV
Ensemble Learning using Transformers and Convolutional Networks for Masked Face Recognition
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿产大学）；SDAIA-KFUPM Joint Research Center for Artificial Intelligence（沙特数据与人工智能局-法赫德国王石油与矿产大学人工智能联合研究中心）
戴口罩是我们为减少冠状病毒传播而不得不遵循的调整之一。我们的脸经常被面具覆盖，这就需要了解和研究这种行为如何影响人脸识别系统的识别能力。当前的人脸识别系统在处理无约束的一般人脸识别情况时具有非常高的准确率，但在处理被遮挡的蒙面人脸时不能很好地推广。在这项工作中，我们提出了一个蒙面人脸识别系统。所提出的系统包括两个卷积神经网络（CNN）模型和两个Transformer模型。CNN模型已经在FaceNet预训练模型上进行了微调。我们使用多数投票技术集成了四个模型的预测，以识别戴面具的人。建议的系统进行了评估，在这项工作中创建的综合屏蔽LFW数据集。使用集成模型获得最佳精度，精度为92%。该识别率优于其他模型的准确性，这表明该模型用于识别蒙面人脸的正确性和鲁棒性。代码和数据可在https://github.com/Hamzah-Luqman/MFR上获得
2022-10-10 cs.CV cs.LG
What to Hide from Your Students: Attention-Guided Masked Image Modeling
National Technical University of Athens（雅典国立技术大学）；Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究院（IARAI））；Athena RC（雅典娜研究中心）；University of Crete（克里特大学）；IACM-Forth（希腊计算机科学研究所-基础研究与技术基金会）
Transformers和掩蔽语言建模作为视觉Transformer和掩码图像建模（MIM）在计算机视觉中被迅速采用和探索。在这项工作中，我们认为，图像令牌掩蔽不同于文本中的令牌掩蔽，由于在图像中的令牌的数量和相关性。特别是，要生成一个具有挑战性的借口任务MIM，我们主张从随机掩蔽知情掩蔽。我们开发和展示这种想法的背景下，蒸馏为基础的MIM，教师Transformer编码器生成的注意力地图，我们用它来指导掩蔽的学生。因此，我们引入了一种新的掩蔽策略，称为注意力引导掩蔽（AttMask），我们证明了其有效性超过随机掩蔽的密集蒸馏为基础的MIM以及平原蒸馏为基础的自监督学习分类令牌。我们确认AttMask加速了学习过程，并提高了各种下游任务的性能。我们在https://github.com/gkakogeorgiou/attmask上提供了实现代码。
2022-07-22 cs.CV
E-MD3C: Taming Masked Diffusion Transformers for Efficient Zero-Shot Object Customization
KAIST（韩国科学技术院）；School of Electrical Engineering（电气工程学院）
提出高效零样本目标图像定制框架E-MD3C，采用轻量级掩码扩散Transformer处理潜补丁，结合解耦条件设计与紧凑收集器，在VITON-HD数据集上指标更优且参数少、推理快、内存效率高。
2025-02-13 cs.CV cs.LG
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan（密歇根大学）；Salesforce Research（Salesforce研究院）
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此，所有以前的密集视频描述的方法解决这个问题，通过建立两个模型，即事件建议和字幕模型，这两个子问题。这些模型可以单独训练，也可以交替训练。这防止了语言描述对事件提议的直接影响，这对于生成准确的描述是重要的。为了解决这个问题，我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码，以确保在训练期间提案和字幕之间的一致性。此外，我们的模型采用了自我注意力机制，这使得在编码过程中使用高效的非递归结构，并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性，我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
Unmasking Deepfakes: Masked Autoencoding Spatiotemporal Transformers for Enhanced Video Forgery Detection
Queen’s University（女王大学）；Irdeto BV（艾尔多公司）
提出一种基于掩码自编码预训练的双分支时空变换器，分别处理RGB帧和光流，在FaceForensics++上达到新最优，并在跨数据集测试中展现强泛化能力。
2024-02-09 cs.CV
Green Hierarchical Vision Transformer for Masked Image Modeling
The University of Tokyo（东京大学）；SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）
提出了一种基于层次化视觉Transformer的掩码图像建模方法，该方法允许层次化视觉变换器丢弃掩模图像块，只对可见图像块进行操作.我们的方法包括三个关键设计。首先，对于窗口注意力，我们提出了一个组窗口注意力计划以下的分治策略。为了减轻自我注意力的二次复杂性。块的数量、组注意力促进了均匀划分，即任意大小的每个局部窗口内的可见块可以以相等的大小被分组，其中然后在每个组内执行掩蔽的自注意力。其次，通过动态规划算法进一步改进分组策略，以最小化注意力在分组块上的总计算开销。第三，对于卷积层，我们将其转换为稀疏卷积，该稀疏卷积与稀疏数据无缝地工作，即，MIM中可见的补丁。因此，MIM现在可以以绿色和高效的方式处理大多数（如果不是全部）分层ViT。例如，我们可以训练分层ViT，例如，Swin Transformer和Twins Transformer，约快2.7 $\times$，并将GPU内存使用量减少70%，同时在ImageNet分类上仍具有竞争力的性能，并在下游COCO目标检测基准测试中具有优势。代码和预训练模型已在https://github.com/LayneH/GreenMIM上公开提供。
2022-10-14 cs.CV cs.LG
