Diffusion Models as Masked Autoencoders
FAIR, Meta AI（Meta AI基础人工智能研究院）；UC Santa Cruz（加州大学圣克鲁兹分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出DiffMAE，将扩散模型以掩码输入条件，条件，条件，，掩码自编码器形式化，可同时支持下游识别任务、图像修复和视频分类，并建立扩散模型与掩码自编码器的联系。
2023-04-06 cs.CV
Self-Guided Masked Autoencoder
Seoul National University（首尔国立大学）；Google Research（谷歌研究）
针对 MAE 学习机制不明及随机掩码低效的问题，本文利用其早期形成的 patch 级聚类能力生成自引导掩码，在无需外部信息的情况下提升表征学习效果。
2025-07-26 cs.CV
A Masked Autoencoder Approach to Unsupervised Steel Surface Defect Recognition
针对钢表面缺陷识别中标记数据稀缺问题，采用基于Transformer的掩码自动编码器，通过随机掩码部分图像块让轻量级解码器重建，联合辅助缺陷定位目标训练编码器，聚类预训练编码器特征，取得较高匹配准确率。
2026-07-16 cs.CV
Masked Autoencoders for Generic Event Boundary Detection CVPR'2022 Kinetics-GEBD Challenge
Tencent Holdings Ltd（腾讯控股有限公司）；Tsinghua University（清华大学）
通用事件边界检测（GEBD）任务旨在检测通用的，无分类的事件边界，将整个视频分割成块。在本文中，我们应用掩码自编码器，以提高算法的性能上的GEBD任务。我们的方法主要采用集成的掩码自编码器微调GEBD任务作为一个自我监督的学习者与其他基本模型。此外，我们还使用半监督伪标签方法，以充分利用大量的未标记的Kinetics-400数据进行训练。此外，我们提出了一种软标签的方法，部分平衡的积极和消极的样本，并减轻在这项任务中的模糊标记的问题。最后，实现了一个棘手的分割对齐策略，以将我们的模型预测的边界细化到更准确的位置。通过我们的方法，我们在Kinetics-GEBD测试集上获得了85.94%的F1分数，与2021年Kinetics-GEBD挑战赛的获胜者相比，F1分数提高了2.31%。我们的代码可在https://github.com/ContentAndMaterialPortrait/MAE-GEBD上获得。
2022-06-17 cs.CV
Fus-MAE: A cross-attention-based data fusion approach for Masked Autoencoders in remote sensing
National University of Singapore（新加坡国立大学）
针对遥感多模态数据融合中对比学习依赖复杂数据增强的问题，提出基于交叉注意力的掩码自编码器框架Fus-MAE，实现SAR与光学数据的有效融合，性能比肩定制化对比学习方法且优于其他同类MAE框架。
2025-03-23 cs.CV
VLMAE: Vision-Language Masked Autoencoder
Tencent（腾讯）
图像和语言建模对于视觉语言预训练（VLP）至关重要，VLP旨在从大规模成对的图像-文本数据中学习多模态表示。然而，我们观察到，大多数现有的VLP方法侧重于对图像和文本特征之间的相互作用进行建模，而忽略了图像和文本之间的信息差异，从而遭受焦点偏差。为了解决这个问题，我们提出了一个视觉语言的掩码自编码器框架（VLMAE）。VLMAE采用视觉生成学习，促进模型获得细粒度和无偏见的特征。与以前的作品不同，VLMAE关注图像中几乎所有的关键补丁，提供更全面的理解。大量的实验表明，VLMAE在各种视觉语言下游任务中取得了更好的性能，包括视觉问答，图像-文本检索和视觉接地，即使有高达20%的预训练加速。
2022-08-19 cs.CV
3D Feature Prediction for Masked-AutoEncoder-Based Point Cloud Pretraining
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
本文提出一种基于掩码自编码器的点云预训练新方法，通过独立于编码器的注意力解码器恢复掩码点的高阶特征（如表面法线），而非重建几何位置，显著提升了多种点云分析任务的性能。
2024-04-28 cs.CV
Masked Autoencoders as Image Processors
Shanghai Jiao Tong University（上海交通大学）
本文提出结合通道注意力与移位窗口自注意力的高效Transformer模型CSformer，并为其开发图像处理MAE预训练架构MAEIP，在去噪、去模糊和去雨等任务上取得SOTA性能。
2023-03-30 cs.CV
Occlusion-Robust FAU Recognition by Mining Latent Space of Masked Autoencoders
University of British Columbia（不列颠哥伦比亚大学）；Nanyang Technological University（南洋理工大学）
面部动作单元（FAU）对于细粒度面部表情分析至关重要。虽然FAU检测已积极研究使用理想的高质量图像，它没有彻底研究严重闭塞条件下。在本文中，我们提出了第一个遮挡鲁棒的FAU识别方法，以保持FAU检测性能下严重遮挡。该方法充分利用了掩码自编码器（MAE）潜在空间的丰富信息，并将其转换为FAU特征。该模型通过挖掘预训练好的掩码自编码器的潜在空间，有效地提取了被遮挡人脸的FAU特征，从而简化了遮挡重构步骤。节点和边级知识蒸馏也被用来指导我们的模型找到潜在空间向量和FAU特征之间的映射。人脸遮挡条件，包括随机小补丁和大块，进行了深入的研究。在BP4D和DISFA数据集上的实验结果表明，该方法在所研究的面部遮挡情况下可以达到最先进的性能，显著优于现有的基线方法。特别是，即使在严重的闭塞，所提出的方法可以实现与国家的最先进的方法在正常条件下的性能相当。
2022-12-08 cs.CV
Masked Swingers: Harnessing Data Augmentation to Advance Autoencoders for Self-Supervised Learning
Vector Institute（向量研究所）；University of British Columbia（不列颠哥伦比亚大学）；Carleton University（卡尔顿大学）；University of Guelph（圭尔夫大学）
本文提出掩码摇摆者，通过双视图增强与跨视图CLS标记交换改进MAE，在多个任务上显著超越基线，并降低错误率，推动自监督学习发展。
2026-10-01 cs.CV
MultiMAE-DER: Multimodal Masked Autoencoder for Dynamic Emotion Recognition
Florida International University（佛罗里达国际大学）
本文提出MultiMAE-DER，一种用于动态情感识别的多模态掩码自编码器，通过预训练模型微调与优化六种融合策略增强跨域特征相关性，在多个数据集上显著提升了WAR指标。
2024-05-16 cs.CV
Feature Guided Masked Autoencoder for Self-supervised Learning in Remote Sensing
Technical University of Munich (TUM)（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对MAE在遥感图像中过度关注像素细节、语义理解不足的问题，提出FG-MAE，通过重建HOG和NDI等特征提升自监督预训练效果，并在SAR和多光谱图像上验证其有效性。
2023-10-28 cs.CV
ConvMAE: Masked Convolution Meets Masked Autoencoders
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
视觉Transformer（ViT）成为各种视觉任务广泛采用的架构。用于特征预训练和多尺度混合卷积变换架构的掩蔽自动编码可以进一步释放ViT的潜力，从而在图像分类，检测和语义分割方面实现最先进的性能。在本文中，我们的ConvMAE框架证明了多尺度混合卷积变换器可以通过掩码自动编码方案学习更多的判别表示。然而，直接使用原始的掩蔽策略会导致大量的计算成本和预训练-微调的差异。为了解决这个问题，我们采用掩蔽卷积来防止卷积块中的信息泄漏。提出了一种简单的分块掩蔽策略，以确保计算效率。我们还建议更直接地监督编码器的多尺度特征，以增强多尺度特征。基于我们预训练的ConvMAE模型，ConvMAE-Base将ImageNet-1 K微调精度提高了1.4%。在目标检测方面，仅微调25个epoch的ConvMAE-Base分别以2.9%的框AP和2.2%的掩模AP超过微调100个epoch的MAE-Base。代码和预训练模型可在https://github.com/Alpha-VL/ConvMAE上获得。
2022-05-19 cs.CV
Reconstructing the Invisible: Video Frame Restoration through Siamese Masked Conditional Variational Autoencoder
LIRA Center, Lancaster University（兰卡斯特大学LIRA中心）
本文提出 SiamMCVAE，利用基于 vision transformer 的孪生双编码器捕捉配对帧相似性，并通过变分推理重建视频帧缺失信息，提升自动驾驶与监控等视觉系统的鲁棒性。
2024-01-18 cs.CV
Transformer with Leveraged Masked Autoencoder for video-based Pain Assessment
Chonnam National University（全南大学）
本文提出一种结合 Masked Autoencoder 与 Transformers 分类器的深度学习模型，通过面部视频的表情与微表情有效捕捉疼痛指标，在 AI4Pain 数据集上取得良好结果，为客观全面的医疗疼痛评估提供创新方案。
2024-09-30 cs.CV
Self-distillation Augmented Masked Autoencoders for Histopathological Image Classification
Fudan University（复旦大学）；Hunan Normal University（湖南师范大学）
本文提出自蒸馏增强掩码自编码器SD-MAE，通过在可见图像块上引入自蒸馏损失提升浅层编码器表示能力，并在组织病理图像分类、细胞分割和目标检测中验证其竞争力。
2023-05-29 cs.CV
Masked Autoencoders for Point Cloud Self-supervised Learning
National University of Singapore（新加坡国立大学）；ZheJiang University（浙江大学）；Peking University（北京大学）；Tencent Data Platform（腾讯数据平台）；Pengcheng Laboratory（鹏城实验室）
作为一种很有前途的自监督学习方法，掩码自动编码技术在自然语言处理和计算机视觉领域有着重要的发展。受此启发，我们提出了一种用于点云自监督学习的屏蔽自编码器的简洁方案，解决了点云属性带来的挑战，包括位置信息泄漏和信息密度不均匀。具体地说，我们将输入点云划分为不规则的点片，并以高比例随机掩蔽它们。然后，一个标准的Transformer为基础的自动编码器，与一个不对称的设计和移位掩码令牌操作，学习高层次的潜在功能，从未掩蔽的点补丁，旨在重建掩蔽点补丁。大量的实验表明，我们的方法在预训练期间是有效的，并且在各种下游任务上具有很好的泛化能力。具体来说，我们的预训练模型在ScanObjectNN上的准确率为85.18%，在ModelNet40上的准确率为94.04%，优于所有其他自监督学习方法。我们展示了我们的方案，一个完全基于标准Transformers的简单架构可以超越来自监督学习的专用Transformer模型。我们的方法还提高了1.5%-2.3%的最先进的准确性，在Few-Shot对象分类。此外，我们的工作启发了将统一架构从语言和图像应用到点云的可行性。
2022-03-28 cs.CV
Masked Autoencoder for Unsupervised Video Summarization
NAVER Cloud（NAVER 云）；KAIST（韩国科学技术院）
本文提出一种用于无监督视频摘要的自监督掩码自编码器，直接利用解码器重建分数评估帧重要性，无需额外下游架构或微调，并在多个基准上验证有效性。
2023-06-02 cs.CV
HFBRI-MAE: Handcrafted Feature Based Rotation-Invariant Masked Autoencoder for 3D Point Cloud Analysis
School of Computer Science, The University of Sydney（计算机科学学院，悉尼大学）
针对现有掩码自编码器缺乏旋转不变性导致性能下降的问题，提出HFBRI-MAE框架，利用旋转不变手工特征进行令牌与位置嵌入并重定义重建目标，在多个基准上提升分类、分割与少样本学习性能。
2025-04-19 cs.CV
Context Autoencoder for Self-Supervised Representation Learning
Peking University（北京大学）；University of Hong Kong（香港大学）；UC Berkeley（加州大学伯克利分校）；Baidu（百度）
本文提出上下文自编码器CAE，通过在编码表示空间中预测掩码图像块表示并重建掩码图像块，实现编码器学习与预训练任务分离，在分割、检测和分类等下游任务中取得优越迁移性能。
2023-08-10 cs.CV
Mimic before Reconstruct: Enhancing Masked Autoencoders with Feature Mimicking
Shanghai AI Laboratory（上海人工智能实验室）；CUHK（香港中文大学）
掩码自编码器（MAE）已经成为大规模视觉表示预训练的流行范例。然而，MAE仅在解码器之后重建低级RGB信号，并且缺乏对编码器的高级语义的监督，因此遭受次优学习表示和长的预训练时期。为了缓解这一问题，以前的方法简单地用来自预训练图像-图像（DINO）或图像-语言（CLIP）对比学习的编码特征替换75%掩蔽标记的像素重建目标。与这些努力不同的是，我们提出了Mimic before Reconstruct for掩码自编码器，称为MR-MAE，它在预训练期间联合学习高级和低级表示而不受干扰。对于高级语义，MR-MAE采用来自编码器的超过25%可见令牌的模拟损失来捕获在CLIP和DINO中编码的预训练模式。对于低级结构，我们继承了MAE中的重建损失，以预测解码器后75%掩码标记的RGB像素值。由于MR-MAE在不同的分区分别应用高级和低级目标，它们之间的学习冲突可以自然地克服，并有助于为各种下游任务提供更好的视觉表示。在ImageNet-1 K上，仅预训练了400个epoch的MR-MAE基础在微调后达到了85.8%的top-1准确率，超过了1600 epoch的MAE基础+2.2%，超过了之前最先进的BEiT V2基础+0.3%。代码和预训练模型将在https://github.com/Alpha-VL/ConvMAE上发布。
2023-03-09 cs.CV
MAPLE: Masked Pseudo-Labeling autoEncoder for Semi-supervised Point Cloud Action Recognition
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；Aberystwyth University（阿伯里斯特威斯大学）
从点云视频中识别人体动作因其在自动驾驶、机器人等领域的广泛应用而受到学术界和工业界的广泛关注，但现有的点云动作识别方法通常需要大量的人工标注数据和复杂的骨干网络，计算成本高，不适合实际应用。因此，本文考虑半监督点云动作识别的任务。我们提出了一个掩蔽伪标签自动编码器（\textbf{MAPLE}）框架，学习有效的表示与少得多的注释点云动作识别。特别地，我们设计了一种新型高效的\textbf{De}偶联的\textbf{s}部分- \textbf{t}部分反式\textbf{Former}（\textbf{DestFormer}）作为MAPLE的骨架.在DestFormer中，4D点云视频的空间和时间维度被解耦，以实现有效的自注意力，用于学习长期和短期特征。此外，为了从较少的注释中学习区分性特征，我们设计了一个掩码伪标记自动编码器结构来引导DestFormer从可用帧中重建掩码帧的特征。更重要的是，对于未标记的数据，我们利用来自分类头的伪标签作为监督信号，用于从掩蔽帧重建特征。最后，综合实验表明，MAPLE取得了优越的结果在三个公共基准测试，并优于国家的最先进的方法，8.08\%的准确率在MSR-RESID 3D数据集。
2022-09-01 cs.CV
R-MAE: Regions Meet Masked Autoencoders
FAIR, Meta AI（Meta AI 基础人工智能研究（FAIR））；University of Amsterdam（阿姆斯特丹大学）
本文提出 R-MAE，将区域作为单词的视觉类比，通过掩码区域自编码从像素组学习，高效处理图像与区域的一对多映射，在下游检测和分割任务上实现一致提升，并解锁交互式分割潜力。
2024-01-04 cs.CV
Traj-MAE: Masked Autoencoders for Trajectory Prediction
Zhejiang Lab（之江实验室）；Gudsen Technology Co. Ltd（古德森科技有限公司）
通过预测可能的危险，轨迹预测一直是构建可靠的自动驾驶系统的关键任务。一个关键问题是生成一致的轨迹预测，而不会发生碰撞。为了克服这一挑战，我们提出了一个有效的掩码自编码器的轨迹预测（Traj-MAE），更好地代表在驾驶环境中的代理的复杂行为。具体来说，我们的Traj-MAE采用不同的掩蔽策略来预训练轨迹编码器和地图编码器，允许捕获代理之间的社交和时间信息，同时利用多粒度环境的影响。为了解决使用多种掩蔽策略预训练网络时出现的灾难性遗忘问题，我们引入了一个持续的预训练框架，可以帮助Traj-MAE有效地从各种策略中学习有价值的和多样化的信息。我们在多智能体和单智能体环境中的实验结果表明，Traj-MAE与最先进的方法取得了有竞争力的结果，并显着优于我们的基线模型。
2023-03-12 cs.CV
ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
Meta AI；KAIST（韩国科学技术院）；New York University（纽约大学）
在改进的架构和更好的表示学习框架的推动下，视觉识别领域在21世纪20年代初实现了快速的现代化和性能提升。例如，以ConvNeXt为代表的现代ConvNets在各种场景中表现出强大的性能。虽然这些模型最初是为使用ImageNet标签的监督学习而设计的，但它们也可能受益于自监督学习技术，如掩码自编码器（MAE）。然而，我们发现，简单地结合这两种方法会导致低于标准的性能。在本文中，我们提出了一个完全卷积的掩码自编码器框架和一个新的全局响应归一化（GRN）层，可以添加到ConvNeXt架构，以增强通道间的功能竞争。这种自监督学习技术和架构改进的共同设计产生了一个名为ConvNeXt V2的新模型家族，它显着提高了纯ConvNets在各种识别基准上的性能，包括ImageNet分类，COCO检测和ADE 20 K分割。我们还提供各种大小的预训练ConvNeXt V2模型，从ImageNet上具有76.7% top-1准确率的高效3.7M参数Atto模型，到仅使用公共训练数据实现最先进的88.9%准确率的650 M Huge模型。
2023-01-02 cs.CV
Test-Time Training with Masked Autoencoders
UC Berkeley（加州大学伯克利分校）；Meta AI
测试时训练通过使用自监督优化每个测试输入的模型来适应新的测试分布。在本文中，我们使用掩码自编码器这个单样本学习问题。从经验上讲，我们的简单方法提高了分布偏移的许多视觉基准的泛化能力。从理论上讲，我们的特点是这种改进的偏差方差权衡。
2022-09-15 cs.CV cs.LG
Boosting Continuous Emotion Recognition with Self-Pretraining using Masked Autoencoders, Temporal Convolutional Networks, and Transformers
Chinatelecom Cloud（中国电信云）
本文提出一种结合MAE预训练、TCN和Transformer编码器的自预训练方法，用于提升连续情感识别性能，并在ABAW竞赛的VA、Expr和AU任务上验证了其有效性。
2024-03-18 cs.CV
MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对手语识别中模型表征能力不足及忽略显式运动信息与全局语义指导的问题，提出自监督框架MASA，通过运动感知掩码自编码器重建运动残差并利用语义对齐模块对齐增强样本嵌入，在四个公开基准上取得最先进性能。
2024-05-31 cs.CV
NeighborMAE: Exploiting Spatial Dependencies between Neighboring Earth Observation Images in Masked Autoencoders Pretraining
KU Leuven（卢森堡大学）；ESA Φ \Phi -lab（欧洲航天局Φ实验室）；HKUST(GZ)（香港科技大学（珠海））；KTH（皇家理工学院）
NeighborMAE通过联合重建邻近遥感图像，利用空间依赖性提升掩码自编码器在遥感图像预训练中的性能。
2026-03-03 cs.CV
Recurrent Video Masked Autoencoders
Google DeepMind（谷歌DeepMind）
本文提出递归视频掩码自编码器(RVM)，通过递归计算建模视频数据的时序结构，利用非对称掩码目标和基于Transformer的递归神经网络，在仅需简单像素重建损失的情况下，实现了高效且通用的视频表示学习。
2026-04-21 cs.CV
MAESTRO: Masked AutoEncoders for Multimodal, Multitemporal, and Multispectral Earth Observation Data
Institut national de l’information géographique et forestière (IGN)（法国国家地理与森林信息研究所）；Univ Gustave Eiffel, ENSG, IGN, LASTIG（古斯塔夫·埃菲尔大学）
针对地球观测数据特性，提出MAESTRO掩码自编码器，优化融合与光谱先验归一化，在多时相任务上达到最先进性能。
2025-10-09 cs.CV
From Linearity to Non-Linearity: How Masked Autoencoders Capture Spatial Correlations
University of Pennsylvania（宾夕法尼亚大学）；Brown University（布朗大学）
本文通过解析推导线性MAE特征并扩展至非线性MAE，揭示掩码比例和块大小可控制捕获短程与长程空间相关性，为MAE超参数选择提供理论指导。
2025-08-21 cs.CV
Text-Guided Video Masked Autoencoder
Amazon Prime Video（亚马逊Prime视频）；Amazon Fulfillment Technology（亚马逊履约技术）
本文提出文本引导掩码算法TGM，利用视频与字幕的对应关系进行掩码，并统一MAE与掩码视频-文本对比学习，在多个视频识别任务上优于纯MAE及现有掩码方法。
2024-08-01 cs.CV
Masked Spatial-Spectral Autoencoders Are Excellent Hyperspectral Defenders
National University of Defense Technology（国防科技大学）；National Innovation Institute of Defense Technology, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）；Anhui University of Technology（安徽工业大学）
深度学习方法对高光谱图像（HSI）分析社区的发展做出了很大贡献。然而，这也使得HSI分析系统容易受到对抗攻击的攻击。为此，本文在自监督学习理论下提出了一种掩蔽的空间谱自动编码器（MSSA），以增强HSI分析系统的鲁棒性。首先，一个掩蔽序列的注意学习模块进行，以提高固有的鲁棒性的HSI分析系统沿频谱通道。然后，我们开发了一个具有可学习图结构的图卷积网络来建立全局像素组合，这样攻击效果就会分散到每个组合中所有相关像素上，在空间方面可以获得更好的防御性能。最后，为了提高防御可移植性并解决标记样本有限的问题，MSSA以光谱重建为前提，以自监督的方式拟合数据集，通过与现有高光谱分类方法和典型对抗性防御策略的比较，验证了MSSA的有效性。
2022-07-16 cs.CV
Exploring Long-Sequence Masked Autoencoders
Masked Autoencoding（MAE）已经成为跨多个领域预训练表示的有效方法。与自然语言中的离散标记相比，图像MAE的输入是连续的并且受到附加规范的约束。我们在预训练阶段系统地研究了每个输入规范，发现序列长度是进一步扩展MAE的关键轴。我们的研究导致了MAE的长序列版本，对原始配方的变化最小，通过将掩模大小与贴片大小解耦。对于目标检测和语义分割，我们的长序列MAE在所有实验设置中显示出一致的增益，而在传输过程中没有额外的计算成本。虽然长序列预训练对检测和分割最有利，但我们也通过保持标准图像大小并仅增加序列长度来实现ImageNet-1 K分类的强大结果。我们希望我们的发现可以为计算机视觉的扩展提供新的见解和途径。
2022-10-13 cs.CV
Masked Capsule Autoencoders
University of Aberdeen（阿伯丁大学）；Interdisciplinary Institute（跨学科研究院）
针对胶囊网络难以处理复杂数据、无法扩展到现代任务的问题，提出首个采用自监督预训练范式的掩码胶囊自编码器（MCAE），通过掩码图像建模预训练提升性能，在Imagenette数据集上较基线模型提升9%，为胶囊网络发展铺路。
2025-04-18 cs.CV
VAMAE: Vessel-Aware Masked Autoencoders for OCT Angiography
Federal University of Agriculture Abeokuta（阿贝奥库塔联邦农业大学）；ML Collective；Ashesi University（阿什西大学）；University of Lagos（拉各斯大学）
VAMAE通过血管感知掩码和多目标重建提升OCTA图像的自监督预训练效果，尤其在低标注条件下表现更优。
2026-04-08 cs.CV
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST（韩国科学技术院）
掩码自编码器是可扩展的视觉学习器，如MAE \cite{he2022masked}的标题，这表明视觉中的自监督学习（SSL）可能会采取与NLP类似的轨迹。具体地，具有掩蔽预测的生成借口任务（例如，BERT）已经成为NLP中SSL实践的事实标准。相比之下，早期的视觉生成方法的尝试已经被它们的区别性对应物（如对比学习）所掩盖;然而，掩模图像建模的成功已经复兴了掩模自动编码器（过去通常称为去噪自动编码器）。作为弥合与BERT在自然语言处理领域差距的里程碑，掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查，掩码自编码器，以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器，这项工作的重点是它在视觉中的应用，讨论其历史发展，最近的进展，并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
SdAE: Self-distillated Masked Autoencoder
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud EI（华为云EI）
随着基于生成的自监督学习（SSL）方法如BeiT和MAE的发展，如何通过掩蔽输入图像的随机块并重建丢失的信息来学习好的表示已经受到关注。然而，BeiT和PeCo需要一个“预预训练”阶段来产生离散的码本，用于表示掩蔽的补丁。MAE不需要预训练码本过程，但是将像素设置为重建目标可能会在预训练和下游任务之间引入优化间隙，使得良好的重建质量可能并不总是导致模型的高描述能力。针对上述问题，本文提出了一种简单的自蒸馏掩码自编码器网络SdAE。SdAE由一个学生分支和一个教师分支组成，学生分支使用编码器-解码器结构来重建丢失的信息，教师分支产生屏蔽标记的潜在表示。并从信息瓶颈的角度分析了如何为教师分支构建良好的视图以产生潜在表征。在此基础上，提出了一种多重掩蔽策略，为多个掩蔽视图提供均衡的信息，以提高性能，同时降低计算复杂性。我们的方法概括得很好：仅用300个epoch的预训练，vanilla ViT-Base模型在ImageNet-1 k分类上实现了84.1%的微调准确率，在ADE 20 K分割上实现了48.6 mIOU，在COCO检测上实现了48.9 mAP，远远超过了其他方法。代码可在https://github.com/AbrahamYabo/SdAE上获得。
2022-07-31 cs.CV
MARLIN: Masked Autoencoder for facial video Representation LearnINg
Monash University（莫纳什大学）；Curtin University（科廷大学）；Indian Institute of Technology Ropar（印度理工学院鲁尔基分校）
本文提出了一种自监督的方法来从视频中学习通用的面部表示，该方法可以跨各种面部分析任务进行传输，例如面部属性识别（FAR），面部表情识别（FER），DeepFake检测（DFD）和嘴唇同步（LS）。我们提出的框架，名为MARLIN，是一个面部视频掩码自编码器，学习高度鲁棒性和通用的面部嵌入丰富的非注释网络抓取的面部视频。作为一项具有挑战性的辅助任务，MARLIN从密集掩蔽的面部区域（主要包括眼睛，鼻子，嘴巴，嘴唇和皮肤）重建人脸的时空细节，以捕获局部和全局方面，从而帮助编码通用和可转移的特征。通过对不同下游任务的各种实验，我们证明MARLIN是一个优秀的面部视频编码器以及特征提取器，在包括FAR在内的各种下游任务中表现一致（比监督基准提高1.13%），外汇储备（比无监督基准提高2.64%）、DFD（比无监督基准提高1.86%）、LS（Frechet Inception Distance提高29.36%），甚至在低数据状态下也是如此。我们的代码和模型可以在https://github.com/ControlNet/MARLIN上找到。
2023-03-22 cs.CV
Deblurring Masked Autoencoder is Better Recipe for Ultrasound Image Recognition
West China Hospital, Sichuan University（四川大学华西医院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Sichuan University（四川大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对超声图像高噪信比特点，本文提出在MAE预训练代理任务中加入去模糊，以恢复细微细节并提升下游分类性能，达到超声图像分类最先进水平。
2023-07-13 cs.CV
A Two-Stage Progressive Pre-training using Multi-Modal Contrastive Masked Autoencoders
Intuitive Surgical Inc.（直觉外科公司）
本研究提出一种基于多模态对比掩码自编码器的两阶段渐进式RGB-D预训练方法，结合对比学习、掩码自编码、去噪与全局蒸馏，在多个数据集语义分割任务上取得优于现有方法的性能，且在小数据场景下同样有效。
2024-09-16 cs.CV
Masked Autoencoders Are Scalable Vision Learners
Facebook AI Research (FAIR)（Facebook 人工智能研究院）
本文表明，掩码自编码器（MAE）是可扩展的自监督学习计算机视觉。我们的MAE方法很简单：我们屏蔽输入图像的随机补丁并重建丢失的像素。它基于两个核心设计。首先，我们开发了一个非对称的编码器-解码器架构，其中编码器仅对可见的补丁子集（没有掩码令牌）进行操作，以及一个轻量级的解码器，该解码器从潜在的表示和掩码令牌重建原始图像。其次，我们发现掩蔽输入图像的高比例，例如，75%，产生一个不平凡的和有意义的自我监督任务。结合这两种设计使我们能够高效地训练大型模型：我们加快了训练速度（3倍或更多）并提高了准确性。我们的可扩展方法允许学习具有良好泛化能力的高容量模型：例如，vanilla ViT-Huge模型在仅使用ImageNet-1 K数据的方法中实现了最佳准确率（87.8%）。下游任务中的传输性能优于有监督的预训练，并显示出有希望的缩放行为。
2021-12-19 cs.CV
Semantics-Guided Multimodal Masked Autoencoder Pretraining for 3D BEV Object Detection
University of Lincoln, Lincoln Centre for Autonomous Systems（林肯大学，林肯自主系统中心）；University of Cambridge, Institute for Manufacturing, Department of Engineering（剑桥大学，制造研究所，工程系）
提出语义引导的多模态掩码自编码器框架，通过语义引导的LiDAR体素掩码和辅助点语义解码分支，在预训练中注入语义信息，提升3D BEV目标检测性能。
2026-05-24 cs.CV
Masked Autoencoders are Robust Data Augmentors
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
针对深度神经网络过拟合问题，提出基于掩码自动编码器的掩码-重建增强（MRA）方法，通过生成困难增强样本正则化训练，在监督、半监督及少样本分类基准上持续提升性能。
2025-04-16 cs.CV
MonoMAE: Enhancing Monocular 3D Detection through Depth-Aware Masked Autoencoders
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）；College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出受掩码自编码器启发的单目3D检测器MonoMAE，通过深度感知掩码和轻量级查询补全机制解决目标遮挡问题，学习丰富且具泛化能力的3D表征，显著提升遮挡与非遮挡目标的检测性能。
2024-10-15 cs.CV
VideoMAC: Video Masked Autoencoders Meet ConvNets
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
本文提出 VideoMAC，将视频掩码自编码器与稀疏卷积 ConvNets 结合，并通过双编码器促进帧间重建一致性，在多个视频下游任务上超过基于 ViT 的方法。
2024-02-29 cs.CV
Multimodal Masked Autoencoders Learn Transferable Representations
Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
构建可扩展的模型以从多样化的多模态数据中学习仍然是一个开放的挑战。对于视觉语言数据，主要的方法是基于对比学习目标，为每种模态训练单独的编码器。虽然有效，但对比学习方法会根据所使用的数据增强引入采样偏差，这会降低下游任务的性能。此外，这些方法仅限于配对的图像-文本数据，并且不能利用广泛可用的未配对数据。在本文中，我们调查是否一个大型的多模态模型训练纯粹通过屏蔽令牌预测，而不使用特定于模态的编码器或对比学习，可以学习下游任务的可转移表示。我们提出了一个简单的和可扩展的网络架构，多模态掩码自编码器（M3 AE），学习一个统一的编码器，通过掩码令牌预测的视觉和语言数据。我们对在大规模图像文本数据集上训练的M3 AE进行了实证研究，发现M3 AE能够学习可概括的表示，并且可以很好地转移到下游任务。令人惊讶的是，我们发现M3 AE受益于更高的文本掩码比（50-90%），而BERT的标准掩码比为15%，这是由于两种数据模态的联合训练。我们还提供了定性分析表明，学习表示结合了有意义的信息，从图像和语言。最后，我们展示了M3 AE的可扩展性，具有更大的模型大小和训练时间，以及它的灵活性，训练成对的图像-文本数据以及不成对的数据。
2022-10-21 cs.CV
CMViM: Contrastive Masked Vim Autoencoder for 3D Multi-modal Representation Learning for AD classification
The Hong Kong Polytechnic University（香港理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Shandong University（山东大学）；Research Institute for Smart Ageing, The Hong Kong Polytechnic University（香港理工大学智能老龄化研究院）
本文提出CMViM框架，结合掩码Vim自编码器与模态内和模态间对比学习，实现3D多模态医学图像的高效表示学习，在AD分类任务上AUC提升2.7%。
2024-03-25 cs.CV
M$^{3}$3D: Learning 3D priors using Multi-Modal Masked Autoencoders for 2D image and video understanding
Intuitive Surgical Inc.（直觉外科公司）
本文提出M$^{3}$3D多模态掩码自编码器预训练策略，融合MIM与对比学习以利用3D先验和RGB-D跨模态信息，在多个2D与视频下游任务及低数据场景中取得先进性能。
2023-09-26 cs.CV
PCP-MAE: Learning to Predict Centers for Point Masked Autoencoders
Shanghai Jiao Tong University（上海交通大学）
针对点云掩码自编码器中直接提供掩码块中心导致编码器语义学习不足的问题，提出 PCP-MAE，通过共享参数的 PCM 预测中心并提升下游分类性能。
2024-10-24 cs.CV
AU-vMAE: Knowledge-Guide Action Units Detection via Video Masked Autoencoder
Shanghai Jiao Tong University（上海交通大学）；Huawei（华为）
针对FAU检测中标记数据稀缺和身份多样性不足的问题，提出基于视频掩码自编码器的预训练方案，利用多标签和时间一致性扩展监督，并采用AU对状态矩阵指导训练，在BP4D和DISFA上显著提升性能。
2024-07-16 cs.CV
MEGA: Masked Generative Autoencoder for Human Mesh Recovery
CentraleSupélec（中央高等电力学院）；Naver Labs Europe（Naver欧洲实验室）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Amazon（亚马逊公司）
本文提出掩码生成式自编码器MEGA，将人体姿态与形状标记化，并依据图像及部分网格标记序列生成，在单一与多假设HMR预测中均取得最优结果。
2025-03-18 cs.CV
Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation
National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；School of Computer Science（计算机学院）；Peking University（北京大学）；CUHK（香港中文大学）；University of Science Technology of China（中国科学技术大学）
针对持续测试时自适应中预测失准和噪声伪标签问题，提出自适应分布掩码自编码器（ADMA），通过分布感知掩码机制与重建手工特征描述符增强目标域知识提取，在分类与分割任务上达到SOTA。
2024-03-27 cs.CV
