HFBRI-MAE: Handcrafted Feature Based Rotation-Invariant Masked Autoencoder for 3D Point Cloud Analysis
School of Computer Science, The University of Sydney（计算机科学学院，悉尼大学）
针对现有掩码自编码器缺乏旋转不变性导致性能下降的问题，提出HFBRI-MAE框架，利用旋转不变手工特征进行令牌与位置嵌入并重定义重建目标，在多个基准上提升分类、分割与少样本学习性能。
2025-04-19 cs.CV
Multi-Scale Neighborhood Occupancy Masked Autoencoder for Self-Supervised Learning in LiDAR Point Clouds
Bosch Center for AI（博世人工智能中心）；University of Freiburg（弗莱堡大学）
提出NOMAE，通过多尺度邻域占用重建解决LiDAR点云MAE的占用泄漏与计算复杂问题，在nuScenes和Waymo上实现SOTA。
2025-02-27 cs.AI cs.CV cs.RO
LiLa-Net: Lightweight Latent LiDAR Autoencoder for 3D Point Cloud Reconstruction
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本研究提出轻量级3D点云自编码器LiLa-Net，通过简化编码器层数与跳跃连接，在低资源消耗下实现高质量点云重建，且具备强泛化能力，可重建非交通场景物体。
2025-10-02 cs.AI cs.CV
TriFusion-AE: Language-Guided Depth and LiDAR Fusion for Robust Point Cloud Processing
Department of Mechanical Engineering（机械工程系）；Indian Institute of Technology Bombay（印度理工学院班加罗尔）；Mumbai, India（孟买，印度）
本文提出TriFusion-AE，通过融合文本先验、单目深度图和LiDAR点云，利用交叉注意力学习鲁棒表示，在强噪声和对抗攻击下显著提升点云自编码器的重建性能。
2025-09-23 cs.CV
PCP-MAE: Learning to Predict Centers for Point Masked Autoencoders
Shanghai Jiao Tong University（上海交通大学）
针对点云掩码自编码器中直接提供掩码块中心导致编码器语义学习不足的问题，提出 PCP-MAE，通过共享参数的 PCM 预测中心并提升下游分类性能。
2024-10-24 cs.CV
Gaussian Masked Autoencoders
Meta, FAIR（Meta FAIR）；UC Berkeley（加州大学伯克利分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
本文提出GMAE，将3D高斯表示与高斯泼溅引入MAE，在像素重建之外联合学习语义抽象和空间理解，实现多种零样本空间感知能力。
2025-01-06 cs.AI cs.CV
Exploring Semantic Masked Autoencoder for Self-supervised Point Cloud Understanding
University of Science and Technology of China（中国科学技术大学）；Deep Space Exploration Lab（深空探测实验室）
提出Semantic Masked Autoencoder，通过基于原型的组件语义建模模块和组件语义增强掩码策略，解决随机掩码无法捕获语义关系的问题，提升点云自监督理解性能。
2025-06-27 cs.CV
PAME: Self-Supervised Masked Autoencoder for No-Reference Point Cloud Quality Assessment
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
提出PAME自监督掩码自编码器框架，通过双分支重建学习内容与失真特征，提升无参考点云质量评估的准确性和跨数据集泛化能力。
2024-03-15 cs.CV cs.MM
Self-Supervised Masked Autoencoders with Dense-Unet for Coronary Calcium Removal in limited CT Data
本文提出Dense-MAE，一种基于自监督学习的框架，用于在有限CT数据中有效去除冠状动脉钙化伪影，提升血管狭窄诊断准确性。
2025-12-25 cs.AI cs.CV
Mitigating Positional Leakage in 3D Masked Autoencoders for Robust Representation Learning
SKLCCSE, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；SCSE, Beihang University（北京航空航天大学计算机学院）；NERCBDS, EIRI, Tsinghua University（清华大学电子工程系智能技术与系统国家重点实验室）；SASEE, Beihang University（北京航空航天大学自动化科学与电气工程学院）
针对3D掩码自编码器中位置信息过度依赖导致语义表示弱化的问题，提出MPL-MAE框架，通过重校准位置嵌入和门控位置接口模块，平衡空间先验与语义特征，提升下游任务性能。
2026-07-01 cs.AI cs.CV
Test-Time Training with Masked Autoencoders
UC Berkeley（加州大学伯克利分校）；Meta AI
测试时训练通过使用自监督优化每个测试输入的模型来适应新的测试分布。在本文中，我们使用掩码自编码器这个单样本学习问题。从经验上讲，我们的简单方法提高了分布偏移的许多视觉基准的泛化能力。从理论上讲，我们的特点是这种改进的偏差方差权衡。
2022-09-15 cs.CV cs.LG
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST（韩国科学技术院）
掩码自编码器是可扩展的视觉学习器，如MAE \cite{he2022masked}的标题，这表明视觉中的自监督学习（SSL）可能会采取与NLP类似的轨迹。具体地，具有掩蔽预测的生成借口任务（例如，BERT）已经成为NLP中SSL实践的事实标准。相比之下，早期的视觉生成方法的尝试已经被它们的区别性对应物（如对比学习）所掩盖;然而，掩模图像建模的成功已经复兴了掩模自动编码器（过去通常称为去噪自动编码器）。作为弥合与BERT在自然语言处理领域差距的里程碑，掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查，掩码自编码器，以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器，这项工作的重点是它在视觉中的应用，讨论其历史发展，最近的进展，并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA（东北大学）
本文提出双掩码自编码器DMAE，通过重建掩码值与教师引导的潜在表示估计及特征对齐约束，实现无监督多元时间序列表示学习，并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
How to Understand Masked Autoencoders
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Oxford（牛津大学）
“掩码自编码器（MAE）是可扩展的视觉学习器”彻底改变了自监督学习方法，因为它不仅实现了图像预训练的最新技术，而且也是弥合视觉和语言掩码自编码（BERT风格）预训练之间差距的里程碑。然而，据我们所知，迄今为止还没有理论观点来解释MAE的强大表现力。在本文中，我们首次提出了一个统一的理论框架，为MAE提供了一个数学理解。具体来说，我们解释了补丁为基础的注意力方法的MAE使用一个完整的内核下的非重叠区域分解设置。为了帮助研究界进一步理解MAE取得巨大成功的主要原因，基于我们的框架，我们提出了五个问题，并使用算子理论的见解用数学严谨性回答了它们。
2022-02-09 cs.CV cs.LG
Siamese Masked Autoencoders
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
建立图像或场景之间的对应关系是计算机视觉中的一个重大挑战，特别是在给定遮挡、视点变化和变化的对象外观的情况下。在本文中，我们提出了Siamese掩码自编码器（SiamMAE），这是掩码自编码器（MAE）的一个简单扩展，用于从视频中学习视觉对应关系。SiamMAE对随机采样的视频帧对进行操作，并对它们进行非对称掩码。这些帧由编码器网络独立处理，由一系列交叉注意层组成的解码器负责预测未来帧中丢失的补丁。通过屏蔽未来帧中的大部分（$95\%$）补丁，同时保持过去帧不变，SiamMAE鼓励网络专注于对象运动并学习以对象为中心的表示。尽管其概念简单，但通过SiamMAE学习的功能在视频对象分割，姿势关键点传播和语义部分传播任务上优于最先进的自监督方法。SiamMAE在不依赖于数据增强、手工制作的基于跟踪的借口任务或其他技术来防止代表性崩溃的情况下实现了有竞争力的结果。
2023-05-23 cs.CV cs.LG
Masked Autoencoders As Spatiotemporal Learners
Meta AI；FAIR（Facebook人工智能研究院）
本文研究了一个概念上简单的掩码自编码器（MAE）的时空表示学习从视频扩展。我们随机屏蔽视频中的时空补丁，并学习自动编码器以像素重建它们。有趣的是，我们发现我们的MAE方法可以学习强表示，几乎没有时空上的归纳偏差（只有除了补丁和位置嵌入），时空不可知的随机掩蔽表现最好。我们观察到，最佳掩蔽比高达90%（图像上为75%），支持这一比例与数据的信息冗余有关的假设。高掩蔽比导致大的加速，例如，> 4倍于挂钟时间，甚至更多。我们报告了使用香草视觉Transformer在几个具有挑战性的视频数据集上的竞争结果。我们观察到，MAE可以大幅优于监督预训练。我们进一步报告了在真实世界中，未经策划的Instagram数据上进行培训的令人鼓舞的结果。我们的研究表明，掩蔽自动编码（BERT，MAE等）的一般框架。可以是一个统一的方法，表示学习与最少的领域知识。
2022-10-21 cs.CV cs.LG
MaskedFusion360: Reconstruct LiDAR Data by Querying Camera Features
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
针对自动驾驶中LiDAR数据缺语义的问题，提出自监督融合方法MaskedFusion360，基于MAE用球形LiDAR投影与鱼眼相机特征融合重建掩码LiDAR数据，简化空间变换且无需额外密集表征生成模块。
2023-06-12 cs.CV cs.RO
Latent Diffusion Models with Masked AutoEncoders
Seoul National University（首尔国立大学）
针对现有潜在扩散模型的自编码器无法同时满足潜在平滑性、感知压缩质量、重建质量三项关键属性的问题，提出融合掩码自编码器分层特征的变分掩码自编码器，构建新型潜在扩散模型LDMAE并开源代码。
2025-10-22 cs.CV
Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization
UC San Diego（加州大学圣迭戈分校）
针对掩码自编码器随机掩码未考虑下游任务需求的问题，提出MLO-MAE框架，通过下游任务端到端反馈学习最优掩码策略，在多数据集和任务上实现性能提升。
2025-03-21 cs.CV cs.LG
Masked Autoencoders for Egocentric Video Understanding @ Ego4D Challenge 2022
Zhejiang University（浙江大学）；Microsoft（微软）
在这份报告中，我们提出了我们的方法和经验结果，应用掩码自编码器在两个以自我为中心的视频理解任务，即对象状态变化分类和PNR时间定位，Ego4D挑战2022。作为TheSSVL团队，我们在这两项任务中均排名第二。我们的代码将提供。
2022-11-18 cs.CV
How Mask Matters: Towards Theoretical Understandings of Masked Autoencoders
Peking University（北京大学）
基于重建任务的掩码自编码器（MAE）已经成为自监督学习（SSL）的一个有前途的范例，并在不同的基准数据集上实现了最先进的性能。然而，尽管其令人印象深刻的实证成功，仍然有有限的理论理解it. In本文中，我们提出了一个理论理解如何掩蔽事项MAE学习有意义的功能。我们建立了MAE和对比学习之间的密切联系，这表明MAE内隐对齐的面具诱导的积极对。建立在这个连接，我们开发的第一下游保证MAE方法，并分析掩模比的影响。此外，作为隐式对齐的结果，我们还指出了MAE的维度崩溃问题，并提出了均匀性增强的MAE（U-MAE）损失，可以有效地解决这个问题，并在现实世界的数据集上带来显着的改进，包括CIFAR-10，ImageNet-100和ImageNet-1 K。代码可在（https：//github.com/zhangq327/U-MAE）上获得。
2023-03-26 cs.CV cs.LG
Attention-Guided Masked Autoencoders For Learning Image Representations
Ulm University（乌尔姆大学）；TU Vienna（维也纳工业大学）
本文提出注意力引导的掩码自编码器，通过在重建损失中引入无监督物体注意力图，使模型更关注关键物体，从而在多个基准上提升线性探测和 k-NN 分类性能，并增强 ViTs 对背景变化的鲁棒性。
2024-02-23 cs.CV cs.LG
Out-of-distribution evaluations of channel agnostic masked autoencoders in fluorescence microscopy
GSK AIML
针对高内涵筛选中的分布偏移问题，提出基于JUMP-CP的隔离评估方案和通道无关掩码自编码器Campfire，实现跨实验批次、扰动剂和荧光标记的泛化及跨细胞类型迁移学习。
2025-03-24 cs.CV cs.LG
A simple, efficient and scalable contrastive masked autoencoder for learning visual representations
University of Maryland（马里兰大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
我们介绍了CAN，这是一种简单、高效且可扩展的视觉表示自监督学习方法。我们的框架是（C）对比学习，（A）掩码自编码器和（N）扩散模型中使用的噪声预测方法的最小和概念上清晰的合成。这些学习机制是相互补充的：对比学习在一批图像样本中塑造嵌入空间;掩码自编码器专注于单个图像样本中低频空间相关性的重建;噪声预测鼓励图像高频分量的重建。结合的方法，结果在一个强大的，可扩展的和易于实现的算法。训练过程是对称的，在两个视图中有50%的补丁被随机掩蔽，与现有的对比学习方法相比，效率得到了相当大的提高。大量的实证研究表明，CAN实现强大的下游性能下的线性和微调评估迁移学习和鲁棒性任务。在ImageNet上进行预训练时，CAN的性能优于MAE和Simplified，但对于JFT-300 M等大型未策划数据集的预训练尤其有用：对于ImageNet上的线性探针，CAN达到75.4%，而Simplified和MAE分别为73.4%和64.1%。我们的ViT-L模型在ImageNet上的微调性能为86.1%，而Simplified为85.5%，MAE为85.4%。Simplified的总体FLOP负载比ViT-L模型的CAN高70%。
2022-10-30 cs.CV cs.LG
TerraMAE: Learning Spatial-Spectral Representations from Hyperspectral Earth Observation Data via Adaptive Masked Autoencoders
Colorado State University（科罗拉多州立大学）
提出TerraMAE框架，通过自适应通道分组和增强重建损失学习高光谱空间-光谱表示，在图像重建及作物识别等下游任务中表现优异。
2025-08-09 cs.CV cs.LG
SupMAE: Supervised Masked Autoencoders Are Efficient Vision Learners
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；SenseTime Research（商汤科技研究院）
本文提出SupMAE，通过有监督分类分支将MAE扩展到全监督设置并仅用可见图像块分类，以30%计算量达到与MAE相当的ImageNet性能，且鲁棒性和迁移性更优。
2024-01-21 cs.CV cs.LG
Robust Representation Learning in Masked Autoencoders
本文通过分析掩码自编码器（MAE）的表示学习机制，发现其预训练和微调后的表示对模糊、遮挡等退化具有鲁棒性，并通过层间分析和敏感性指标揭示了其类感知子空间和全局注意力机制。
2026-06-23 cs.CV cs.LG
Object-wise Masked Autoencoders for Fast Pre-training
University of Jinan（济南大学）；Carnegie Mellon University（卡内基梅隆大学）
无标签图像的自监督预训练最近在图像分类中取得了很好的效果。基于transformer的方法ViT和MAE的成功，吸引了社区对主干架构和自监督任务设计的关注。在这项工作中，我们表明，当前的掩码图像编码模型学习整个场景中所有对象之间的潜在关系，而不是单个对象表示。因此，这些方法为自监督预训练带来了大量的计算时间。为了解决这个问题，我们引入了一种新的对象选择和划分策略，通过使用感兴趣的区域掩码进行选择性重建来丢弃非对象补丁以学习对象表示。我们将此方法称为ObjMAE。在四个常用数据集上进行的大量实验表明，我们的模型在降低72%的计算成本的同时实现了具有竞争力的性能。此外，我们研究了对象间和对象内的关系，发现后者对于自监督预训练至关重要。
2022-05-28 cs.CV cs.LG
Bootstrapped Masked Autoencoders for Vision BERT Pretraining
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了自举掩码自编码器（BootMAE），一种新的方法，视觉BERT预训练。BootMAE通过两个核心设计改进了原始的掩码自编码器（MAE）：1）动量编码器，提供在线特征作为额外的BERT预测目标; 2）目标感知解码器，试图减少编码器在BERT预训练中记忆目标特定信息的压力。第一种设计的动机是观察到使用预训练的MAE提取特征作为掩码令牌的BERT预测目标可以实现更好的预训练性能。因此，我们添加了一个与原始MAE编码器并行的动量编码器，它通过使用自己的表示作为BERT预测目标来提升预训练性能。在第二种设计中，我们引入目标特定信息（例如，未掩蔽的块的像素值）直接从编码器传送到解码器，以减少存储目标特定信息的编码器上的压力。因此，编码器专注于语义建模，这是BERT预训练的目标，并且不需要浪费其容量来记忆与预测目标相关的未屏蔽令牌的信息。通过大量的实验，我们的BootMAE在具有ViT-B主干的ImageNet-1 K上达到了$84.2\%$ Top-1的准确率，在相同的预训练时期下，比MAE高出$+0.8\%$。BootMAE还在ADE 20 K上的语义分割方面获得了$+1.0$ mIoU改进，并在COCO数据集上的目标检测和分割方面获得了$+1.3$ box AP、$+1.4$ mask AP改进。代码发布于https://github.com/LightDXY/BootMAE。
2022-07-14 cs.CV cs.LG
Multi-modal Masked Autoencoders Learn Compositional Histopathological Representations
University of Washington（华盛顿大学）
自监督学习（SSL）通过利用不需要标签的借口任务来学习有用的归纳偏差。SSL的未标记性质使得它对于整个切片组织病理学图像（WSIs）尤其重要，其中块级人工注释是困难的。掩码自编码器（MAE）是一种适用于数字病理学的最新SSL方法，因为它不需要负采样，并且几乎不需要数据增强。然而，自然图像和数字病理图像之间的域转移需要进一步的研究，在设计补丁级WSI的MAE。在本文中，我们研究了几种设计选择MAE在组织病理学。此外，我们引入了多模式MAE（MMAE），其利用苏木精和曙红（H&E）染色的WSI的特定组成。我们在公共补丁级数据集NCT-CRC-HE-100 K上进行了实验。结果表明，MMAE架构优于监督基线和其他最先进的SSL技术，用于八类组织表型分析任务，仅利用100个标记样本进行微调。我们的代码可在https://github.com/wisdomikezogwo/MMAE_Pathology上获得
2022-11-14 cs.CV cs.LG
MultiMAE: Multi-modal Multi-task Masked Autoencoders
Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了一种预训练策略，称为多模态多任务掩码自编码器（MultiMAE）。它在两个关键方面不同于标准的Masked Autoencoding：I）它可以可选地接受输入中除了RGB图像之外的其他信息模态（因此“多模态”），以及II）其训练目标相应地包括预测除了RGB图像之外的多个输出（因此“多任务”）。我们利用掩蔽（跨图像块和输入模态）使训练MultiMAE易于处理，并确保网络确实学习了跨模态预测编码。我们表明，这种预训练策略导致了一个灵活，简单，高效的框架，改善了向下游任务的传输结果。特别是，当除RGB图像外的其他信息可用或除RGB外没有其他信息可用时，可以灵活地使用相同的精确预训练网络-在所有配置中都会产生与基线竞争或明显优于基线的结果。为了避免需要具有多种模态和任务的训练数据集，我们完全使用伪标记来训练MultiMAE，这使得该框架广泛适用于任何RGB数据集。实验在多个传输任务（图像分类、语义分割、深度估计）和数据集（ImageNet、ADE 20 K、Taskonomy、Hypersim、NYUv 2）上进行。结果表明，该模型在跨模态/任务预测编码和转移方面具有令人印象深刻的能力。
2022-04-04 cs.CV cs.LG
ODDObjects: A Framework for Multiclass Unsupervised Anomaly Detection on Masked Objects
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种新的框架，称为ODDObjects，它代表分布外检测对对象的屏蔽对象的无监督异常检测。ODDObjects旨在使用在COCO风格数据集上训练的无监督自动编码器来检测各种类别的异常。该方法利用基于自动编码器的图像重建，其中高重建误差指示异常的可能性。该框架扩展了先前使用自动编码器进行异常检测的工作，比较了在对象识别数据集上训练的最先进模型。比较了各种模型架构，实验结果表明，内存增强的深度卷积自动编码器在检测分布外对象方面表现最好。
2021-04-26 cs.AI cs.CV cs.LG
CMAE-V: Contrastive Masked Autoencoders for Video Action Recognition
Nankai University（南开大学）；Bytedance Inc.（字节跳动公司）；University of Science and Technology Beijing（北京科技大学）
对比掩码自编码器（CMAE）作为一种新的自监督框架，在视觉图像识别中显示出了学习表情特征表示的潜力。这项工作表明，CMAE也平凡推广以及视频动作识别，而无需修改的架构和损失准则。通过直接用时间偏移替换原始像素偏移，我们的用于视觉动作识别的CMAE，简称CMAE-V，可以生成比基于纯掩码自编码器的对应物更强的特征表示。值得注意的是，具有混合架构的CMAE-V可以在Kinetics-400和Something-something V2数据集上分别实现82.2%和71.6%的top-1准确度。希望本报告能为今后的工作提供一些有益的启示。
2023-01-15 cs.CV
Lightweight Metadata-Aware Mixture-of-Experts Masked Autoencoder for Earth Observation
European Centre for Medium-Range Weather Forecasts（欧洲中期天气预报中心）
针对地球观测大模型计算成本高的问题，提出仅2.5M参数的元数据感知混合专家掩码自编码器，结合稀疏专家路由与地理时间条件化预训练，在下游任务中展现出与数亿参数模型相当的竞争力。
2025-09-13 cs.CV cs.LG
Structure is Supervision: Multiview Masked Autoencoders for Radiology
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Department of Computer Science, UC Irvine（加州大学尔湾分校计算机科学系）；Department of Quantitative Biomedicine, University of Zurich（苏黎世大学定量生物医学系）
本文提出多视图掩码自编码器（MVMAE），通过利用放射学研究的多视图结构学习视图不变和疾病相关表征，并在三个公开数据集上验证了其在疾病分类任务中的优越性能。
2026-10-22 cs.CV cs.LG
From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding
C2FMAE通过粗到细的掩码自编码器，解决自监督视觉预训练中对比学习与掩码建模的矛盾，提升图像分类、目标检测和语义分割的性能。
2026-03-10 cs.CV cs.LG
Exploring Target Representations for Masked Autoencoders
Xiamen University（厦门大学）；ByteDance（字节跳动）
掩码自编码器已经成为自监督视觉表示学习的流行训练范例。这些模型随机屏蔽输入的一部分，并根据目标表示重建被屏蔽的部分。在本文中，我们首先表明，仔细选择的目标表示是不必要的学习良好的表示，因为不同的目标往往会产生类似的行为模型。在此观察的驱动下，我们提出了一个多级掩蔽蒸馏管道，并使用随机初始化的模型作为老师，使我们能够有效地训练高容量模型，而无需仔细设计目标表示。有趣的是，我们进一步探索使用能力较大的教师，获得具有显著迁移能力的学生。在分类、迁移学习、目标检测和语义分割的不同任务上，所提出的使用自举教师（dBOT）执行掩蔽知识蒸馏的方法比以前的自监督方法有更好的性能。我们希望我们的发现以及提出的方法可以激励人们重新思考目标表示在预训练掩码自编码器中的作用。代码和预训练模型可在https://github.com/liuxingbin/dbot上公开获取。
2023-03-26 cs.CV
Rethinking Patch Dependence for Masked Autoencoders
UC Berkeley（加州大学伯克利分校）；UCSF（加州大学旧金山分校）
本文通过分解MAE解码机制发现其重建依赖编码器全局表示而非解码器内图像块交互，据此提出仅用交叉注意力的CrossMAE框架，在ViT-S到ViT-H上以更低计算成本取得与传统MAE相当或更优的性能。
2025-04-10 cs.CV
Semantics-Guided Multimodal Masked Autoencoder Pretraining for 3D BEV Object Detection
University of Lincoln, Lincoln Centre for Autonomous Systems（林肯大学，林肯自主系统中心）；University of Cambridge, Institute for Manufacturing, Department of Engineering（剑桥大学，制造研究所，工程系）
提出语义引导的多模态掩码自编码器框架，通过语义引导的LiDAR体素掩码和辅助点语义解码分支，在预训练中注入语义信息，提升3D BEV目标检测性能。
2026-05-24 cs.CV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.（美团公司）
视觉Transformer（ViT）在半监督学习（SSL）中面临数据稀缺的问题。为了缓解这个问题，受到掩码自编码器（MAE）的启发，这是一个数据高效的自监督学习器，我们提出了Semi-MAE，一个纯粹的基于ViT的SSL框架，由一个并行MAE分支组成，以帮助视觉表示学习，使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支，并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率，标签为10%，超过了半监督图像分类的现有技术水平。此外，大量的实验表明，半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
Masked Autoencoders for Low dose CT denoising
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
低剂量计算机断层扫描（LDCT）减少了X射线辐射，但会因更多的噪声和伪影而影响图像质量。为了提高LDCT的图像质量，最近开发了大量的Transformer模型。然而，Transformer模型的成功依赖于大量成对的噪声和干净数据，这在临床应用中通常是不可用的。在计算机视觉和自然语言处理领域，掩蔽自编码器（MAE）由于其出色的特征表示能力，被认为是一种有效的无标记自训练方法。在这里，我们重新设计了经典的编码器-解码器学习模型，以匹配去噪任务，并将其应用于LDCT去噪问题。MAE可以利用未标记的数据，并在地面实况数据丢失时促进LDCT去噪模型的结构保留。Mayo数据集上的实验验证了MAE可以提高Transformer的去噪性能，并减轻对地面真实数据的依赖。
2022-10-10 cs.CV cs.LG eess.IV
Diffusion Models as Masked Autoencoders
FAIR, Meta AI（Meta AI基础人工智能研究院）；UC Santa Cruz（加州大学圣克鲁兹分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出DiffMAE，将扩散模型以掩码输入条件，条件，条件，，掩码自编码器形式化，可同时支持下游识别任务、图像修复和视频分类，并建立扩散模型与掩码自编码器的联系。
2023-04-06 cs.CV
Self-Guided Masked Autoencoder
Seoul National University（首尔国立大学）；Google Research（谷歌研究）
针对 MAE 学习机制不明及随机掩码低效的问题，本文利用其早期形成的 patch 级聚类能力生成自引导掩码，在无需外部信息的情况下提升表征学习效果。
2025-07-26 cs.CV
A Masked Autoencoder Approach to Unsupervised Steel Surface Defect Recognition
针对钢表面缺陷识别中标记数据稀缺问题，采用基于Transformer的掩码自动编码器，通过随机掩码部分图像块让轻量级解码器重建，联合辅助缺陷定位目标训练编码器，聚类预训练编码器特征，取得较高匹配准确率。
2026-07-16 cs.CV
MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based Self-Supervised Pre-Training
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）
本文介绍了基于LiDAR的自监督预训练的掩蔽体素拼图和重建（MV-Jigsaw and Reconstruction）方法，以及在Waymo数据集上精心设计的数据高效的3D目标检测基准。受下游3D对象检测器中的场景-体素-点层次结构的启发，我们设计了考虑场景中的体素分布和体素内的局部点分布的掩蔽和重建策略。我们采用了一种反向Fursed-Voxel-Sampling策略来解决LiDAR点的不均匀分布，并提出了MV-Voxel，它结合了两种技术来建模上述分布，从而获得了优异的性能。我们的实验揭示了以前数据高效实验的局限性，这些实验均匀地对每个LiDAR序列中不同数据比例的微调分裂进行采样，导致分裂之间的数据多样性相似。为了解决这个问题，我们提出了一个新的基准，该基准对场景序列进行采样以进行各种微调分割，确保足够的模型收敛并提供对预训练方法的更准确评估。在Waymo基准测试和KITTI数据集上的实验表明，MV-SVM在各种数据尺度上都能持续显著地提高3D检测性能，与从头开始训练相比，mAPH提高了6.3%。代码和基准将在https://github.com/SmartBot-PJLab/MV-JAR上提供。
2023-03-23 cs.CV
Masked Autoencoders for Generic Event Boundary Detection CVPR'2022 Kinetics-GEBD Challenge
Tencent Holdings Ltd（腾讯控股有限公司）；Tsinghua University（清华大学）
通用事件边界检测（GEBD）任务旨在检测通用的，无分类的事件边界，将整个视频分割成块。在本文中，我们应用掩码自编码器，以提高算法的性能上的GEBD任务。我们的方法主要采用集成的掩码自编码器微调GEBD任务作为一个自我监督的学习者与其他基本模型。此外，我们还使用半监督伪标签方法，以充分利用大量的未标记的Kinetics-400数据进行训练。此外，我们提出了一种软标签的方法，部分平衡的积极和消极的样本，并减轻在这项任务中的模糊标记的问题。最后，实现了一个棘手的分割对齐策略，以将我们的模型预测的边界细化到更准确的位置。通过我们的方法，我们在Kinetics-GEBD测试集上获得了85.94%的F1分数，与2021年Kinetics-GEBD挑战赛的获胜者相比，F1分数提高了2.31%。我们的代码可在https://github.com/ContentAndMaterialPortrait/MAE-GEBD上获得。
2022-06-17 cs.CV
Fus-MAE: A cross-attention-based data fusion approach for Masked Autoencoders in remote sensing
National University of Singapore（新加坡国立大学）
针对遥感多模态数据融合中对比学习依赖复杂数据增强的问题，提出基于交叉注意力的掩码自编码器框架Fus-MAE，实现SAR与光学数据的有效融合，性能比肩定制化对比学习方法且优于其他同类MAE框架。
2025-03-23 cs.CV
VLMAE: Vision-Language Masked Autoencoder
Tencent（腾讯）
图像和语言建模对于视觉语言预训练（VLP）至关重要，VLP旨在从大规模成对的图像-文本数据中学习多模态表示。然而，我们观察到，大多数现有的VLP方法侧重于对图像和文本特征之间的相互作用进行建模，而忽略了图像和文本之间的信息差异，从而遭受焦点偏差。为了解决这个问题，我们提出了一个视觉语言的掩码自编码器框架（VLMAE）。VLMAE采用视觉生成学习，促进模型获得细粒度和无偏见的特征。与以前的作品不同，VLMAE关注图像中几乎所有的关键补丁，提供更全面的理解。大量的实验表明，VLMAE在各种视觉语言下游任务中取得了更好的性能，包括视觉问答，图像-文本检索和视觉接地，即使有高达20%的预训练加速。
2022-08-19 cs.CV
Masked Autoencoders as Image Processors
Shanghai Jiao Tong University（上海交通大学）
本文提出结合通道注意力与移位窗口自注意力的高效Transformer模型CSformer，并为其开发图像处理MAE预训练架构MAEIP，在去噪、去模糊和去雨等任务上取得SOTA性能。
2023-03-30 cs.CV
Occlusion-Robust FAU Recognition by Mining Latent Space of Masked Autoencoders
University of British Columbia（不列颠哥伦比亚大学）；Nanyang Technological University（南洋理工大学）
面部动作单元（FAU）对于细粒度面部表情分析至关重要。虽然FAU检测已积极研究使用理想的高质量图像，它没有彻底研究严重闭塞条件下。在本文中，我们提出了第一个遮挡鲁棒的FAU识别方法，以保持FAU检测性能下严重遮挡。该方法充分利用了掩码自编码器（MAE）潜在空间的丰富信息，并将其转换为FAU特征。该模型通过挖掘预训练好的掩码自编码器的潜在空间，有效地提取了被遮挡人脸的FAU特征，从而简化了遮挡重构步骤。节点和边级知识蒸馏也被用来指导我们的模型找到潜在空间向量和FAU特征之间的映射。人脸遮挡条件，包括随机小补丁和大块，进行了深入的研究。在BP4D和DISFA数据集上的实验结果表明，该方法在所研究的面部遮挡情况下可以达到最先进的性能，显著优于现有的基线方法。特别是，即使在严重的闭塞，所提出的方法可以实现与国家的最先进的方法在正常条件下的性能相当。
2022-12-08 cs.CV
Beyond Labels: A Self-Supervised Framework with Masked Autoencoders and Random Cropping for Breast Cancer Subtype Classification
DISIT, Computer Science Institute, University of Piemonte Orientale（DISIT计算机科学研究所，皮埃蒙特东方大学）；Center for Translational Research on Autoimmune and Allergic Diseases (CAAD), Department of Health Sciences, University of Piemonte Orientale（自身免疫和过敏疾病转化研究中心（CAAD），健康科学系，皮埃蒙特东方大学）；Interdisciplinary Research Center of Autoimmune Diseases (IRCAD), Department of Health Sciences, University of Piemonte Orientale（自身免疫疾病跨学科研究中心（IRCAD），健康科学系，皮埃蒙特东方大学）
提出一种基于 MAE 与随机裁剪的自监督框架，从 WSI 学习组织病理图像表示，并通过线性探针完成乳腺癌多亚型分类。
2024-10-15 cs.AI cs.CV cs.LG
CL-MAE: Curriculum-Learned Masked Autoencoders
Aalborg University（奥尔堡大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）；Milestone Systems（迈尔斯通系统公司）；SecurifAI（SecurifAI公司）
本文提出 CL-MAE，利用可学习掩码模块在 MAE 自监督训练中生成由易到难的重建课程，并在 ImageNet 及五个下游任务上验证其优于 MAE 的表示学习效果。
2024-02-28 cs.AI cs.CV cs.LG
Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
Department of Electrical and Computer Engineering, Rowan University, Glassboro, NJ, USA（电子与计算机工程系，罗文大学，Glassboro, NJ, USA）；Department of Computer Science, Stevens Institute of Technology, Hoboken, NJ, USA（计算机科学系，史蒂文斯理工学院，Hoboken, NJ, USA）
SSMAE通过动态伪标签和验证驱动门控机制，在有限数据下提升视觉变换器性能，实验显示其在低标签条件下表现显著优于传统方法。
2026-01-27 cs.AI cs.CV cs.LG
Masked Swingers: Harnessing Data Augmentation to Advance Autoencoders for Self-Supervised Learning
Vector Institute（向量研究所）；University of British Columbia（不列颠哥伦比亚大学）；Carleton University（卡尔顿大学）；University of Guelph（圭尔夫大学）
本文提出掩码摇摆者，通过双视图增强与跨视图CLS标记交换改进MAE，在多个任务上显著超越基线，并降低错误率，推动自监督学习发展。
2026-10-01 cs.CV
