GraphMAE: Self-Supervised Masked Graph Autoencoders
Tsinghua University（清华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；BirenTech Research（壁仞科技研究院）
自监督学习（Self-supervised learning，SSL）近年来得到了广泛的研究。特别是，生成式SSL在自然语言处理和其他人工智能领域取得了成功，例如BERT和GPT的广泛采用。尽管如此，对比学习-它严重依赖于结构化数据增强和复杂的训练策略-一直是图SSL的主导方法，而生成SSL在图上的进展，特别是图自动编码器（GAE），迄今为止还没有达到其他领域所承诺的潜力。在本文中，我们确定并研究了对GAE的发展产生负面影响的问题，包括它们的重建目标，训练鲁棒性和误差度量。我们提出了一个掩码图自动编码器GraphMAE，它可以缓解生成自监督图预训练的这些问题。而不是重建图结构，我们建议专注于特征重建与掩蔽策略和缩放余弦误差，有利于强大的训练GraphMAE。我们对21个公共数据集进行了广泛的实验，用于三个不同的图学习任务。结果表明，GraphMAE-一个简单的图形自动编码器与精心设计-可以始终产生优于对比和生成的最先进的基线。这项研究提供了对图形自动编码器的理解，并展示了图形生成自监督预训练的潜力。
2022-07-13 cs.LG
Test-Time Training with Masked Autoencoders
UC Berkeley（加州大学伯克利分校）；Meta AI
测试时训练通过使用自监督优化每个测试输入的模型来适应新的测试分布。在本文中，我们使用掩码自编码器这个单样本学习问题。从经验上讲，我们的简单方法提高了分布偏移的许多视觉基准的泛化能力。从理论上讲，我们的特点是这种改进的偏差方差权衡。
2022-09-15 cs.CV cs.LG
Rotary Masked Autoencoders are Versatile Learners
University of Trieste（特里埃斯特大学）；Abdus Salam International Centre for Theoretical Physics (ICTP)（阿布杜斯·萨拉姆国际理论物理学中心（ICTP））；Scuola Internazionale Superiore di Studi Avanzati (SISSA)（国际先进研究高等学院（SISSA））；University of Nova Gorica（诺瓦戈里察大学）；INFN – National Institute for Nuclear Physics（意大利国家核物理研究所（INFN））；ICSC - Centro Nazionale di Ricerca in High Performance Computing（高性能计算国家研究中心（ICSC））；Imperial College London（伦敦帝国理工学院）
RoMAE通过旋转位置嵌入实现多维连续位置学习，无需时间序列特化架构，在多种模态上表现优异，超越专门时间序列架构。
2026-05-12 cs.LG
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST（韩国科学技术院）
掩码自编码器是可扩展的视觉学习器，如MAE \cite{he2022masked}的标题，这表明视觉中的自监督学习（SSL）可能会采取与NLP类似的轨迹。具体地，具有掩蔽预测的生成借口任务（例如，BERT）已经成为NLP中SSL实践的事实标准。相比之下，早期的视觉生成方法的尝试已经被它们的区别性对应物（如对比学习）所掩盖;然而，掩模图像建模的成功已经复兴了掩模自动编码器（过去通常称为去噪自动编码器）。作为弥合与BERT在自然语言处理领域差距的里程碑，掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查，掩码自编码器，以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器，这项工作的重点是它在视觉中的应用，讨论其历史发展，最近的进展，并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
Knowledge-Guided Masked Autoencoder with Linear Spectral Mixing and Spectral-Angle-Aware Reconstruction
本文提出一种结合物理约束的知识引导掩码自编码器，通过线性光谱混合和光谱-角度感知重建提升模型的可解释性和泛化能力。
2026-02-10 cs.LG
Assessing the Potential of Masked Autoencoder Foundation Models in Predicting Downhole Metrics from Surface Drilling Data
Schulich School of Engineering（施鲁奇工程学院）；Department of Electrical and Software Engineering（电气与软件工程系）；University of Calgary（卡尔加里大学）；Department of Chemical and Petroleum Engineering（化学与石油工程系）
本文评估MAEFMs在从地面钻井数据预测井下指标中的潜力，发现其在时间序列建模中具有优势，建议未来进行实证验证。
2026-04-16 cs.LG
MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA（东北大学）
本文提出双掩码自编码器DMAE，通过重建掩码值与教师引导的潜在表示估计及特征对齐约束，实现无监督多元时间序列表示学习，并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
How to Understand Masked Autoencoders
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Oxford（牛津大学）
“掩码自编码器（MAE）是可扩展的视觉学习器”彻底改变了自监督学习方法，因为它不仅实现了图像预训练的最新技术，而且也是弥合视觉和语言掩码自编码（BERT风格）预训练之间差距的里程碑。然而，据我们所知，迄今为止还没有理论观点来解释MAE的强大表现力。在本文中，我们首次提出了一个统一的理论框架，为MAE提供了一个数学理解。具体来说，我们解释了补丁为基础的注意力方法的MAE使用一个完整的内核下的非重叠区域分解设置。为了帮助研究界进一步理解MAE取得巨大成功的主要原因，基于我们的框架，我们提出了五个问题，并使用算子理论的见解用数学严谨性回答了它们。
2022-02-09 cs.CV cs.LG
Detecting Generative Parroting through Overfitting Masked Autoencoders
Autodesk AI Research（欧特克人工智能研究院）
针对生成式AI模型过度模仿训练数据的生成式鹦鹉学舌问题，提出利用过拟合MAE结合训练集平均损失阈值的检测方法，初步验证有效，可助力生成模型的伦理使用与合规性提升。
2024-06-19 cs.AI cs.LG
GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction
University of Georgia（佐治亚大学）；University of Virginia（弗吉尼亚大学）；New York University Shanghai（上海纽约大学）
针对图掩码自编码器泛化不足的问题，提出 GiGaMAE，通过协作重构融合拓扑与属性的潜在嵌入及互信息损失，在七数据集三任务上优于最先进基线。
2023-08-18 cs.AI cs.LG
Siamese Masked Autoencoders
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
建立图像或场景之间的对应关系是计算机视觉中的一个重大挑战，特别是在给定遮挡、视点变化和变化的对象外观的情况下。在本文中，我们提出了Siamese掩码自编码器（SiamMAE），这是掩码自编码器（MAE）的一个简单扩展，用于从视频中学习视觉对应关系。SiamMAE对随机采样的视频帧对进行操作，并对它们进行非对称掩码。这些帧由编码器网络独立处理，由一系列交叉注意层组成的解码器负责预测未来帧中丢失的补丁。通过屏蔽未来帧中的大部分（$95\%$）补丁，同时保持过去帧不变，SiamMAE鼓励网络专注于对象运动并学习以对象为中心的表示。尽管其概念简单，但通过SiamMAE学习的功能在视频对象分割，姿势关键点传播和语义部分传播任务上优于最先进的自监督方法。SiamMAE在不依赖于数据增强、手工制作的基于跟踪的借口任务或其他技术来防止代表性崩溃的情况下实现了有竞争力的结果。
2023-05-23 cs.CV cs.LG
Masked Autoencoders As Spatiotemporal Learners
Meta AI；FAIR（Facebook人工智能研究院）
本文研究了一个概念上简单的掩码自编码器（MAE）的时空表示学习从视频扩展。我们随机屏蔽视频中的时空补丁，并学习自动编码器以像素重建它们。有趣的是，我们发现我们的MAE方法可以学习强表示，几乎没有时空上的归纳偏差（只有除了补丁和位置嵌入），时空不可知的随机掩蔽表现最好。我们观察到，最佳掩蔽比高达90%（图像上为75%），支持这一比例与数据的信息冗余有关的假设。高掩蔽比导致大的加速，例如，> 4倍于挂钟时间，甚至更多。我们报告了使用香草视觉Transformer在几个具有挑战性的视频数据集上的竞争结果。我们观察到，MAE可以大幅优于监督预训练。我们进一步报告了在真实世界中，未经策划的Instagram数据上进行培训的令人鼓舞的结果。我们的研究表明，掩蔽自动编码（BERT，MAE等）的一般框架。可以是一个统一的方法，表示学习与最少的领域知识。
2022-10-21 cs.CV cs.LG
Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning
Stanford University（斯坦福大学）
本文提出自引导掩码自编码器SMA，通过可学习的掩码采样消除领域特定假设，实现完全领域无关的自监督学习，并在蛋白质、化学和粒子物理三个基准上取得最优性能。
2024-02-22 cs.AI cs.LG
Masked Autoencoder for Self-Supervised Pre-training on Lidar Point Clouds
Chalmers University of Technology（查尔姆斯理工大学）；Zenseact
Masked autocoding已经成为文本、图像和最近的点云的Transformer模型的成功预训练范例。原始汽车数据集是自监督预训练的合适候选者，因为与3D目标检测（OD）等任务的注释相比，它们的收集成本通常较低。然而，用于点云的掩码自编码器的开发仅集中在合成和室内数据上。因此，现有的方法已经针对具有均匀点密度的小而密集的点云定制了它们的表示和模型。在这项工作中，我们研究了掩蔽自动编码的点云在汽车设置，这是稀疏的，其中的点密度可以在同一场景中的对象之间的显着变化。为此，我们提出了体素-MAE，一个简单的掩蔽自动编码预训练方案，专为体素表示。我们预先训练了基于Transformer的3D物体检测器的主干，以重建被掩蔽的体素，并区分空体素和非空体素。我们的方法在具有挑战性的nuScenes数据集上将3D OD性能提高了1.75 mAP点和1.05 NDS。此外，我们表明，通过使用Voxel-MAE进行预训练，我们只需要40%的注释数据就可以超越随机初始化的等价数据。代码可在https://github.com/georghess/voxel-mae获得
2023-03-09 cs.CV cs.LG
What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders
Sun Yat-sen University（中山大学）；Ant Group（蚂蚁集团）
本文提出掩码图自编码器MaskGAE，通过掩码边重建任务改进图自编码器的自监督学习，并从理论和实验上证明其在链路预测和节点分类上的优越性。
2023-05-29 cs.AI cs.LG
A vector quantized masked autoencoder for speech emotion recognition
IETR UMR CNRS 6164（法国国家科学研究中心雷恩电子与电信研究所（UMR 6164））
针对语音情感识别标注数据不足的问题，提出在向量量化变分自编码器离散潜在空间中运行的自监督VQ-MAE-S模型，并证明其优于原始频谱图MAE及现有方法。
2023-04-21 cs.LG cs.SD eess.AS
Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization
UC San Diego（加州大学圣迭戈分校）
针对掩码自编码器随机掩码未考虑下游任务需求的问题，提出MLO-MAE框架，通过下游任务端到端反馈学习最优掩码策略，在多数据集和任务上实现性能提升。
2025-03-21 cs.CV cs.LG
How Mask Matters: Towards Theoretical Understandings of Masked Autoencoders
Peking University（北京大学）
基于重建任务的掩码自编码器（MAE）已经成为自监督学习（SSL）的一个有前途的范例，并在不同的基准数据集上实现了最先进的性能。然而，尽管其令人印象深刻的实证成功，仍然有有限的理论理解it. In本文中，我们提出了一个理论理解如何掩蔽事项MAE学习有意义的功能。我们建立了MAE和对比学习之间的密切联系，这表明MAE内隐对齐的面具诱导的积极对。建立在这个连接，我们开发的第一下游保证MAE方法，并分析掩模比的影响。此外，作为隐式对齐的结果，我们还指出了MAE的维度崩溃问题，并提出了均匀性增强的MAE（U-MAE）损失，可以有效地解决这个问题，并在现实世界的数据集上带来显着的改进，包括CIFAR-10，ImageNet-100和ImageNet-1 K。代码可在（https：//github.com/zhangq327/U-MAE）上获得。
2023-03-26 cs.CV cs.LG
ODDObjects: A Framework for Multiclass Unsupervised Anomaly Detection on Masked Objects
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种新的框架，称为ODDObjects，它代表分布外检测对对象的屏蔽对象的无监督异常检测。ODDObjects旨在使用在COCO风格数据集上训练的无监督自动编码器来检测各种类别的异常。该方法利用基于自动编码器的图像重建，其中高重建误差指示异常的可能性。该框架扩展了先前使用自动编码器进行异常检测的工作，比较了在对象识别数据集上训练的最先进模型。比较了各种模型架构，实验结果表明，内存增强的深度卷积自动编码器在检测分布外对象方面表现最好。
2021-04-26 cs.AI cs.CV cs.LG
DenoMAE2.0: Improving Denoising Masked Autoencoders by Classifying Local Patches
DenoMAE2.0通过结合局部补丁分类与重建损失，改进去噪掩码自编码器，在无线通信低数据高噪声场景下，显著提升去噪质量与调制信号分类准确率。
2025-02-25 cs.AI cs.LG
RARE: Robust Masked Graph Autoencoder
National University of Defense Technology（国防科技大学）
提出RARE（鲁棒掩码图自编码器），通过在原始数据和高阶潜在特征空间联合执行掩码与重建，提升自监督图预训练的确定性与可靠性，在17个数据集上表现优于SOTA。
2023-04-06 cs.AI cs.LG
Spatiotemporal System Forecasting with Irregular Time Steps via Masked Autoencoder
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）；University of Liverpool（利物浦大学）；ENPC, EDF R&D, Institut Polytechnique de Paris（巴黎高科国立路桥学校，法国电力集团研发部，巴黎综合理工学院）
本文提出了一种结合卷积自编码器和优化不规则时间序列的掩码自编码器，用于预测高维动态系统，提升了预测精度和计算效率。
2026-03-26 cs.LG nlin.AO
Attention-Guided Masked Autoencoders For Learning Image Representations
Ulm University（乌尔姆大学）；TU Vienna（维也纳工业大学）
本文提出注意力引导的掩码自编码器，通过在重建损失中引入无监督物体注意力图，使模型更关注关键物体，从而在多个基准上提升线性探测和 k-NN 分类性能，并增强 ViTs 对背景变化的鲁棒性。
2024-02-23 cs.CV cs.LG
wav2pos: Sound Source Localization using Masked Autoencoders
Lund University（隆德大学）；Arm（安谋科技）；Sony（索尼）；Tenstorrent
提出将3D声源定位建模为集合到集合回归，用多模态掩码自编码器处理音频和麦克风坐标，重建掩码坐标实现定位，支持任意麦克风数量及缺失数据，在模拟和真实室内录音上表现优异。
2024-08-28 cs.LG cs.SD eess.AS
Masked Autoencoders as Universal Speech Enhancer
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；AWS AI Labs（亚马逊人工智能实验室）
本文提出了一种基于掩码自动编码器的通用语音增强器，通过自监督学习处理多种失真，实现去噪和去回声的高性能表现。
2026-02-02 cs.LG cs.SD
Graph Masked Autoencoders with Transformers
University of Technology Sydney（悉尼科技大学）；Chinese University of Hong Kong（香港中文大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
最近，Transformers在学习图形表示方面表现出了很好的性能。然而，由于深度Transformers很难从头开始训练，加上w.r.t.的二次内存消耗，因此将Transformers应用于现实场景时仍然存在一些挑战。节点的数量。在本文中，我们提出了图掩码自编码器（GMAEs），一个自监督的基于变换的模型学习图表示。为了解决上述两个挑战，我们采用了掩蔽机制和非对称编解码器的设计。具体来说，GMAE以部分掩码图作为输入，并重建掩码节点的特征。编码器和解码器是不对称的，其中编码器是深Transformer，解码器是浅Transformer。掩蔽机制和非对称设计使得GMAE与传统Transformers相比是一种存储效率高的模型。我们表明，当作为一个传统的自监督图表示模型，GMAE实现了最先进的性能在共同的下游评估协议下的图分类任务和节点分类任务。我们还表明，与从头开始的端到端训练相比，我们可以在使用GMAE进行预训练和微调后实现相当的性能，同时简化训练过程。
2022-05-12 cs.IR cs.LG
The hidden advantage of mask resampling: a theory of masked autoencoders
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本研究通过高维模型证明掩码线性重建在异质噪声下能以线性样本复杂度恢复潜在特征，优于PCA，并揭示掩码重采样多样性可降低样本复杂度，实验表明动态掩码在CNN和视觉变换器中具下游优势。
2026-10-02 cond-mat.dis-nn cs.LG stat.ML
Out-of-distribution evaluations of channel agnostic masked autoencoders in fluorescence microscopy
GSK AIML
针对高内涵筛选中的分布偏移问题，提出基于JUMP-CP的隔离评估方案和通道无关掩码自编码器Campfire，实现跨实验批次、扰动剂和荧光标记的泛化及跨细胞类型迁移学习。
2025-03-24 cs.CV cs.LG
A simple, efficient and scalable contrastive masked autoencoder for learning visual representations
University of Maryland（马里兰大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
我们介绍了CAN，这是一种简单、高效且可扩展的视觉表示自监督学习方法。我们的框架是（C）对比学习，（A）掩码自编码器和（N）扩散模型中使用的噪声预测方法的最小和概念上清晰的合成。这些学习机制是相互补充的：对比学习在一批图像样本中塑造嵌入空间;掩码自编码器专注于单个图像样本中低频空间相关性的重建;噪声预测鼓励图像高频分量的重建。结合的方法，结果在一个强大的，可扩展的和易于实现的算法。训练过程是对称的，在两个视图中有50%的补丁被随机掩蔽，与现有的对比学习方法相比，效率得到了相当大的提高。大量的实证研究表明，CAN实现强大的下游性能下的线性和微调评估迁移学习和鲁棒性任务。在ImageNet上进行预训练时，CAN的性能优于MAE和Simplified，但对于JFT-300 M等大型未策划数据集的预训练尤其有用：对于ImageNet上的线性探针，CAN达到75.4%，而Simplified和MAE分别为73.4%和64.1%。我们的ViT-L模型在ImageNet上的微调性能为86.1%，而Simplified为85.5%，MAE为85.4%。Simplified的总体FLOP负载比ViT-L模型的CAN高70%。
2022-10-30 cs.CV cs.LG
Masked Graph Autoencoder with Non-discrete Bandwidths
Michigan State University（密歇根州立大学）
本文提出基于非离散带宽掩码的图自编码器，通过连续分布采样边掩码并预测带宽，解决离散掩码的局限，提升链接预测和节点分类性能。
2024-02-06 cs.LG cs.SI
Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling
Iran University of Science & Technology（伊朗科技大学）
提出用低秩瓶颈自编码器堆叠替代注意力实现上下文混合，结合迭代拉取与校正精化，在掩码语言建模中以约1.9倍更少FLOPs接近注意力性能，并匹配BERT基线。
2026-09-28 cs.CL cs.LG
Revealing the Power of Masked Autoencoders in Traffic Forecasting
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Visa Research（Visa研究院）
针对交通预测中的数据稀缺和模型稳定性问题，提出即插即用的时空掩码自编码器框架STMAE，通过双重掩码预训练与微调集成，显著提升多种时空模型的预测精度。
2024-07-28 cs.AI cs.LG
TerraMAE: Learning Spatial-Spectral Representations from Hyperspectral Earth Observation Data via Adaptive Masked Autoencoders
Colorado State University（科罗拉多州立大学）
提出TerraMAE框架，通过自适应通道分组和增强重建损失学习高光谱空间-光谱表示，在图像重建及作物识别等下游任务中表现优异。
2025-08-09 cs.CV cs.LG
MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting
University of Science and Technology of China（中国科学技术大学）；Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院）；Jiaxing University（嘉兴学院）
大规模自监督预训练Transformer架构显著提升了自然语言处理（NLP）和计算机视觉（CV）中各种任务的性能。然而，利用预训练好的Transformer处理多变量时间序列的研究还比较缺乏，尤其是针对自监督学习的时间序列掩蔽问题的研究更是空白。与语言和图像处理不同，时间序列的信息密度增加了研究的难度。挑战进一步与无效的先前补丁嵌入和掩模方法。本文针对多元时间序列的数据特点，提出了一种补丁嵌入方法，并提出了一种基于掩码自编码器（MAE）的自监督预训练方法MTSMAE，该方法与无需预训练的监督学习相比，可以显著提高学习性能。在不同领域、不同特征的多变量时间序列数据集上的实验结果表明，该方法的性能明显优于目前最好的方法。
2022-10-04 cs.AI cs.LG
SupMAE: Supervised Masked Autoencoders Are Efficient Vision Learners
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；SenseTime Research（商汤科技研究院）
本文提出SupMAE，通过有监督分类分支将MAE扩展到全监督设置并仅用可见图像块分类，以30%计算量达到与MAE相当的ImageNet性能，且鲁棒性和迁移性更优。
2024-01-21 cs.CV cs.LG
MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs
Texas A&M University（德克萨斯A&M大学）；University of Georgia（佐治亚大学）；The Hong Kong Polytechnic University（香港理工大学）；Samsung Research America（三星美国研究院）；Rice University（莱斯大学）
我们引入了一种新的掩码图自动编码器（MGAE）框架，对图结构数据进行有效的学习。从自监督学习中获得见解，我们随机屏蔽大部分边缘，并尝试在训练过程中重建这些丢失的边缘。MGAE有两个核心设计。首先，我们发现掩蔽输入图结构的高比率，例如，$70\%$，产生一个非平凡的和有意义的自我监督的任务，有利于下游应用程序。其次，我们采用了一个图神经网络（GNN）作为编码器执行部分屏蔽图上的消息传播。为了重建大量的掩蔽边缘，一个定制的互相关解码器的建议。该算法能够多粒度地捕捉锚边首尾节点间的互相关。将这两种设计结合起来，使MGAE能够高效地进行训练。在多个开放数据集（Planetoid和OGB基准）上进行的大量实验表明，MGAE在链接预测和节点分类方面通常优于最先进的无监督学习竞争对手。
2022-01-07 cs.IR cs.LG cs.SI
Masked BRep Autoencoder via Hierarchical Graph Transformer
University of Science and Technology of China（科学技术大学）；Hefei University of Technology（合肥工业大学）
本文提出一种自监督学习框架，通过自动学习CAD模型的表示以提升下游任务性能，采用掩码图自编码器和分层图变换器架构，实验表明模型在少量标注数据下表现优异。
2026-03-17 cs.GR cs.LG
Robust Representation Learning in Masked Autoencoders
本文通过分析掩码自编码器（MAE）的表示学习机制，发现其预训练和微调后的表示对模糊、遮挡等退化具有鲁棒性，并通过层间分析和敏感性指标揭示了其类感知子空间和全局注意力机制。
2026-06-23 cs.CV cs.LG
Object-wise Masked Autoencoders for Fast Pre-training
University of Jinan（济南大学）；Carnegie Mellon University（卡内基梅隆大学）
无标签图像的自监督预训练最近在图像分类中取得了很好的效果。基于transformer的方法ViT和MAE的成功，吸引了社区对主干架构和自监督任务设计的关注。在这项工作中，我们表明，当前的掩码图像编码模型学习整个场景中所有对象之间的潜在关系，而不是单个对象表示。因此，这些方法为自监督预训练带来了大量的计算时间。为了解决这个问题，我们引入了一种新的对象选择和划分策略，通过使用感兴趣的区域掩码进行选择性重建来丢弃非对象补丁以学习对象表示。我们将此方法称为ObjMAE。在四个常用数据集上进行的大量实验表明，我们的模型在降低72%的计算成本的同时实现了具有竞争力的性能。此外，我们研究了对象间和对象内的关系，发现后者对于自监督预训练至关重要。
2022-05-28 cs.CV cs.LG
Masked Autoencoders that Listen
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本文研究了基于图像的掩码自编码器（MAE）的一个简单的扩展，从音频频谱图的自监督表示学习。遵循MAE中的Transformer编码器-解码器设计，我们的Audio-MAE首先以高掩蔽比编码音频频谱图补丁，仅通过编码器层馈送未掩蔽的令牌。然后，解码器重新排序并解码填充有掩码令牌的编码上下文，以便重建输入频谱图。我们发现在解码器中加入局部窗口注意力是有益的，因为音频频谱图在本地时间和频带中高度相关。然后，我们对编码器进行微调，在目标数据集上具有较低的掩蔽比。从经验上讲，Audio-MAE在六个音频和语音分类任务上设置了新的最先进的性能，优于其他使用外部监督预训练的最新模型。代码和模型将在https://github.com/facebookresearch/AudioMAE。
2023-01-12 cs.AI cs.LG cs.SD
Masked Autoencoders for Low dose CT denoising
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
低剂量计算机断层扫描（LDCT）减少了X射线辐射，但会因更多的噪声和伪影而影响图像质量。为了提高LDCT的图像质量，最近开发了大量的Transformer模型。然而，Transformer模型的成功依赖于大量成对的噪声和干净数据，这在临床应用中通常是不可用的。在计算机视觉和自然语言处理领域，掩蔽自编码器（MAE）由于其出色的特征表示能力，被认为是一种有效的无标记自训练方法。在这里，我们重新设计了经典的编码器-解码器学习模型，以匹配去噪任务，并将其应用于LDCT去噪问题。MAE可以利用未标记的数据，并在地面实况数据丢失时促进LDCT去噪模型的结构保留。Mayo数据集上的实验验证了MAE可以提高Transformer的去噪性能，并减轻对地面真实数据的依赖。
2022-10-10 cs.CV cs.LG eess.IV
Multi-Modal Masked Autoencoders for Learning Image-Spectrum Associations for Galaxy Evolution and Cosmology
本研究构建多模态掩码自编码器，联合学习星系图像与光谱的共享表示，在重建和红移回归任务上表现良好，展示了跨模态基础模型的潜力与局限。
2025-10-26 astro-ph.GA astro-ph.IM cs.LG
Bootstrapped Masked Autoencoders for Vision BERT Pretraining
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了自举掩码自编码器（BootMAE），一种新的方法，视觉BERT预训练。BootMAE通过两个核心设计改进了原始的掩码自编码器（MAE）：1）动量编码器，提供在线特征作为额外的BERT预测目标; 2）目标感知解码器，试图减少编码器在BERT预训练中记忆目标特定信息的压力。第一种设计的动机是观察到使用预训练的MAE提取特征作为掩码令牌的BERT预测目标可以实现更好的预训练性能。因此，我们添加了一个与原始MAE编码器并行的动量编码器，它通过使用自己的表示作为BERT预测目标来提升预训练性能。在第二种设计中，我们引入目标特定信息（例如，未掩蔽的块的像素值）直接从编码器传送到解码器，以减少存储目标特定信息的编码器上的压力。因此，编码器专注于语义建模，这是BERT预训练的目标，并且不需要浪费其容量来记忆与预测目标相关的未屏蔽令牌的信息。通过大量的实验，我们的BootMAE在具有ViT-B主干的ImageNet-1 K上达到了$84.2\%$ Top-1的准确率，在相同的预训练时期下，比MAE高出$+0.8\%$。BootMAE还在ADE 20 K上的语义分割方面获得了$+1.0$ mIoU改进，并在COCO数据集上的目标检测和分割方面获得了$+1.3$ box AP、$+1.4$ mask AP改进。代码发布于https://github.com/LightDXY/BootMAE。
2022-07-14 cs.CV cs.LG
Forecasting Individual NetFlows using a Predictive Masked Graph Autoencoder
Department of Computer Architecture（计算机架构系）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出了一种图神经网络模型，通过准确建模图结构和连接特征来预测网络流级流量。采用滑动窗口将异构双向图划分为等大小的网络流量，利用GNN建模图结构和连接特征，实验表明在识别端口和IP时表现优异，特征重建与强预测基线相当。
2026-09-17 cs.LG cs.NI
Multi-Signal Reconstruction Using Masked Autoencoder From EEG During Polysomnography
Korea University（高丽大学）
本研究提出基于掩码自编码器的系统，仅用单通道脑电即可重建多信号PSG，在Sleep-EDF-20数据集上验证了可行性，为便捷长期睡眠监测开辟了新途径。
2023-11-14 cs.AI cs.LG eess.SP
Multi-modal Masked Autoencoders Learn Compositional Histopathological Representations
University of Washington（华盛顿大学）
自监督学习（SSL）通过利用不需要标签的借口任务来学习有用的归纳偏差。SSL的未标记性质使得它对于整个切片组织病理学图像（WSIs）尤其重要，其中块级人工注释是困难的。掩码自编码器（MAE）是一种适用于数字病理学的最新SSL方法，因为它不需要负采样，并且几乎不需要数据增强。然而，自然图像和数字病理图像之间的域转移需要进一步的研究，在设计补丁级WSI的MAE。在本文中，我们研究了几种设计选择MAE在组织病理学。此外，我们引入了多模式MAE（MMAE），其利用苏木精和曙红（H&E）染色的WSI的特定组成。我们在公共补丁级数据集NCT-CRC-HE-100 K上进行了实验。结果表明，MMAE架构优于监督基线和其他最先进的SSL技术，用于八类组织表型分析任务，仅利用100个标记样本进行微调。我们的代码可在https://github.com/wisdomikezogwo/MMAE_Pathology上获得
2022-11-14 cs.CV cs.LG
MultiMAE: Multi-modal Multi-task Masked Autoencoders
Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了一种预训练策略，称为多模态多任务掩码自编码器（MultiMAE）。它在两个关键方面不同于标准的Masked Autoencoding：I）它可以可选地接受输入中除了RGB图像之外的其他信息模态（因此“多模态”），以及II）其训练目标相应地包括预测除了RGB图像之外的多个输出（因此“多任务”）。我们利用掩蔽（跨图像块和输入模态）使训练MultiMAE易于处理，并确保网络确实学习了跨模态预测编码。我们表明，这种预训练策略导致了一个灵活，简单，高效的框架，改善了向下游任务的传输结果。特别是，当除RGB图像外的其他信息可用或除RGB外没有其他信息可用时，可以灵活地使用相同的精确预训练网络-在所有配置中都会产生与基线竞争或明显优于基线的结果。为了避免需要具有多种模态和任务的训练数据集，我们完全使用伪标记来训练MultiMAE，这使得该框架广泛适用于任何RGB数据集。实验在多个传输任务（图像分类、语义分割、深度估计）和数据集（ImageNet、ADE 20 K、Taskonomy、Hypersim、NYUv 2）上进行。结果表明，该模型在跨模态/任务预测编码和转移方面具有令人印象深刻的能力。
2022-04-04 cs.CV cs.LG
Masked Subspace Clustering Methods
Beijing Institute of Mathematical Sciences and Applications（北京数学科学研究所）；Tsinghua University（清华大学）
本文提出BCO框架及BMSC、GMSC、RMSC三种掩码子空间聚类方法，通过硬掩码、软掩码及交替更新机制提升聚类性能，并在多个常用数据集上验证了显著效果。
2025-05-11 cs.LG math.OC
Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG
Department of Electrical and Computer Engineering, Lehigh University, Bethlehem, PA, USA（电气与计算机工程系，莱维大学）；Department of Bioengineering, Lehigh University, Bethlehem, PA, USA（生物工程系，莱维大学）；Center for Neuroscience Research, Children’s National Hospital, Washington, DC, USA（神经科学研究中心，儿童国家医院）；Department of Computer Science and Engineering, Lehigh University, Bethlehem, PA, USA（计算机科学与工程系，莱维大学）
针对低密度脑电图数据标注稀缺问题，提出EEG-DisGCMAE统一图自监督预训练蒸馏框架，结合对比与掩码自编码，通过图拓扑蒸馏损失实现跨密度知识迁移，在四个分类任务上验证有效。
2025-07-08 cs.AI cs.LG
UGMAE: A Unified Framework for Graph Masked Autoencoders
University of Notre Dame（圣母大学）；Brandeis University（布兰迪斯大学）
针对图掩码自编码器中节点重要性忽视、信息利用不全及重构不稳定等问题，提出统一框架UGMAE，通过自适应掩码、排序重构、自举相似性和一致性保证模块，在多数据集任务上显著超越现有基线。
2024-02-12 cs.AI cs.LG
Lightweight Metadata-Aware Mixture-of-Experts Masked Autoencoder for Earth Observation
European Centre for Medium-Range Weather Forecasts（欧洲中期天气预报中心）
针对地球观测大模型计算成本高的问题，提出仅2.5M参数的元数据感知混合专家掩码自编码器，结合稀疏专家路由与地理时间条件化预训练，在下游任务中展现出与数亿参数模型相当的竞争力。
2025-09-13 cs.CV cs.LG
Improving Robustness In Sparse Autoencoders via Masked Regularization
Lawrence Livermore National Laboratory, CA, USA（劳伦斯利弗莫尔国家实验室，加利福尼亚州，美国）
本文提出掩码正则化方法，通过在训练中随机替换token以打破共现模式，提升稀疏自编码器的鲁棒性，减少特征吸收，增强可探查性能并缩小OOD差距。
2026-04-07 cs.AI cs.LG
The Dynamic Duo of Collaborative Masking and Target for Advanced Masked Autoencoder Learning
Carnegie Mellon University（卡内基梅隆大学）
本文提出CMT-MAE框架，通过教师与学生模型注意力线性聚合的协同掩码机制及双模型输出特征作为解码器协同目标，在ImageNet-1K上预训练显著提升了MAE的微调与线性探测性能。
2024-12-23 cs.AI cs.CV cs.LG
HiMAE: Hierarchical Masked Autoencoders Discover Resolution-Specific Structure in Wearable Time Series
Samsung Research America（三星美国研究院）
可穿戴传感器提供了丰富的生理时间序列，但其预测效用的原理仍不清楚。我们假设时间分辨率是表示学习的基本轴，不同的临床和行为结果依赖于不同尺度的结构。为了测试这个分辨率假设，我们引入HiMAE（分层掩码自编码器），这是一个自监督框架，它将掩码自编码与分层卷积编码器解码器相结合。HiMAE产生多分辨率嵌入，能够系统评估哪些时间尺度携带预测信号，将分辨率从超参数转换为可解释性探针。在分类、回归和生成基准测试中，HiMAE始终优于最先进的基础模型，这些模型可以缩小规模，但数量级更小。HiMAE是一个高效的表示学习器，足够紧凑，可以完全在手表上运行，在智能手表类CPU上实现亚毫秒级的推理，实现真正的边缘推理。总之，这些贡献定位HiMAE作为一个有效的自监督学习方法和可穿戴健康的规模敏感结构的发现工具。
2025-10-28 cs.AI cs.LG eess.SP
