Heterogeneous Graph Masked Autoencoders
University of Notre Dame（圣母大学）；Brandeis University（布兰迪斯大学）
生成式自监督学习（SSL），特别是掩码自编码器，已成为最令人兴奋的学习范式之一，并在处理图数据方面显示出巨大的潜力。然而，现实世界中的图往往是异构的，这就提出了现有方法所忽略的三个关键挑战：1）如何捕捉复杂的图结构？2)如何合并各种节点属性？以及3）如何编码不同的节点位置？鉴于此，我们研究了异构图上的生成SSL问题，并提出了HGMAE，一种新的异构图掩码自编码器模型来解决这些挑战。HGMAE通过两种创新的掩蔽技术和三种独特的训练策略捕获全面的图形信息。特别是，我们首先开发了具有动态掩码率的元路径掩码和自适应属性掩码，以便在异构图上进行有效和稳定的学习。然后，我们设计了几种训练策略，包括基于元路径的边缘重建，以采用复杂的结构信息，目标属性恢复，将各种节点属性，和位置特征预测编码节点的位置信息。大量的实验表明，HGMAE在多个数据集的多个任务上优于对比和生成的最先进的基线。代码可在https://github.com/meettyj/HGMAE上获得。
2023-02-10 cs.LG
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST（韩国科学技术院）
掩码自编码器是可扩展的视觉学习器，如MAE \cite{he2022masked}的标题，这表明视觉中的自监督学习（SSL）可能会采取与NLP类似的轨迹。具体地，具有掩蔽预测的生成借口任务（例如，BERT）已经成为NLP中SSL实践的事实标准。相比之下，早期的视觉生成方法的尝试已经被它们的区别性对应物（如对比学习）所掩盖;然而，掩模图像建模的成功已经复兴了掩模自动编码器（过去通常称为去噪自动编码器）。作为弥合与BERT在自然语言处理领域差距的里程碑，掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查，掩码自编码器，以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器，这项工作的重点是它在视觉中的应用，讨论其历史发展，最近的进展，并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
Look Ahead or Look Around? A Theoretical Comparison Between Autoregressive and Masked Pretraining
Peking University（北京大学）；Sun Yat-Sen University（中山大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文从理论上比较自回归与掩码两种生成式自监督预训练范式，揭示二者在分类和生成任务上的优劣，并提出多样性增强自回归目标与变长掩码目标以互补改进。
2024-07-01 cs.CL cs.LG
How to Understand Masked Autoencoders
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Oxford（牛津大学）
“掩码自编码器（MAE）是可扩展的视觉学习器”彻底改变了自监督学习方法，因为它不仅实现了图像预训练的最新技术，而且也是弥合视觉和语言掩码自编码（BERT风格）预训练之间差距的里程碑。然而，据我们所知，迄今为止还没有理论观点来解释MAE的强大表现力。在本文中，我们首次提出了一个统一的理论框架，为MAE提供了一个数学理解。具体来说，我们解释了补丁为基础的注意力方法的MAE使用一个完整的内核下的非重叠区域分解设置。为了帮助研究界进一步理解MAE取得巨大成功的主要原因，基于我们的框架，我们提出了五个问题，并使用算子理论的见解用数学严谨性回答了它们。
2022-02-09 cs.CV cs.LG
MAEEG: Masked Auto-encoder for EEG Representation Learning
Apple（苹果公司）
由于数据集小且难以获得标签，使用机器学习从生物信号（如EEG）中解码信息一直是一个挑战。我们提出了一个基于重建的自监督学习模型，掩蔽的自动编码器的EEG（MAEEG），学习EEG表示通过学习重建掩蔽的EEG功能使用Transformer架构。我们发现，MAEEG可以学习表示，显着提高睡眠阶段分类（约5%的准确性增加）时，只有少量的标签。我们还发现，在基于重建的SSL预训练过程中，输入样本长度和不同的掩蔽方式对下游模型的性能有巨大的影响。具体而言，学习重构更大比例和更集中的掩蔽信号导致睡眠分类的更好性能。我们的研究结果为基于重建的SSL如何帮助EEG的表征学习提供了深入了解。
2022-10-27 cs.LG eess.SP
Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning
Stanford University（斯坦福大学）
本文提出自引导掩码自编码器SMA，通过可学习的掩码采样消除领域特定假设，实现完全领域无关的自监督学习，并在蛋白质、化学和粒子物理三个基准上取得最优性能。
2024-02-22 cs.AI cs.LG
FedMAE: Federated Self-Supervised Learning with One-Block Masked Auto-Encoder
The University of Sydney（悉尼大学）；Shandong University（山东大学）
最新的联邦学习（FL）方法开始关注如何在客户端使用未标记的数据进行训练，这是由于用户的隐私问题，高标记成本或缺乏专业知识。然而，目前的联邦半监督/自监督学习（FSSL）方法无法学习大规模的图像，因为本地客户端的计算资源有限。在本文中，我们介绍了一个新的框架FedMAE，它代表联邦掩码自编码器，以解决如何利用未标记的大规模图像的FL的问题。具体地说，FedMAE可以预训练一个块掩码自编码器（MAE）使用大图像在轻量级客户端设备，然后级联多个预训练的一个块MAE在服务器上构建一个多块ViT骨干的下游任务。理论分析和实验结果表明，我们的FedMAE实现了优越的性能相比，国家的最先进的FSSL方法。
2023-03-20 cs.AI cs.LG
Masked Autoencoders As Spatiotemporal Learners
Meta AI；FAIR（Facebook人工智能研究院）
本文研究了一个概念上简单的掩码自编码器（MAE）的时空表示学习从视频扩展。我们随机屏蔽视频中的时空补丁，并学习自动编码器以像素重建它们。有趣的是，我们发现我们的MAE方法可以学习强表示，几乎没有时空上的归纳偏差（只有除了补丁和位置嵌入），时空不可知的随机掩蔽表现最好。我们观察到，最佳掩蔽比高达90%（图像上为75%），支持这一比例与数据的信息冗余有关的假设。高掩蔽比导致大的加速，例如，> 4倍于挂钟时间，甚至更多。我们报告了使用香草视觉Transformer在几个具有挑战性的视频数据集上的竞争结果。我们观察到，MAE可以大幅优于监督预训练。我们进一步报告了在真实世界中，未经策划的Instagram数据上进行培训的令人鼓舞的结果。我们的研究表明，掩蔽自动编码（BERT，MAE等）的一般框架。可以是一个统一的方法，表示学习与最少的领域知识。
2022-10-21 cs.CV cs.LG
GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction
University of Georgia（佐治亚大学）；University of Virginia（弗吉尼亚大学）；New York University Shanghai（上海纽约大学）
针对图掩码自编码器泛化不足的问题，提出 GiGaMAE，通过协作重构融合拓扑与属性的潜在嵌入及互信息损失，在七数据集三任务上优于最先进基线。
2023-08-18 cs.AI cs.LG
What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders
Sun Yat-sen University（中山大学）；Ant Group（蚂蚁集团）
本文提出掩码图自编码器MaskGAE，通过掩码边重建任务改进图自编码器的自监督学习，并从理论和实验上证明其在链路预测和节点分类上的优越性。
2023-05-29 cs.AI cs.LG
MABLE: Masked Autoencoding with Bi-Lipschitz Decoding for Embeddings and Graph Metric Learning
Fleet Space Technologies（舰队空间技术公司）；Research School of Earth Sciences, Australian National University（澳大利亚国立大学地球科学研究学院）
提出MABLE框架，结合掩码重建与固定余弦相似度损失，用双利普希茨特征解码器等方法学习节点和图嵌入，应用于地理空间矿物勘探数据，在多项研究中展现优势。
2026-07-07 cs.LG physics.geo-ph
MGMAE: Motion Guided Masking for Video Masked Autoencoding
Nanjing University（南京大学）；Shanghai AI Lab（上海人工智能实验室）
针对视频掩码自编码中现有掩码策略的不足，提出运动引导的掩码方法，利用运动信息构建时间一致掩码体，缓解信息泄漏问题，在多个数据集上性能优于原始VideoMAE。
2023-08-21 cs.CV cs.LG
How Mask Matters: Towards Theoretical Understandings of Masked Autoencoders
Peking University（北京大学）
基于重建任务的掩码自编码器（MAE）已经成为自监督学习（SSL）的一个有前途的范例，并在不同的基准数据集上实现了最先进的性能。然而，尽管其令人印象深刻的实证成功，仍然有有限的理论理解it. In本文中，我们提出了一个理论理解如何掩蔽事项MAE学习有意义的功能。我们建立了MAE和对比学习之间的密切联系，这表明MAE内隐对齐的面具诱导的积极对。建立在这个连接，我们开发的第一下游保证MAE方法，并分析掩模比的影响。此外，作为隐式对齐的结果，我们还指出了MAE的维度崩溃问题，并提出了均匀性增强的MAE（U-MAE）损失，可以有效地解决这个问题，并在现实世界的数据集上带来显着的改进，包括CIFAR-10，ImageNet-100和ImageNet-1 K。代码可在（https：//github.com/zhangq327/U-MAE）上获得。
2023-03-26 cs.CV cs.LG
DenoMAE2.0: Improving Denoising Masked Autoencoders by Classifying Local Patches
DenoMAE2.0通过结合局部补丁分类与重建损失，改进去噪掩码自编码器，在无线通信低数据高噪声场景下，显著提升去噪质量与调制信号分类准确率。
2025-02-25 cs.AI cs.LG
Masked Autoencoders as Universal Speech Enhancer
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；AWS AI Labs（亚马逊人工智能实验室）
本文提出了一种基于掩码自动编码器的通用语音增强器，通过自监督学习处理多种失真，实现去噪和去回声的高性能表现。
2026-02-02 cs.LG cs.SD
A vector quantized masked autoencoder for speech emotion recognition
IETR UMR CNRS 6164（法国国家科学研究中心雷恩电子与电信研究所（UMR 6164））
针对语音情感识别标注数据不足的问题，提出在向量量化变分自编码器离散潜在空间中运行的自监督VQ-MAE-S模型，并证明其优于原始频谱图MAE及现有方法。
2023-04-21 cs.LG cs.SD eess.AS
A simple, efficient and scalable contrastive masked autoencoder for learning visual representations
University of Maryland（马里兰大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
我们介绍了CAN，这是一种简单、高效且可扩展的视觉表示自监督学习方法。我们的框架是（C）对比学习，（A）掩码自编码器和（N）扩散模型中使用的噪声预测方法的最小和概念上清晰的合成。这些学习机制是相互补充的：对比学习在一批图像样本中塑造嵌入空间;掩码自编码器专注于单个图像样本中低频空间相关性的重建;噪声预测鼓励图像高频分量的重建。结合的方法，结果在一个强大的，可扩展的和易于实现的算法。训练过程是对称的，在两个视图中有50%的补丁被随机掩蔽，与现有的对比学习方法相比，效率得到了相当大的提高。大量的实证研究表明，CAN实现强大的下游性能下的线性和微调评估迁移学习和鲁棒性任务。在ImageNet上进行预训练时，CAN的性能优于MAE和Simplified，但对于JFT-300 M等大型未策划数据集的预训练尤其有用：对于ImageNet上的线性探针，CAN达到75.4%，而Simplified和MAE分别为73.4%和64.1%。我们的ViT-L模型在ImageNet上的微调性能为86.1%，而Simplified为85.5%，MAE为85.4%。Simplified的总体FLOP负载比ViT-L模型的CAN高70%。
2022-10-30 cs.CV cs.LG
Towards Transferable Multi-modal Perception Representation Learning for Autonomy: NeRF-Supervised Masked AutoEncoder
University of Michigan（密歇根大学）；Research Center of Jueying Intelligence（绝影智能研究中心）
提出NS-MAE自监督预训练框架，利用NeRF神经渲染与掩码多模态重建学习可迁移表征，并验证其在多种3D感知任务和模态模型上的迁移效果。
2023-12-06 cs.AI cs.CV cs.LG
MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs
Texas A&M University（德克萨斯A&M大学）；University of Georgia（佐治亚大学）；The Hong Kong Polytechnic University（香港理工大学）；Samsung Research America（三星美国研究院）；Rice University（莱斯大学）
我们引入了一种新的掩码图自动编码器（MGAE）框架，对图结构数据进行有效的学习。从自监督学习中获得见解，我们随机屏蔽大部分边缘，并尝试在训练过程中重建这些丢失的边缘。MGAE有两个核心设计。首先，我们发现掩蔽输入图结构的高比率，例如，$70\%$，产生一个非平凡的和有意义的自我监督的任务，有利于下游应用程序。其次，我们采用了一个图神经网络（GNN）作为编码器执行部分屏蔽图上的消息传播。为了重建大量的掩蔽边缘，一个定制的互相关解码器的建议。该算法能够多粒度地捕捉锚边首尾节点间的互相关。将这两种设计结合起来，使MGAE能够高效地进行训练。在多个开放数据集（Planetoid和OGB基准）上进行的大量实验表明，MGAE在链接预测和节点分类方面通常优于最先进的无监督学习竞争对手。
2022-01-07 cs.IR cs.LG cs.SI
SupMAE: Supervised Masked Autoencoders Are Efficient Vision Learners
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；SenseTime Research（商汤科技研究院）
本文提出SupMAE，通过有监督分类分支将MAE扩展到全监督设置并仅用可见图像块分类，以30%计算量达到与MAE相当的ImageNet性能，且鲁棒性和迁移性更优。
2024-01-21 cs.CV cs.LG
HiMAE: Hierarchical Masked Autoencoders Discover Resolution-Specific Structure in Wearable Time Series
Samsung Research America（三星美国研究院）
可穿戴传感器提供了丰富的生理时间序列，但其预测效用的原理仍不清楚。我们假设时间分辨率是表示学习的基本轴，不同的临床和行为结果依赖于不同尺度的结构。为了测试这个分辨率假设，我们引入HiMAE（分层掩码自编码器），这是一个自监督框架，它将掩码自编码与分层卷积编码器解码器相结合。HiMAE产生多分辨率嵌入，能够系统评估哪些时间尺度携带预测信号，将分辨率从超参数转换为可解释性探针。在分类、回归和生成基准测试中，HiMAE始终优于最先进的基础模型，这些模型可以缩小规模，但数量级更小。HiMAE是一个高效的表示学习器，足够紧凑，可以完全在手表上运行，在智能手表类CPU上实现亚毫秒级的推理，实现真正的边缘推理。总之，这些贡献定位HiMAE作为一个有效的自监督学习方法和可穿戴健康的规模敏感结构的发现工具。
2025-10-28 cs.AI cs.LG eess.SP
Masked Autoencoders that Listen
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本文研究了基于图像的掩码自编码器（MAE）的一个简单的扩展，从音频频谱图的自监督表示学习。遵循MAE中的Transformer编码器-解码器设计，我们的Audio-MAE首先以高掩蔽比编码音频频谱图补丁，仅通过编码器层馈送未掩蔽的令牌。然后，解码器重新排序并解码填充有掩码令牌的编码上下文，以便重建输入频谱图。我们发现在解码器中加入局部窗口注意力是有益的，因为音频频谱图在本地时间和频带中高度相关。然后，我们对编码器进行微调，在目标数据集上具有较低的掩蔽比。从经验上讲，Audio-MAE在六个音频和语音分类任务上设置了新的最先进的性能，优于其他使用外部监督预训练的最新模型。代码和模型将在https://github.com/facebookresearch/AudioMAE。
2023-01-12 cs.AI cs.LG cs.SD
The Dynamic Duo of Collaborative Masking and Target for Advanced Masked Autoencoder Learning
Carnegie Mellon University（卡内基梅隆大学）
本文提出CMT-MAE框架，通过教师与学生模型注意力线性聚合的协同掩码机制及双模型输出特征作为解码器协同目标，在ImageNet-1K上预训练显著提升了MAE的微调与线性探测性能。
2024-12-23 cs.AI cs.CV cs.LG
Zeros can be Informative: Masked Binary U-Net for Image Segmentation on Tensor Cores
PNNL（太平洋西北国家实验室）；Rice University（里士满大学）；META
本文提出MBU-Net，通过遮蔽二进制U-Net实现高精度和高效图像分割，利用张量核心提升性能并降低能耗。
2026-01-15 cs.CV cs.LG
Masked AutoEncoder for Graph Clustering without Pre-defined Cluster Number k
针对图自编码器聚类泛化差且簇数难定的问题，提出GCMA框架，利用图掩码融合编码与改进密度聚类第二解码器端到端输出簇数并提升泛化。
2024-01-09 cs.LG
Auto-Regressive Masked Diffusion Models
School of Computer Science University of Waterloo, ON, Canada（计算机科学学院，滑铁卢大学，加拿大）；Google Research（谷歌研究）
本文提出自回归掩码扩散模型，通过结合自回归模型的训练效率与扩散模型的并行生成能力，实现高效且灵活的语言建模，提升性能并减少训练步骤。
2026-01-23 cs.LG
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning
Peking University（北京大学）；Rice University（Rice大学）；hi-lab, Xiaohongshu Inc（小红书实验室，小红书公司）
本文提出MARVAL框架，通过压缩扩散链为单步自回归生成，提升推理效率并使强化学习实用化，实现了生成模型的快速采样和偏好对齐。
2026-03-17 cs.AI cs.LG
RARE: Robust Masked Graph Autoencoder
National University of Defense Technology（国防科技大学）
提出RARE（鲁棒掩码图自编码器），通过在原始数据和高阶潜在特征空间联合执行掩码与重建，提升自监督图预训练的确定性与可靠性，在17个数据集上表现优于SOTA。
2023-04-06 cs.AI cs.LG
Graph Masked Autoencoders with Transformers
University of Technology Sydney（悉尼科技大学）；Chinese University of Hong Kong（香港中文大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
最近，Transformers在学习图形表示方面表现出了很好的性能。然而，由于深度Transformers很难从头开始训练，加上w.r.t.的二次内存消耗，因此将Transformers应用于现实场景时仍然存在一些挑战。节点的数量。在本文中，我们提出了图掩码自编码器（GMAEs），一个自监督的基于变换的模型学习图表示。为了解决上述两个挑战，我们采用了掩蔽机制和非对称编解码器的设计。具体来说，GMAE以部分掩码图作为输入，并重建掩码节点的特征。编码器和解码器是不对称的，其中编码器是深Transformer，解码器是浅Transformer。掩蔽机制和非对称设计使得GMAE与传统Transformers相比是一种存储效率高的模型。我们表明，当作为一个传统的自监督图表示模型，GMAE实现了最先进的性能在共同的下游评估协议下的图分类任务和节点分类任务。我们还表明，与从头开始的端到端训练相比，我们可以在使用GMAE进行预训练和微调后实现相当的性能，同时简化训练过程。
2022-05-12 cs.IR cs.LG
MARché: Fast Masked Autoregressive Image Generation with Cache-Aware Attention
University of Southern California（南加州大学）；Yonsei University（延世大学）
针对掩码自回归图像生成模型每步重算所有token表示的高计算开销问题，提出含缓存感知注意力与选择性KV刷新的无训练框架MARché，在保证图像质量的前提下实现最高1.7倍加速。
2025-05-22 cs.AI cs.LG
Revealing the Power of Masked Autoencoders in Traffic Forecasting
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Visa Research（Visa研究院）
针对交通预测中的数据稀缺和模型稳定性问题，提出即插即用的时空掩码自编码器框架STMAE，通过双重掩码预训练与微调集成，显著提升多种时空模型的预测精度。
2024-07-28 cs.AI cs.LG
Masked BRep Autoencoder via Hierarchical Graph Transformer
University of Science and Technology of China（科学技术大学）；Hefei University of Technology（合肥工业大学）
本文提出一种自监督学习框架，通过自动学习CAD模型的表示以提升下游任务性能，采用掩码图自编码器和分层图变换器架构，实验表明模型在少量标注数据下表现优异。
2026-03-17 cs.GR cs.LG
Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression
MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Meta, FAIR（元公司 FAIR）
本文提出异构掩码自回归模型 HMA，通过异构预训练和掩码自回归高效建模动作-视频动力学，在提升视觉保真度与可控性的同时实现 15 倍加速，可用于策略评估与合成数据生成。
2025-02-06 cs.CV cs.LG cs.RO
Multi-Modal Masked Autoencoders for Learning Image-Spectrum Associations for Galaxy Evolution and Cosmology
本研究构建多模态掩码自编码器，联合学习星系图像与光谱的共享表示，在重建和红移回归任务上表现良好，展示了跨模态基础模型的潜力与局限。
2025-10-26 astro-ph.GA astro-ph.IM cs.LG
Masked Autoencoders for Low dose CT denoising
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
低剂量计算机断层扫描（LDCT）减少了X射线辐射，但会因更多的噪声和伪影而影响图像质量。为了提高LDCT的图像质量，最近开发了大量的Transformer模型。然而，Transformer模型的成功依赖于大量成对的噪声和干净数据，这在临床应用中通常是不可用的。在计算机视觉和自然语言处理领域，掩蔽自编码器（MAE）由于其出色的特征表示能力，被认为是一种有效的无标记自训练方法。在这里，我们重新设计了经典的编码器-解码器学习模型，以匹配去噪任务，并将其应用于LDCT去噪问题。MAE可以利用未标记的数据，并在地面实况数据丢失时促进LDCT去噪模型的结构保留。Mayo数据集上的实验验证了MAE可以提高Transformer的去噪性能，并减轻对地面真实数据的依赖。
2022-10-10 cs.CV cs.LG eess.IV
CoT-MAE v2: Contextual Masked Auto-Encoder with Multi-view Modeling for Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
本研究提出CoT-MAE v2，通过引入结合密集与稀疏向量的多视图表示及联合自编码与自回归的多视图解码范式，改进上下文掩码自编码器，有效提升了大规模段落检索与域外零样本检索的性能。
2023-04-05 cs.AI cs.CL cs.IR
Unveiling Incomplete Modality Brain Tumor Segmentation: Leveraging Masked Predicted Auto-Encoder and Divergence Learning
Shenzhen MSU-BIT University（深圳北理莫斯科大学）
本文针对多模态MRI脑肿瘤分割中模态缺失问题，提出掩码预测预训练结合Holder伪散度知识蒸馏的新策略，在BRATS2018和BRATS2020数据集上显著提升了分割性能。
2024-06-12 cs.CV cs.LG eess.IV
A vector quantized masked autoencoder for audiovisual speech emotion recognition
CentraleSupélec（中央理工学院）；IETR（信息与电信研究实验室）；UMR CNRS 6164（法国国家科学研究中心6164号研究单位）
本文提出VQ-MAE-AV自监督多模态模型，通过向量量化与掩码自编码器从无标签视听语音中学习帧级和序列级表示，并在多个数据集上取得最先进的情感识别性能。
2025-05-09 cs.LG cs.MM cs.SD
