RPiAE: A Representation-Pivoted Autoencoder Enhancing Both Image Generation and Editing
Beihang University（北航大学）；AI Research（360人工智能研究院）；The Chinese University of Hong Kong（香港中文大学）
本文提出RPiAE，一种基于表示的自编码器，通过引入表示偏转正则化和变分桥梁，提升图像生成和编辑的性能，实验表明其在文本到图像生成和图像编辑中表现优异。
2026-03-19 cs.CV
A simple, efficient and scalable contrastive masked autoencoder for learning visual representations
University of Maryland（马里兰大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
我们介绍了CAN，这是一种简单、高效且可扩展的视觉表示自监督学习方法。我们的框架是（C）对比学习，（A）掩码自编码器和（N）扩散模型中使用的噪声预测方法的最小和概念上清晰的合成。这些学习机制是相互补充的：对比学习在一批图像样本中塑造嵌入空间;掩码自编码器专注于单个图像样本中低频空间相关性的重建;噪声预测鼓励图像高频分量的重建。结合的方法，结果在一个强大的，可扩展的和易于实现的算法。训练过程是对称的，在两个视图中有50%的补丁被随机掩蔽，与现有的对比学习方法相比，效率得到了相当大的提高。大量的实证研究表明，CAN实现强大的下游性能下的线性和微调评估迁移学习和鲁棒性任务。在ImageNet上进行预训练时，CAN的性能优于MAE和Simplified，但对于JFT-300 M等大型未策划数据集的预训练尤其有用：对于ImageNet上的线性探针，CAN达到75.4%，而Simplified和MAE分别为73.4%和64.1%。我们的ViT-L模型在ImageNet上的微调性能为86.1%，而Simplified为85.5%，MAE为85.4%。Simplified的总体FLOP负载比ViT-L模型的CAN高70%。
2022-10-30 cs.CV cs.LG
Diffusion Models as Masked Autoencoders
FAIR, Meta AI（Meta AI基础人工智能研究院）；UC Santa Cruz（加州大学圣克鲁兹分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出DiffMAE，将扩散模型以掩码输入条件，条件，条件，，掩码自编码器形式化，可同时支持下游识别任务、图像修复和视频分类，并建立扩散模型与掩码自编码器的联系。
2023-04-06 cs.CV
MoVT: Video-Augmented Motion Tokenizer for Text-to-Motion Generation
Huazhong University of Science and Technology（华中科技大学）；Zhejiang University（浙江大学）
针对3D动作训练数据不足的问题，提出MoVT框架，利用视频增强动作分词器丰富码本，并集成掩码Transformer，在多个关键指标上超越现有最先进方法。
2026-09-15 cs.CV
Flow to the Mode: Mode-Seeking Diffusion Autoencoders for State-of-the-Art Image Tokenization
Stanford University（斯坦福大学）；University of Michigan（密歇根大学）
FlowMo是一种基于Transformer的扩散自编码器，通过模式匹配和模式寻求阶段实现图像标记化的新SOTA，无需卷积、对抗损失等。
2025-12-02 cs.CV
MAEDiff: Masked Autoencoder-enhanced Diffusion Models for Unsupervised Anomaly Detection in Brain Images
School of Computer Science, Wuhan University（武汉大学计算机学院）
针对脑图像重建困难与全局信息利用不足的问题，本文提出MAEDiff，通过分层补丁和掩码自编码器增强扩散模型的健康图像生成与异常定位，并在肿瘤及多发性硬化病变数据上验证有效。
2024-01-19 cs.CV eess.IV
Autoregressive Image Generation with Masked Bit Modeling
Amazon FAR (Frontier AI \& Robotics)
本文提出基于掩码位建模的自回归框架，通过扩大代码本大小有效缩小离散与连续方法的性能差距，实现更高效的图像生成。
2026-02-09 cs.CV
What Matters for Diffusion-Friendly Latent Manifold? Prior-Aligned Autoencoders for Latent Diffusion
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）；Beihang University（北航）；Sun Yat-sen University（中山大学）；Nankai University（南开大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文研究潜在 manifold 组织对扩散模型生成质量的影响，提出 PAE 显式构建潜在 manifold，提升训练效率和生成质量，达到新状态的 gFID 1.03。
2026-05-08 cs.CV
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST（韩国科学技术院）
掩码自编码器是可扩展的视觉学习器，如MAE \cite{he2022masked}的标题，这表明视觉中的自监督学习（SSL）可能会采取与NLP类似的轨迹。具体地，具有掩蔽预测的生成借口任务（例如，BERT）已经成为NLP中SSL实践的事实标准。相比之下，早期的视觉生成方法的尝试已经被它们的区别性对应物（如对比学习）所掩盖;然而，掩模图像建模的成功已经复兴了掩模自动编码器（过去通常称为去噪自动编码器）。作为弥合与BERT在自然语言处理领域差距的里程碑，掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查，掩码自编码器，以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器，这项工作的重点是它在视觉中的应用，讨论其历史发展，最近的进展，并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）
掩码图像建模（MIM）通过恢复损坏的图像块，在自监督表示学习中表现出令人印象深刻的结果。然而，大多数现有的研究操作的低级别的图像像素，这阻碍了开发高层次的语义表示模型。在这项工作中，我们建议使用语义丰富的视觉标记作为重建目标的掩蔽预测，提供了一个系统的方法来促进MIM从像素级到语义级。具体来说，我们提出了矢量量化的知识蒸馏训练的标记，它离散连续的语义空间紧凑的代码。然后，我们通过预测掩蔽图像块的原始视觉标记来预训练视觉Transformer。此外，我们引入了一个补丁聚合策略，关联离散图像补丁，以增强全局语义表示。对图像分类和语义分割的实验表明，BEiT v2的性能优于所有的MIM方法。在ImageNet-1 K（224大小）上，基本大小的BEiT v2实现了85.5%的微调精度和80.1%的线性探测精度。大尺寸BEiT v2在ImageNet-1 K（224大小）微调时获得了87.3%的top-1准确率，在语义分割时在ADE 20 K上获得了56.7%的mIoU。代码和预训练模型可在https://aka.ms/beitv2上获得。
2022-10-03 cs.CV
iBOT: Image BERT Pre-Training with Online Tokenizer
ByteDance（字节跳动）；Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
语言Transformers的成功主要归功于掩蔽语言建模（MLM）的借口任务，其中文本首先被标记为语义上有意义的片段。在这项工作中，我们研究了掩码图像建模（MIM），并指出使用语义有意义的视觉标记的优点和挑战。我们提出了一个自监督框架iBOT，可以使用在线标记器执行掩码预测。具体地说，我们执行自蒸馏的掩蔽补丁令牌，并采取教师网络作为在线tokenizer，随着自蒸馏的类令牌，以获得视觉语义。在线分词器可与MIM目标共同学习，并且无需多阶段训练管道，其中分词器需要事先进行预训练。我们通过在ImageNet-1 K上实现82.3%的线性探测精度和87.8%的微调精度来展示iBOT的突出性。除了最先进的图像分类结果之外，我们还强调了新兴的局部语义模式，这有助于模型获得对常见腐败的强大鲁棒性，并在密集的下游任务中取得领先的结果，例如，目标检测、实例分割和语义分割。
2022-01-27 cs.CV
ODDObjects: A Framework for Multiclass Unsupervised Anomaly Detection on Masked Objects
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种新的框架，称为ODDObjects，它代表分布外检测对对象的屏蔽对象的无监督异常检测。ODDObjects旨在使用在COCO风格数据集上训练的无监督自动编码器来检测各种类别的异常。该方法利用基于自动编码器的图像重建，其中高重建误差指示异常的可能性。该框架扩展了先前使用自动编码器进行异常检测的工作，比较了在对象识别数据集上训练的最先进模型。比较了各种模型架构，实验结果表明，内存增强的深度卷积自动编码器在检测分布外对象方面表现最好。
2021-04-26 cs.AI cs.CV cs.LG
Test-Time Training with Masked Autoencoders
UC Berkeley（加州大学伯克利分校）；Meta AI
测试时训练通过使用自监督优化每个测试输入的模型来适应新的测试分布。在本文中，我们使用掩码自编码器这个单样本学习问题。从经验上讲，我们的简单方法提高了分布偏移的许多视觉基准的泛化能力。从理论上讲，我们的特点是这种改进的偏差方差权衡。
2022-09-15 cs.CV cs.LG
Beyond Labels: A Self-Supervised Framework with Masked Autoencoders and Random Cropping for Breast Cancer Subtype Classification
DISIT, Computer Science Institute, University of Piemonte Orientale（DISIT计算机科学研究所，皮埃蒙特东方大学）；Center for Translational Research on Autoimmune and Allergic Diseases (CAAD), Department of Health Sciences, University of Piemonte Orientale（自身免疫和过敏疾病转化研究中心（CAAD），健康科学系，皮埃蒙特东方大学）；Interdisciplinary Research Center of Autoimmune Diseases (IRCAD), Department of Health Sciences, University of Piemonte Orientale（自身免疫疾病跨学科研究中心（IRCAD），健康科学系，皮埃蒙特东方大学）
提出一种基于 MAE 与随机裁剪的自监督框架，从 WSI 学习组织病理图像表示，并通过线性探针完成乳腺癌多亚型分类。
2024-10-15 cs.AI cs.CV cs.LG
CL-MAE: Curriculum-Learned Masked Autoencoders
Aalborg University（奥尔堡大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）；Milestone Systems（迈尔斯通系统公司）；SecurifAI（SecurifAI公司）
本文提出 CL-MAE，利用可学习掩码模块在 MAE 自监督训练中生成由易到难的重建课程，并在 ImageNet 及五个下游任务上验证其优于 MAE 的表示学习效果。
2024-02-28 cs.AI cs.CV cs.LG
Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
Department of Electrical and Computer Engineering, Rowan University, Glassboro, NJ, USA（电子与计算机工程系，罗文大学，Glassboro, NJ, USA）；Department of Computer Science, Stevens Institute of Technology, Hoboken, NJ, USA（计算机科学系，史蒂文斯理工学院，Hoboken, NJ, USA）
SSMAE通过动态伪标签和验证驱动门控机制，在有限数据下提升视觉变换器性能，实验显示其在低标签条件下表现显著优于传统方法。
2026-01-27 cs.AI cs.CV cs.LG
Masked Autoencoders are Efficient Class Incremental Learners
Nankai University（南开大学）；University of Florence（佛罗伦萨大学）；Tencent Youtu Lab（腾讯优图实验室）
针对类别增量学习的灾难性遗忘问题，提出将掩码自编码器作为高效学习器，利用其重构能力高效存储过往样本，并提出双边MAE框架实现图像级与嵌入级融合，在多个基准数据集上取得优于现有最优方法的性能。
2023-08-24 cs.AI cs.CV cs.LG
MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA（东北大学）
本文提出双掩码自编码器DMAE，通过重建掩码值与教师引导的潜在表示估计及特征对齐约束，实现无监督多元时间序列表示学习，并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
Masked Autoencoders are Scalable Learners of Cellular Morphology
Recursion（递归制药公司）
本文研究自监督掩码自编码器在细胞形态学图像上的可扩展性，证明CNN和ViT架构在大规模显微镜数据上训练后显著优于弱监督基线，其中ViT-L/8在推断已知生物学关系时相对提升高达28%。
2023-11-27 cs.AI cs.CV cs.LG
How to Understand Masked Autoencoders
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Oxford（牛津大学）
“掩码自编码器（MAE）是可扩展的视觉学习器”彻底改变了自监督学习方法，因为它不仅实现了图像预训练的最新技术，而且也是弥合视觉和语言掩码自编码（BERT风格）预训练之间差距的里程碑。然而，据我们所知，迄今为止还没有理论观点来解释MAE的强大表现力。在本文中，我们首次提出了一个统一的理论框架，为MAE提供了一个数学理解。具体来说，我们解释了补丁为基础的注意力方法的MAE使用一个完整的内核下的非重叠区域分解设置。为了帮助研究界进一步理解MAE取得巨大成功的主要原因，基于我们的框架，我们提出了五个问题，并使用算子理论的见解用数学严谨性回答了它们。
2022-02-09 cs.CV cs.LG
E-ViLM: Efficient Video-Language Model via Masked Video Modeling with Semantic Vector-Quantized Tokenizer
Amazon（亚马逊）；Meta
本文提出轻量级高效视频-语言模型 E-ViLM，结合语义向量量化分词器与掩码视频建模，以极低参数量和计算量在视频问答、文本到视频检索等任务上取得接近大型模型的性能。
2023-11-28 cs.CV
Masked Autoencoders for Egocentric Video Understanding @ Ego4D Challenge 2022
Zhejiang University（浙江大学）；Microsoft（微软）
在这份报告中，我们提出了我们的方法和经验结果，应用掩码自编码器在两个以自我为中心的视频理解任务，即对象状态变化分类和PNR时间定位，Ego4D挑战2022。作为TheSSVL团队，我们在这两项任务中均排名第二。我们的代码将提供。
2022-11-18 cs.CV
Siamese Masked Autoencoders
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
建立图像或场景之间的对应关系是计算机视觉中的一个重大挑战，特别是在给定遮挡、视点变化和变化的对象外观的情况下。在本文中，我们提出了Siamese掩码自编码器（SiamMAE），这是掩码自编码器（MAE）的一个简单扩展，用于从视频中学习视觉对应关系。SiamMAE对随机采样的视频帧对进行操作，并对它们进行非对称掩码。这些帧由编码器网络独立处理，由一系列交叉注意层组成的解码器负责预测未来帧中丢失的补丁。通过屏蔽未来帧中的大部分（$95\%$）补丁，同时保持过去帧不变，SiamMAE鼓励网络专注于对象运动并学习以对象为中心的表示。尽管其概念简单，但通过SiamMAE学习的功能在视频对象分割，姿势关键点传播和语义部分传播任务上优于最先进的自监督方法。SiamMAE在不依赖于数据增强、手工制作的基于跟踪的借口任务或其他技术来防止代表性崩溃的情况下实现了有竞争力的结果。
2023-05-23 cs.CV cs.LG
Masked Autoencoders As Spatiotemporal Learners
Meta AI；FAIR（Facebook人工智能研究院）
本文研究了一个概念上简单的掩码自编码器（MAE）的时空表示学习从视频扩展。我们随机屏蔽视频中的时空补丁，并学习自动编码器以像素重建它们。有趣的是，我们发现我们的MAE方法可以学习强表示，几乎没有时空上的归纳偏差（只有除了补丁和位置嵌入），时空不可知的随机掩蔽表现最好。我们观察到，最佳掩蔽比高达90%（图像上为75%），支持这一比例与数据的信息冗余有关的假设。高掩蔽比导致大的加速，例如，> 4倍于挂钟时间，甚至更多。我们报告了使用香草视觉Transformer在几个具有挑战性的视频数据集上的竞争结果。我们观察到，MAE可以大幅优于监督预训练。我们进一步报告了在真实世界中，未经策划的Instagram数据上进行培训的令人鼓舞的结果。我们的研究表明，掩蔽自动编码（BERT，MAE等）的一般框架。可以是一个统一的方法，表示学习与最少的领域知识。
2022-10-21 cs.CV cs.LG
Towards Transferable Multi-modal Perception Representation Learning for Autonomy: NeRF-Supervised Masked AutoEncoder
University of Michigan（密歇根大学）；Research Center of Jueying Intelligence（绝影智能研究中心）
提出NS-MAE自监督预训练框架，利用NeRF神经渲染与掩码多模态重建学习可迁移表征，并验证其在多种3D感知任务和模态模型上的迁移效果。
2023-12-06 cs.AI cs.CV cs.LG
Masked Autoencoder for Self-Supervised Pre-training on Lidar Point Clouds
Chalmers University of Technology（查尔姆斯理工大学）；Zenseact
Masked autocoding已经成为文本、图像和最近的点云的Transformer模型的成功预训练范例。原始汽车数据集是自监督预训练的合适候选者，因为与3D目标检测（OD）等任务的注释相比，它们的收集成本通常较低。然而，用于点云的掩码自编码器的开发仅集中在合成和室内数据上。因此，现有的方法已经针对具有均匀点密度的小而密集的点云定制了它们的表示和模型。在这项工作中，我们研究了掩蔽自动编码的点云在汽车设置，这是稀疏的，其中的点密度可以在同一场景中的对象之间的显着变化。为此，我们提出了体素-MAE，一个简单的掩蔽自动编码预训练方案，专为体素表示。我们预先训练了基于Transformer的3D物体检测器的主干，以重建被掩蔽的体素，并区分空体素和非空体素。我们的方法在具有挑战性的nuScenes数据集上将3D OD性能提高了1.75 mAP点和1.05 NDS。此外，我们表明，通过使用Voxel-MAE进行预训练，我们只需要40%的注释数据就可以超越随机初始化的等价数据。代码可在https://github.com/georghess/voxel-mae获得
2023-03-09 cs.CV cs.LG
Swin MAE: Masked Autoencoders for Small Datasets
医学图像分析中深度学习模型的发展主要受到缺乏大尺寸和良好注释数据集的限制。无监督学习不需要标签，更适合解决医学图像分析问题。然而，目前大多数无监督学习方法需要应用于大型数据集。为了使无监督学习适用于小数据集，我们提出了Swin MAE，这是一种以Swin Transformer为骨干的掩码自动编码器。即使在只有几千张医学图像的数据集上，并且不使用任何预先训练的模型，Swin MAE仍然能够纯粹从图像中学习有用的语义特征。就下游任务的迁移学习结果而言，它可以等同于甚至略优于在ImageNet上训练的Swin Transformer获得的监督模型。该代码可在www.example.com上公开获取。
2023-01-05 cs.AI cs.CV
Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization
UC San Diego（加州大学圣迭戈分校）
针对掩码自编码器随机掩码未考虑下游任务需求的问题，提出MLO-MAE框架，通过下游任务端到端反馈学习最优掩码策略，在多数据集和任务上实现性能提升。
2025-03-21 cs.CV cs.LG
The Dynamic Duo of Collaborative Masking and Target for Advanced Masked Autoencoder Learning
Carnegie Mellon University（卡内基梅隆大学）
本文提出CMT-MAE框架，通过教师与学生模型注意力线性聚合的协同掩码机制及双模型输出特征作为解码器协同目标，在ImageNet-1K上预训练显著提升了MAE的微调与线性探测性能。
2024-12-23 cs.AI cs.CV cs.LG
How Mask Matters: Towards Theoretical Understandings of Masked Autoencoders
Peking University（北京大学）
基于重建任务的掩码自编码器（MAE）已经成为自监督学习（SSL）的一个有前途的范例，并在不同的基准数据集上实现了最先进的性能。然而，尽管其令人印象深刻的实证成功，仍然有有限的理论理解it. In本文中，我们提出了一个理论理解如何掩蔽事项MAE学习有意义的功能。我们建立了MAE和对比学习之间的密切联系，这表明MAE内隐对齐的面具诱导的积极对。建立在这个连接，我们开发的第一下游保证MAE方法，并分析掩模比的影响。此外，作为隐式对齐的结果，我们还指出了MAE的维度崩溃问题，并提出了均匀性增强的MAE（U-MAE）损失，可以有效地解决这个问题，并在现实世界的数据集上带来显着的改进，包括CIFAR-10，ImageNet-100和ImageNet-1 K。代码可在（https：//github.com/zhangq327/U-MAE）上获得。
2023-03-26 cs.CV cs.LG
Gaussian Masked Autoencoders
Meta, FAIR（Meta FAIR）；UC Berkeley（加州大学伯克利分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
本文提出GMAE，将3D高斯表示与高斯泼溅引入MAE，在像素重建之外联合学习语义抽象和空间理解，实现多种零样本空间感知能力。
2025-01-06 cs.AI cs.CV
Attention-Guided Masked Autoencoders For Learning Image Representations
Ulm University（乌尔姆大学）；TU Vienna（维也纳工业大学）
本文提出注意力引导的掩码自编码器，通过在重建损失中引入无监督物体注意力图，使模型更关注关键物体，从而在多个基准上提升线性探测和 k-NN 分类性能，并增强 ViTs 对背景变化的鲁棒性。
2024-02-23 cs.CV cs.LG
Advancing Volumetric Medical Image Segmentation via Global-Local Masked Autoencoder
Hong Kong University of Science and Technology（香港科技大学）
针对掩码自编码器直接用于体积医学图像存在的全局信息缺失、表征不稳定问题，提出引入全局上下文学习与一致性约束的GL-MAE自监督预训练策略，在多数据集分割任务上性能优于现有前沿方法，标注稀缺时仍有效。
2023-08-23 cs.AI cs.CV
CMAE-V: Contrastive Masked Autoencoders for Video Action Recognition
Nankai University（南开大学）；Bytedance Inc.（字节跳动公司）；University of Science and Technology Beijing（北京科技大学）
对比掩码自编码器（CMAE）作为一种新的自监督框架，在视觉图像识别中显示出了学习表情特征表示的潜力。这项工作表明，CMAE也平凡推广以及视频动作识别，而无需修改的架构和损失准则。通过直接用时间偏移替换原始像素偏移，我们的用于视觉动作识别的CMAE，简称CMAE-V，可以生成比基于纯掩码自编码器的对应物更强的特征表示。值得注意的是，具有混合架构的CMAE-V可以在Kinetics-400和Something-something V2数据集上分别实现82.2%和71.6%的top-1准确度。希望本报告能为今后的工作提供一些有益的启示。
2023-01-15 cs.CV
Out-of-distribution evaluations of channel agnostic masked autoencoders in fluorescence microscopy
GSK AIML
针对高内涵筛选中的分布偏移问题，提出基于JUMP-CP的隔离评估方案和通道无关掩码自编码器Campfire，实现跨实验批次、扰动剂和荧光标记的泛化及跨细胞类型迁移学习。
2025-03-24 cs.CV cs.LG
Exploring Target Representations for Masked Autoencoders
Xiamen University（厦门大学）；ByteDance（字节跳动）
掩码自编码器已经成为自监督视觉表示学习的流行训练范例。这些模型随机屏蔽输入的一部分，并根据目标表示重建被屏蔽的部分。在本文中，我们首先表明，仔细选择的目标表示是不必要的学习良好的表示，因为不同的目标往往会产生类似的行为模型。在此观察的驱动下，我们提出了一个多级掩蔽蒸馏管道，并使用随机初始化的模型作为老师，使我们能够有效地训练高容量模型，而无需仔细设计目标表示。有趣的是，我们进一步探索使用能力较大的教师，获得具有显著迁移能力的学生。在分类、迁移学习、目标检测和语义分割的不同任务上，所提出的使用自举教师（dBOT）执行掩蔽知识蒸馏的方法比以前的自监督方法有更好的性能。我们希望我们的发现以及提出的方法可以激励人们重新思考目标表示在预训练掩码自编码器中的作用。代码和预训练模型可在https://github.com/liuxingbin/dbot上公开获取。
2023-03-26 cs.CV
TerraMAE: Learning Spatial-Spectral Representations from Hyperspectral Earth Observation Data via Adaptive Masked Autoencoders
Colorado State University（科罗拉多州立大学）
提出TerraMAE框架，通过自适应通道分组和增强重建损失学习高光谱空间-光谱表示，在图像重建及作物识别等下游任务中表现优异。
2025-08-09 cs.CV cs.LG
SupMAE: Supervised Masked Autoencoders Are Efficient Vision Learners
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；SenseTime Research（商汤科技研究院）
本文提出SupMAE，通过有监督分类分支将MAE扩展到全监督设置并仅用可见图像块分类，以30%计算量达到与MAE相当的ImageNet性能，且鲁棒性和迁移性更优。
2024-01-21 cs.CV cs.LG
AdaMAE: Adaptive Masking for Efficient Spatiotemporal Learning with Masked Autoencoders
Johns Hopkins University（约翰斯·霍普金斯大学）；Zippin
掩码自编码器（MAE）学习图像、文本、音频、视频等的可概括表示，通过从可见数据的令牌重构屏蔽的输入数据。当前用于视频的MAE方法依赖于基于随机块、管或帧的掩蔽策略来选择这些标记。本文提出了AdaMAE，一种用于MAE的自适应掩蔽策略，该策略是端到端可训练的。我们的自适应掩蔽策略使用辅助采样网络基于语义上下文对可见标记进行采样。该网络估计时空补丁令牌上的分类分布。在强化学习的策略梯度算法的激励下，增加预期重建误差的令牌被奖励并选择为可见令牌。我们表明，AdaMAE从高时空信息区域中采样更多的令牌，从而使我们能够屏蔽95%的令牌，从而降低内存需求和更快的预训练。我们对Something-Something v2（SSv 2）数据集进行了消融研究，以证明我们的自适应采样方法的有效性，并报告了SSv 2和Kinetics-400动作分类数据集的最高准确率为70.0%和81.7%的最新结果，这些数据集具有ViT-Base主干和800个预训练时期。
2022-11-16 cs.AI cs.CV
Rethinking Patch Dependence for Masked Autoencoders
UC Berkeley（加州大学伯克利分校）；UCSF（加州大学旧金山分校）
本文通过分解MAE解码机制发现其重建依赖编码器全局表示而非解码器内图像块交互，据此提出仅用交叉注意力的CrossMAE框架，在ViT-S到ViT-H上以更低计算成本取得与传统MAE相当或更优的性能。
2025-04-10 cs.CV
Robust Representation Learning in Masked Autoencoders
本文通过分析掩码自编码器（MAE）的表示学习机制，发现其预训练和微调后的表示对模糊、遮挡等退化具有鲁棒性，并通过层间分析和敏感性指标揭示了其类感知子空间和全局注意力机制。
2026-06-23 cs.CV cs.LG
Self-Supervised Masked Autoencoders with Dense-Unet for Coronary Calcium Removal in limited CT Data
本文提出Dense-MAE，一种基于自监督学习的框架，用于在有限CT数据中有效去除冠状动脉钙化伪影，提升血管狭窄诊断准确性。
2025-12-25 cs.AI cs.CV
Object-wise Masked Autoencoders for Fast Pre-training
University of Jinan（济南大学）；Carnegie Mellon University（卡内基梅隆大学）
无标签图像的自监督预训练最近在图像分类中取得了很好的效果。基于transformer的方法ViT和MAE的成功，吸引了社区对主干架构和自监督任务设计的关注。在这项工作中，我们表明，当前的掩码图像编码模型学习整个场景中所有对象之间的潜在关系，而不是单个对象表示。因此，这些方法为自监督预训练带来了大量的计算时间。为了解决这个问题，我们引入了一种新的对象选择和划分策略，通过使用感兴趣的区域掩码进行选择性重建来丢弃非对象补丁以学习对象表示。我们将此方法称为ObjMAE。在四个常用数据集上进行的大量实验表明，我们的模型在降低72%的计算成本的同时实现了具有竞争力的性能。此外，我们研究了对象间和对象内的关系，发现后者对于自监督预训练至关重要。
2022-05-28 cs.CV cs.LG
Bootstrapped Masked Autoencoders for Vision BERT Pretraining
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了自举掩码自编码器（BootMAE），一种新的方法，视觉BERT预训练。BootMAE通过两个核心设计改进了原始的掩码自编码器（MAE）：1）动量编码器，提供在线特征作为额外的BERT预测目标; 2）目标感知解码器，试图减少编码器在BERT预训练中记忆目标特定信息的压力。第一种设计的动机是观察到使用预训练的MAE提取特征作为掩码令牌的BERT预测目标可以实现更好的预训练性能。因此，我们添加了一个与原始MAE编码器并行的动量编码器，它通过使用自己的表示作为BERT预测目标来提升预训练性能。在第二种设计中，我们引入目标特定信息（例如，未掩蔽的块的像素值）直接从编码器传送到解码器，以减少存储目标特定信息的编码器上的压力。因此，编码器专注于语义建模，这是BERT预训练的目标，并且不需要浪费其容量来记忆与预测目标相关的未屏蔽令牌的信息。通过大量的实验，我们的BootMAE在具有ViT-B主干的ImageNet-1 K上达到了$84.2\%$ Top-1的准确率，在相同的预训练时期下，比MAE高出$+0.8\%$。BootMAE还在ADE 20 K上的语义分割方面获得了$+1.0$ mIoU改进，并在COCO数据集上的目标检测和分割方面获得了$+1.3$ box AP、$+1.4$ mask AP改进。代码发布于https://github.com/LightDXY/BootMAE。
2022-07-14 cs.CV cs.LG
Masked Autoencoders for Low dose CT denoising
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
低剂量计算机断层扫描（LDCT）减少了X射线辐射，但会因更多的噪声和伪影而影响图像质量。为了提高LDCT的图像质量，最近开发了大量的Transformer模型。然而，Transformer模型的成功依赖于大量成对的噪声和干净数据，这在临床应用中通常是不可用的。在计算机视觉和自然语言处理领域，掩蔽自编码器（MAE）由于其出色的特征表示能力，被认为是一种有效的无标记自训练方法。在这里，我们重新设计了经典的编码器-解码器学习模型，以匹配去噪任务，并将其应用于LDCT去噪问题。MAE可以利用未标记的数据，并在地面实况数据丢失时促进LDCT去噪模型的结构保留。Mayo数据集上的实验验证了MAE可以提高Transformer的去噪性能，并减轻对地面真实数据的依赖。
2022-10-10 cs.CV cs.LG eess.IV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.（美团公司）
视觉Transformer（ViT）在半监督学习（SSL）中面临数据稀缺的问题。为了缓解这个问题，受到掩码自编码器（MAE）的启发，这是一个数据高效的自监督学习器，我们提出了Semi-MAE，一个纯粹的基于ViT的SSL框架，由一个并行MAE分支组成，以帮助视觉表示学习，使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支，并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率，标签为10%，超过了半监督图像分类的现有技术水平。此外，大量的实验表明，半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
Multi-modal Masked Autoencoders Learn Compositional Histopathological Representations
University of Washington（华盛顿大学）
自监督学习（SSL）通过利用不需要标签的借口任务来学习有用的归纳偏差。SSL的未标记性质使得它对于整个切片组织病理学图像（WSIs）尤其重要，其中块级人工注释是困难的。掩码自编码器（MAE）是一种适用于数字病理学的最新SSL方法，因为它不需要负采样，并且几乎不需要数据增强。然而，自然图像和数字病理图像之间的域转移需要进一步的研究，在设计补丁级WSI的MAE。在本文中，我们研究了几种设计选择MAE在组织病理学。此外，我们引入了多模式MAE（MMAE），其利用苏木精和曙红（H&E）染色的WSI的特定组成。我们在公共补丁级数据集NCT-CRC-HE-100 K上进行了实验。结果表明，MMAE架构优于监督基线和其他最先进的SSL技术，用于八类组织表型分析任务，仅利用100个标记样本进行微调。我们的代码可在https://github.com/wisdomikezogwo/MMAE_Pathology上获得
2022-11-14 cs.CV cs.LG
MultiMAE: Multi-modal Multi-task Masked Autoencoders
Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了一种预训练策略，称为多模态多任务掩码自编码器（MultiMAE）。它在两个关键方面不同于标准的Masked Autoencoding：I）它可以可选地接受输入中除了RGB图像之外的其他信息模态（因此“多模态”），以及II）其训练目标相应地包括预测除了RGB图像之外的多个输出（因此“多任务”）。我们利用掩蔽（跨图像块和输入模态）使训练MultiMAE易于处理，并确保网络确实学习了跨模态预测编码。我们表明，这种预训练策略导致了一个灵活，简单，高效的框架，改善了向下游任务的传输结果。特别是，当除RGB图像外的其他信息可用或除RGB外没有其他信息可用时，可以灵活地使用相同的精确预训练网络-在所有配置中都会产生与基线竞争或明显优于基线的结果。为了避免需要具有多种模态和任务的训练数据集，我们完全使用伪标记来训练MultiMAE，这使得该框架广泛适用于任何RGB数据集。实验在多个传输任务（图像分类、语义分割、深度估计）和数据集（ImageNet、ADE 20 K、Taskonomy、Hypersim、NYUv 2）上进行。结果表明，该模型在跨模态/任务预测编码和转移方面具有令人印象深刻的能力。
2022-04-04 cs.CV cs.LG
Pseudo Labelling for Enhanced Masked Autoencoders
Surrey Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所）
本文提出一种增强掩码自编码器的方法，通过引入类和数据令牌的伪标签及令牌级重建，并使用双教师网络解耦目标生成，在ImageNet-1K及下游任务中取得显著提升。
2024-06-25 cs.AI cs.CV
Lightweight Metadata-Aware Mixture-of-Experts Masked Autoencoder for Earth Observation
European Centre for Medium-Range Weather Forecasts（欧洲中期天气预报中心）
针对地球观测大模型计算成本高的问题，提出仅2.5M参数的元数据感知混合专家掩码自编码器，结合稀疏专家路由与地理时间条件化预训练，在下游任务中展现出与数亿参数模型相当的竞争力。
2025-09-13 cs.CV cs.LG
Self-Guided Masked Autoencoder
Seoul National University（首尔国立大学）；Google Research（谷歌研究）
针对 MAE 学习机制不明及随机掩码低效的问题，本文利用其早期形成的 patch 级聚类能力生成自引导掩码，在无需外部信息的情况下提升表征学习效果。
2025-07-26 cs.CV
Structure is Supervision: Multiview Masked Autoencoders for Radiology
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Department of Computer Science, UC Irvine（加州大学尔湾分校计算机科学系）；Department of Quantitative Biomedicine, University of Zurich（苏黎世大学定量生物医学系）
本文提出多视图掩码自编码器（MVMAE），通过利用放射学研究的多视图结构学习视图不变和疾病相关表征，并在三个公开数据集上验证了其在疾病分类任务中的优越性能。
2026-10-22 cs.CV cs.LG
A Masked Autoencoder Approach to Unsupervised Steel Surface Defect Recognition
针对钢表面缺陷识别中标记数据稀缺问题，采用基于Transformer的掩码自动编码器，通过随机掩码部分图像块让轻量级解码器重建，联合辅助缺陷定位目标训练编码器，聚类预训练编码器特征，取得较高匹配准确率。
2026-07-16 cs.CV
Mitigating Positional Leakage in 3D Masked Autoencoders for Robust Representation Learning
SKLCCSE, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；SCSE, Beihang University（北京航空航天大学计算机学院）；NERCBDS, EIRI, Tsinghua University（清华大学电子工程系智能技术与系统国家重点实验室）；SASEE, Beihang University（北京航空航天大学自动化科学与电气工程学院）
针对3D掩码自编码器中位置信息过度依赖导致语义表示弱化的问题，提出MPL-MAE框架，通过重校准位置嵌入和门控位置接口模块，平衡空间先验与语义特征，提升下游任务性能。
2026-07-01 cs.AI cs.CV
