Deforming Autoencoders: Unsupervised Disentangling of Shape and Appearance
Stony Brook University（石溪大学）；CentraleSupélec（高等电力学院）；INRIA（法国国家信息与自动化研究所）；Therapanacea；University College London（伦敦大学学院）；Facebook AI Research（Facebook人工智能研究院）
在这项工作中，我们介绍了变形自动编码器，一个生成模型的图像，从外观中解开形状在一个无监督的方式。如在可变形模板范例中那样，形状被表示为规范坐标系（“模板”）和观察到的图像之间的变形，而外观在“规范”模板坐标中被建模，从而丢弃由于变形而引起的可变性。我们介绍了新的技术，允许这种方法被部署在自动编码器的设置，并表明这种方法可以用于无监督的组明智的图像对齐。我们展示了人类，手部和手指，面部操作，如形状和外观插值，以及无监督地标定位的表达变形实验。在模板坐标中，一种更强大的无监督解缠形式成为可能，使我们能够成功地将人脸图像分解为阴影和阴影，并进一步操作人脸图像。
2018-06-18 cs.CV
DAVA: Disentangling Adversarial Variational Autoencoder
ETH Zürich（苏黎世联邦理工学院）
使用良好解缠的表示为下游任务提供了许多优点，例如增加的样本效率或更好的可解释性。然而，解纠缠解释的质量通常高度依赖于特定于特定超参数的选择，特别是正则化强度。为了解决这个问题，我们引入了DAVA，这是一种用于变分自动编码器的新型训练过程。DAVA完全解决了超参数选择问题。我们将DAVA与具有最优超参数的模型进行比较。无需任何超参数调优，DAVA在各种常用数据集上都具有竞争力。在DAVA的基础上，我们发现了一个无监督解纠缠的必要条件，我们称之为PIPE。我们证明了PIPE在抽象推理中积极预测下游模型性能的能力。我们还彻底调查了与现有监督和无监督指标的相关性。该代码可在https://github.com/besterma/dava上获得。
2023-03-02 cs.AI cs.CV cs.LG
AdaMAE: Adaptive Masking for Efficient Spatiotemporal Learning with Masked Autoencoders
Johns Hopkins University（约翰斯·霍普金斯大学）；Zippin
掩码自编码器（MAE）学习图像、文本、音频、视频等的可概括表示，通过从可见数据的令牌重构屏蔽的输入数据。当前用于视频的MAE方法依赖于基于随机块、管或帧的掩蔽策略来选择这些标记。本文提出了AdaMAE，一种用于MAE的自适应掩蔽策略，该策略是端到端可训练的。我们的自适应掩蔽策略使用辅助采样网络基于语义上下文对可见标记进行采样。该网络估计时空补丁令牌上的分类分布。在强化学习的策略梯度算法的激励下，增加预期重建误差的令牌被奖励并选择为可见令牌。我们表明，AdaMAE从高时空信息区域中采样更多的令牌，从而使我们能够屏蔽95%的令牌，从而降低内存需求和更快的预训练。我们对Something-Something v2（SSv 2）数据集进行了消融研究，以证明我们的自适应采样方法的有效性，并报告了SSv 2和Kinetics-400动作分类数据集的最高准确率为70.0%和81.7%的最新结果，这些数据集具有ViT-Base主干和800个预训练时期。
2022-11-16 cs.AI cs.CV
Self-Supervised Masked Autoencoders with Dense-Unet for Coronary Calcium Removal in limited CT Data
本文提出Dense-MAE，一种基于自监督学习的框架，用于在有限CT数据中有效去除冠状动脉钙化伪影，提升血管狭窄诊断准确性。
2025-12-25 cs.AI cs.CV
ODDObjects: A Framework for Multiclass Unsupervised Anomaly Detection on Masked Objects
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种新的框架，称为ODDObjects，它代表分布外检测对对象的屏蔽对象的无监督异常检测。ODDObjects旨在使用在COCO风格数据集上训练的无监督自动编码器来检测各种类别的异常。该方法利用基于自动编码器的图像重建，其中高重建误差指示异常的可能性。该框架扩展了先前使用自动编码器进行异常检测的工作，比较了在对象识别数据集上训练的最先进模型。比较了各种模型架构，实验结果表明，内存增强的深度卷积自动编码器在检测分布外对象方面表现最好。
2021-04-26 cs.AI cs.CV cs.LG
CMAE-V: Contrastive Masked Autoencoders for Video Action Recognition
Nankai University（南开大学）；Bytedance Inc.（字节跳动公司）；University of Science and Technology Beijing（北京科技大学）
对比掩码自编码器（CMAE）作为一种新的自监督框架，在视觉图像识别中显示出了学习表情特征表示的潜力。这项工作表明，CMAE也平凡推广以及视频动作识别，而无需修改的架构和损失准则。通过直接用时间偏移替换原始像素偏移，我们的用于视觉动作识别的CMAE，简称CMAE-V，可以生成比基于纯掩码自编码器的对应物更强的特征表示。值得注意的是，具有混合架构的CMAE-V可以在Kinetics-400和Something-something V2数据集上分别实现82.2%和71.6%的top-1准确度。希望本报告能为今后的工作提供一些有益的启示。
2023-01-15 cs.CV
Pseudo Labelling for Enhanced Masked Autoencoders
Surrey Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所）
本文提出一种增强掩码自编码器的方法，通过引入类和数据令牌的伪标签及令牌级重建，并使用双教师网络解耦目标生成，在ImageNet-1K及下游任务中取得显著提升。
2024-06-25 cs.AI cs.CV
Exploring Target Representations for Masked Autoencoders
Xiamen University（厦门大学）；ByteDance（字节跳动）
掩码自编码器已经成为自监督视觉表示学习的流行训练范例。这些模型随机屏蔽输入的一部分，并根据目标表示重建被屏蔽的部分。在本文中，我们首先表明，仔细选择的目标表示是不必要的学习良好的表示，因为不同的目标往往会产生类似的行为模型。在此观察的驱动下，我们提出了一个多级掩蔽蒸馏管道，并使用随机初始化的模型作为老师，使我们能够有效地训练高容量模型，而无需仔细设计目标表示。有趣的是，我们进一步探索使用能力较大的教师，获得具有显著迁移能力的学生。在分类、迁移学习、目标检测和语义分割的不同任务上，所提出的使用自举教师（dBOT）执行掩蔽知识蒸馏的方法比以前的自监督方法有更好的性能。我们希望我们的发现以及提出的方法可以激励人们重新思考目标表示在预训练掩码自编码器中的作用。代码和预训练模型可在https://github.com/liuxingbin/dbot上公开获取。
2023-03-26 cs.CV
Disentangling Multiple Features in Video Sequences using Gaussian Processes in Variational Autoencoders
IIIT Delhi（德里印度理工学院）；Bioinformatics Institute, A*STAR（A*STAR生物信息研究所）；Singapore University of Technology and Design（新加坡科技设计大学）
我们介绍MGP-VAE（多解纠缠特征高斯过程变分自编码器），一个变分自编码器，它使用高斯过程（GP）建模的潜在空间的无监督学习的解纠缠表示在视频序列。我们通过建立一个框架来改进以前的工作，通过这个框架，可以将静态或动态的多个功能分离开来。具体来说，我们使用分数布朗运动（fBM）和布朗桥（BB），以执行帧间的相关性结构，在每个独立的通道，并表明，改变这种结构，使人们能够捕捉不同的因素的变化的数据。我们通过在三个公开数据集上的实验证明了我们的表示的质量，并且还使用视频预测任务量化了改进。此外，我们引入了一种新的测地线损失函数，它考虑到数据流形的曲率，以提高学习。实验结果表明，改进的表示方法与新的损失函数相结合，使MGP-VAE在视频预测中的性能优于基线。
2020-07-19 cs.CV
Test-Time Training with Masked Autoencoders
UC Berkeley（加州大学伯克利分校）；Meta AI
测试时训练通过使用自监督优化每个测试输入的模型来适应新的测试分布。在本文中，我们使用掩码自编码器这个单样本学习问题。从经验上讲，我们的简单方法提高了分布偏移的许多视觉基准的泛化能力。从理论上讲，我们的特点是这种改进的偏差方差权衡。
2022-09-15 cs.CV cs.LG
Rethinking Patch Dependence for Masked Autoencoders
UC Berkeley（加州大学伯克利分校）；UCSF（加州大学旧金山分校）
本文通过分解MAE解码机制发现其重建依赖编码器全局表示而非解码器内图像块交互，据此提出仅用交叉注意力的CrossMAE框架，在ViT-S到ViT-H上以更低计算成本取得与传统MAE相当或更优的性能。
2025-04-10 cs.CV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.（美团公司）
视觉Transformer（ViT）在半监督学习（SSL）中面临数据稀缺的问题。为了缓解这个问题，受到掩码自编码器（MAE）的启发，这是一个数据高效的自监督学习器，我们提出了Semi-MAE，一个纯粹的基于ViT的SSL框架，由一个并行MAE分支组成，以帮助视觉表示学习，使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支，并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率，标签为10%，超过了半监督图像分类的现有技术水平。此外，大量的实验表明，半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
Diffusion Models as Masked Autoencoders
FAIR, Meta AI（Meta AI基础人工智能研究院）；UC Santa Cruz（加州大学圣克鲁兹分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出DiffMAE，将扩散模型以掩码输入条件，条件，条件，，掩码自编码器形式化，可同时支持下游识别任务、图像修复和视频分类，并建立扩散模型与掩码自编码器的联系。
2023-04-06 cs.CV
Self-Guided Masked Autoencoder
Seoul National University（首尔国立大学）；Google Research（谷歌研究）
针对 MAE 学习机制不明及随机掩码低效的问题，本文利用其早期形成的 patch 级聚类能力生成自引导掩码，在无需外部信息的情况下提升表征学习效果。
2025-07-26 cs.CV
A Masked Autoencoder Approach to Unsupervised Steel Surface Defect Recognition
针对钢表面缺陷识别中标记数据稀缺问题，采用基于Transformer的掩码自动编码器，通过随机掩码部分图像块让轻量级解码器重建，联合辅助缺陷定位目标训练编码器，聚类预训练编码器特征，取得较高匹配准确率。
2026-07-16 cs.CV
Beyond Semantics: Disentangling Information Scope in Sparse Autoencoders for CLIP
KAIST（韩国科学技术院）；Korea AI Safety Institute, ETRI（韩国电子通信研究院人工智能安全研究所）
本文提出信息范围作为理解CLIP表示的新维度，通过Contextual Dependency Score量化稀疏自编码器特征的广度，揭示不同信息范围特征对CLIP预测和置信度的影响差异。
2026-04-07 cs.CV
Masked Autoencoders for Generic Event Boundary Detection CVPR'2022 Kinetics-GEBD Challenge
Tencent Holdings Ltd（腾讯控股有限公司）；Tsinghua University（清华大学）
通用事件边界检测（GEBD）任务旨在检测通用的，无分类的事件边界，将整个视频分割成块。在本文中，我们应用掩码自编码器，以提高算法的性能上的GEBD任务。我们的方法主要采用集成的掩码自编码器微调GEBD任务作为一个自我监督的学习者与其他基本模型。此外，我们还使用半监督伪标签方法，以充分利用大量的未标记的Kinetics-400数据进行训练。此外，我们提出了一种软标签的方法，部分平衡的积极和消极的样本，并减轻在这项任务中的模糊标记的问题。最后，实现了一个棘手的分割对齐策略，以将我们的模型预测的边界细化到更准确的位置。通过我们的方法，我们在Kinetics-GEBD测试集上获得了85.94%的F1分数，与2021年Kinetics-GEBD挑战赛的获胜者相比，F1分数提高了2.31%。我们的代码可在https://github.com/ContentAndMaterialPortrait/MAE-GEBD上获得。
2022-06-17 cs.CV
SMAUG: Sparse Masked Autoencoder for Efficient Video-Language Pre-training
University of Washington（华盛顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
视频语言预训练对于学习强大的多模态表示至关重要。然而，它通常需要大量的计算。在本文中，我们开发了SMAUG，一个有效的视频-语言模型的预训练框架。SMAUG中的基础组件是掩码自编码器。与以往只屏蔽文本输入的方法不同，本文的屏蔽策略同时考虑了视觉和文本模态，提供了更好的跨模态对齐，节省了更多的预训练成本。最重要的是，我们引入了一个时空令牌稀疏化模块，它利用上下文信息进一步选择“重要”的空间区域和时间帧进行预训练。耦合所有这些设计，使我们的方法，以享受文本到视频检索和视频问答任务的竞争力的表现，和少得多的预训练成本的1.9倍或更多。例如，我们的SMAUG仅需要大约50个NVIDIA A6000 GPU小时的预训练，就可以在六个流行的基准测试中获得这两个视频语言任务的竞争力。
2022-11-30 cs.AI cs.CL cs.CV
Disentangling Visual Priors: Unsupervised Learning of Scene Interpretations with Compositional Autoencoder
Institute of Computing Science, Poznan University of Technology（波兹南理工大学计算机科学学院）
针对深度学习架构缺乏捕捉基础视觉概念方法的问题，提出结合领域特定语言与卷积神经网络的神经符号组合自编码器，在合成基准上实现图像形成过程解耦、小数据学习等能力。
2024-09-15 cs.CV
Fus-MAE: A cross-attention-based data fusion approach for Masked Autoencoders in remote sensing
National University of Singapore（新加坡国立大学）
针对遥感多模态数据融合中对比学习依赖复杂数据增强的问题，提出基于交叉注意力的掩码自编码器框架Fus-MAE，实现SAR与光学数据的有效融合，性能比肩定制化对比学习方法且优于其他同类MAE框架。
2025-03-23 cs.CV
VLMAE: Vision-Language Masked Autoencoder
Tencent（腾讯）
图像和语言建模对于视觉语言预训练（VLP）至关重要，VLP旨在从大规模成对的图像-文本数据中学习多模态表示。然而，我们观察到，大多数现有的VLP方法侧重于对图像和文本特征之间的相互作用进行建模，而忽略了图像和文本之间的信息差异，从而遭受焦点偏差。为了解决这个问题，我们提出了一个视觉语言的掩码自编码器框架（VLMAE）。VLMAE采用视觉生成学习，促进模型获得细粒度和无偏见的特征。与以前的作品不同，VLMAE关注图像中几乎所有的关键补丁，提供更全面的理解。大量的实验表明，VLMAE在各种视觉语言下游任务中取得了更好的性能，包括视觉问答，图像-文本检索和视觉接地，即使有高达20%的预训练加速。
2022-08-19 cs.CV
3D Feature Prediction for Masked-AutoEncoder-Based Point Cloud Pretraining
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
本文提出一种基于掩码自编码器的点云预训练新方法，通过独立于编码器的注意力解码器恢复掩码点的高阶特征（如表面法线），而非重建几何位置，显著提升了多种点云分析任务的性能。
2024-04-28 cs.CV
Masked Autoencoders as Image Processors
Shanghai Jiao Tong University（上海交通大学）
本文提出结合通道注意力与移位窗口自注意力的高效Transformer模型CSformer，并为其开发图像处理MAE预训练架构MAEIP，在去噪、去模糊和去雨等任务上取得SOTA性能。
2023-03-30 cs.CV
Occlusion-Robust FAU Recognition by Mining Latent Space of Masked Autoencoders
University of British Columbia（不列颠哥伦比亚大学）；Nanyang Technological University（南洋理工大学）
面部动作单元（FAU）对于细粒度面部表情分析至关重要。虽然FAU检测已积极研究使用理想的高质量图像，它没有彻底研究严重闭塞条件下。在本文中，我们提出了第一个遮挡鲁棒的FAU识别方法，以保持FAU检测性能下严重遮挡。该方法充分利用了掩码自编码器（MAE）潜在空间的丰富信息，并将其转换为FAU特征。该模型通过挖掘预训练好的掩码自编码器的潜在空间，有效地提取了被遮挡人脸的FAU特征，从而简化了遮挡重构步骤。节点和边级知识蒸馏也被用来指导我们的模型找到潜在空间向量和FAU特征之间的映射。人脸遮挡条件，包括随机小补丁和大块，进行了深入的研究。在BP4D和DISFA数据集上的实验结果表明，该方法在所研究的面部遮挡情况下可以达到最先进的性能，显著优于现有的基线方法。特别是，即使在严重的闭塞，所提出的方法可以实现与国家的最先进的方法在正常条件下的性能相当。
2022-12-08 cs.CV
Beyond Labels: A Self-Supervised Framework with Masked Autoencoders and Random Cropping for Breast Cancer Subtype Classification
DISIT, Computer Science Institute, University of Piemonte Orientale（DISIT计算机科学研究所，皮埃蒙特东方大学）；Center for Translational Research on Autoimmune and Allergic Diseases (CAAD), Department of Health Sciences, University of Piemonte Orientale（自身免疫和过敏疾病转化研究中心（CAAD），健康科学系，皮埃蒙特东方大学）；Interdisciplinary Research Center of Autoimmune Diseases (IRCAD), Department of Health Sciences, University of Piemonte Orientale（自身免疫疾病跨学科研究中心（IRCAD），健康科学系，皮埃蒙特东方大学）
提出一种基于 MAE 与随机裁剪的自监督框架，从 WSI 学习组织病理图像表示，并通过线性探针完成乳腺癌多亚型分类。
2024-10-15 cs.AI cs.CV cs.LG
Masked Swingers: Harnessing Data Augmentation to Advance Autoencoders for Self-Supervised Learning
Vector Institute（向量研究所）；University of British Columbia（不列颠哥伦比亚大学）；Carleton University（卡尔顿大学）；University of Guelph（圭尔夫大学）
本文提出掩码摇摆者，通过双视图增强与跨视图CLS标记交换改进MAE，在多个任务上显著超越基线，并降低错误率，推动自监督学习发展。
2026-10-01 cs.CV
MultiMAE-DER: Multimodal Masked Autoencoder for Dynamic Emotion Recognition
Florida International University（佛罗里达国际大学）
本文提出MultiMAE-DER，一种用于动态情感识别的多模态掩码自编码器，通过预训练模型微调与优化六种融合策略增强跨域特征相关性，在多个数据集上显著提升了WAR指标。
2024-05-16 cs.CV
MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA（东北大学）
本文提出双掩码自编码器DMAE，通过重建掩码值与教师引导的潜在表示估计及特征对齐约束，实现无监督多元时间序列表示学习，并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
Multi-Scale Neighborhood Occupancy Masked Autoencoder for Self-Supervised Learning in LiDAR Point Clouds
Bosch Center for AI（博世人工智能中心）；University of Freiburg（弗莱堡大学）
提出NOMAE，通过多尺度邻域占用重建解决LiDAR点云MAE的占用泄漏与计算复杂问题，在nuScenes和Waymo上实现SOTA。
2025-02-27 cs.AI cs.CV cs.RO
Feature Guided Masked Autoencoder for Self-supervised Learning in Remote Sensing
Technical University of Munich (TUM)（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对MAE在遥感图像中过度关注像素细节、语义理解不足的问题，提出FG-MAE，通过重建HOG和NDI等特征提升自监督预训练效果，并在SAR和多光谱图像上验证其有效性。
2023-10-28 cs.CV
CL-MAE: Curriculum-Learned Masked Autoencoders
Aalborg University（奥尔堡大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）；Milestone Systems（迈尔斯通系统公司）；SecurifAI（SecurifAI公司）
本文提出 CL-MAE，利用可学习掩码模块在 MAE 自监督训练中生成由易到难的重建课程，并在 ImageNet 及五个下游任务上验证其优于 MAE 的表示学习效果。
2024-02-28 cs.AI cs.CV cs.LG
Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
Department of Electrical and Computer Engineering, Rowan University, Glassboro, NJ, USA（电子与计算机工程系，罗文大学，Glassboro, NJ, USA）；Department of Computer Science, Stevens Institute of Technology, Hoboken, NJ, USA（计算机科学系，史蒂文斯理工学院，Hoboken, NJ, USA）
SSMAE通过动态伪标签和验证驱动门控机制，在有限数据下提升视觉变换器性能，实验显示其在低标签条件下表现显著优于传统方法。
2026-01-27 cs.AI cs.CV cs.LG
Offline Signature Verification Based on Feature Disentangling Aided Variational Autoencoder
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Boston University（波士顿大学）
本文提出首个基于变分自编码器直接提取签名图像特征的离线签名验证方法，通过引入特征解耦损失函数增强判别性，并结合SVM分类，在MCYT-75和GPDS-synthetic数据集上显著优于13种代表性方法。
2024-09-29 cs.CV
ConvMAE: Masked Convolution Meets Masked Autoencoders
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
视觉Transformer（ViT）成为各种视觉任务广泛采用的架构。用于特征预训练和多尺度混合卷积变换架构的掩蔽自动编码可以进一步释放ViT的潜力，从而在图像分类，检测和语义分割方面实现最先进的性能。在本文中，我们的ConvMAE框架证明了多尺度混合卷积变换器可以通过掩码自动编码方案学习更多的判别表示。然而，直接使用原始的掩蔽策略会导致大量的计算成本和预训练-微调的差异。为了解决这个问题，我们采用掩蔽卷积来防止卷积块中的信息泄漏。提出了一种简单的分块掩蔽策略，以确保计算效率。我们还建议更直接地监督编码器的多尺度特征，以增强多尺度特征。基于我们预训练的ConvMAE模型，ConvMAE-Base将ImageNet-1 K微调精度提高了1.4%。在目标检测方面，仅微调25个epoch的ConvMAE-Base分别以2.9%的框AP和2.2%的掩模AP超过微调100个epoch的MAE-Base。代码和预训练模型可在https://github.com/Alpha-VL/ConvMAE上获得。
2022-05-19 cs.CV
Reconstructing the Invisible: Video Frame Restoration through Siamese Masked Conditional Variational Autoencoder
LIRA Center, Lancaster University（兰卡斯特大学LIRA中心）
本文提出 SiamMCVAE，利用基于 vision transformer 的孪生双编码器捕捉配对帧相似性，并通过变分推理重建视频帧缺失信息，提升自动驾驶与监控等视觉系统的鲁棒性。
2024-01-18 cs.CV
Masked Autoencoders are Efficient Class Incremental Learners
Nankai University（南开大学）；University of Florence（佛罗伦萨大学）；Tencent Youtu Lab（腾讯优图实验室）
针对类别增量学习的灾难性遗忘问题，提出将掩码自编码器作为高效学习器，利用其重构能力高效存储过往样本，并提出双边MAE框架实现图像级与嵌入级融合，在多个基准数据集上取得优于现有最优方法的性能。
2023-08-24 cs.AI cs.CV cs.LG
Transformer with Leveraged Masked Autoencoder for video-based Pain Assessment
Chonnam National University（全南大学）
本文提出一种结合 Masked Autoencoder 与 Transformers 分类器的深度学习模型，通过面部视频的表情与微表情有效捕捉疼痛指标，在 AI4Pain 数据集上取得良好结果，为客观全面的医疗疼痛评估提供创新方案。
2024-09-30 cs.CV
Towards Transferable Multi-modal Perception Representation Learning for Autonomy: NeRF-Supervised Masked AutoEncoder
University of Michigan（密歇根大学）；Research Center of Jueying Intelligence（绝影智能研究中心）
提出NS-MAE自监督预训练框架，利用NeRF神经渲染与掩码多模态重建学习可迁移表征，并验证其在多种3D感知任务和模态模型上的迁移效果。
2023-12-06 cs.AI cs.CV cs.LG
How to Understand Masked Autoencoders
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Oxford（牛津大学）
“掩码自编码器（MAE）是可扩展的视觉学习器”彻底改变了自监督学习方法，因为它不仅实现了图像预训练的最新技术，而且也是弥合视觉和语言掩码自编码（BERT风格）预训练之间差距的里程碑。然而，据我们所知，迄今为止还没有理论观点来解释MAE的强大表现力。在本文中，我们首次提出了一个统一的理论框架，为MAE提供了一个数学理解。具体来说，我们解释了补丁为基础的注意力方法的MAE使用一个完整的内核下的非重叠区域分解设置。为了帮助研究界进一步理解MAE取得巨大成功的主要原因，基于我们的框架，我们提出了五个问题，并使用算子理论的见解用数学严谨性回答了它们。
2022-02-09 cs.CV cs.LG
Self-distillation Augmented Masked Autoencoders for Histopathological Image Classification
Fudan University（复旦大学）；Hunan Normal University（湖南师范大学）
本文提出自蒸馏增强掩码自编码器SD-MAE，通过在可见图像块上引入自蒸馏损失提升浅层编码器表示能力，并在组织病理图像分类、细胞分割和目标检测中验证其竞争力。
2023-05-29 cs.CV
Y-Autoencoders: disentangling latent representations via sequential-encoding
University of Edinburgh（爱丁堡大学）；Snap Inc.（Snap公司）
在过去的几年里，生成模型有了重要的进步，两种主要的方法是生成对抗网络（GANs）和变分自编码器（VAE）。然而，标准的自动编码器（AE）和密切相关的结构仍然很受欢迎，因为它们易于训练并适应不同的任务。一个有趣的问题是，我们是否可以在保持AE良好特性的同时实现最先进的性能。我们提出了一个答案，这个问题通过引入一个新的模型称为Y-自动编码器（Y-AE）。Y-AE的结构和训练过程将表征分为内隐和外显两部分。隐式部分类似于自动编码器的输出，显式部分与训练集中的标签密切相关。在解码和重新编码之前，通过将编码器的输出分成两条路径（形成Y形），在潜在空间中将这两个部分分开。然后，我们施加了一些损失，如重建损失，以及损失的依赖关系之间的隐式和显式的部分。此外，显式流形中的投影由预测器监控，该预测器嵌入在编码器中并进行端到端训练，没有对抗性损失。我们提供了显着的实验结果，在各个领域，如分离的风格和内容，图像到图像的翻译，和逆图形。
2019-07-25 cs.CV cs.LG
Masked Autoencoders for Point Cloud Self-supervised Learning
National University of Singapore（新加坡国立大学）；ZheJiang University（浙江大学）；Peking University（北京大学）；Tencent Data Platform（腾讯数据平台）；Pengcheng Laboratory（鹏城实验室）
作为一种很有前途的自监督学习方法，掩码自动编码技术在自然语言处理和计算机视觉领域有着重要的发展。受此启发，我们提出了一种用于点云自监督学习的屏蔽自编码器的简洁方案，解决了点云属性带来的挑战，包括位置信息泄漏和信息密度不均匀。具体地说，我们将输入点云划分为不规则的点片，并以高比例随机掩蔽它们。然后，一个标准的Transformer为基础的自动编码器，与一个不对称的设计和移位掩码令牌操作，学习高层次的潜在功能，从未掩蔽的点补丁，旨在重建掩蔽点补丁。大量的实验表明，我们的方法在预训练期间是有效的，并且在各种下游任务上具有很好的泛化能力。具体来说，我们的预训练模型在ScanObjectNN上的准确率为85.18%，在ModelNet40上的准确率为94.04%，优于所有其他自监督学习方法。我们展示了我们的方案，一个完全基于标准Transformers的简单架构可以超越来自监督学习的专用Transformer模型。我们的方法还提高了1.5%-2.3%的最先进的准确性，在Few-Shot对象分类。此外，我们的工作启发了将统一架构从语言和图像应用到点云的可行性。
2022-03-28 cs.CV
Masked Autoencoders are Scalable Learners of Cellular Morphology
Recursion（递归制药公司）
本文研究自监督掩码自编码器在细胞形态学图像上的可扩展性，证明CNN和ViT架构在大规模显微镜数据上训练后显著优于弱监督基线，其中ViT-L/8在推断已知生物学关系时相对提升高达28%。
2023-11-27 cs.AI cs.CV cs.LG
Masked Autoencoder for Unsupervised Video Summarization
NAVER Cloud（NAVER 云）；KAIST（韩国科学技术院）
本文提出一种用于无监督视频摘要的自监督掩码自编码器，直接利用解码器重建分数评估帧重要性，无需额外下游架构或微调，并在多个基准上验证有效性。
2023-06-02 cs.CV
HFBRI-MAE: Handcrafted Feature Based Rotation-Invariant Masked Autoencoder for 3D Point Cloud Analysis
School of Computer Science, The University of Sydney（计算机科学学院，悉尼大学）
针对现有掩码自编码器缺乏旋转不变性导致性能下降的问题，提出HFBRI-MAE框架，利用旋转不变手工特征进行令牌与位置嵌入并重定义重建目标，在多个基准上提升分类、分割与少样本学习性能。
2025-04-19 cs.CV
Context Autoencoder for Self-Supervised Representation Learning
Peking University（北京大学）；University of Hong Kong（香港大学）；UC Berkeley（加州大学伯克利分校）；Baidu（百度）
本文提出上下文自编码器CAE，通过在编码表示空间中预测掩码图像块表示并重建掩码图像块，实现编码器学习与预训练任务分离，在分割、检测和分类等下游任务中取得优越迁移性能。
2023-08-10 cs.CV
The Dynamic Duo of Collaborative Masking and Target for Advanced Masked Autoencoder Learning
Carnegie Mellon University（卡内基梅隆大学）
本文提出CMT-MAE框架，通过教师与学生模型注意力线性聚合的协同掩码机制及双模型输出特征作为解码器协同目标，在ImageNet-1K上预训练显著提升了MAE的微调与线性探测性能。
2024-12-23 cs.AI cs.CV cs.LG
Siamese Masked Autoencoders
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
建立图像或场景之间的对应关系是计算机视觉中的一个重大挑战，特别是在给定遮挡、视点变化和变化的对象外观的情况下。在本文中，我们提出了Siamese掩码自编码器（SiamMAE），这是掩码自编码器（MAE）的一个简单扩展，用于从视频中学习视觉对应关系。SiamMAE对随机采样的视频帧对进行操作，并对它们进行非对称掩码。这些帧由编码器网络独立处理，由一系列交叉注意层组成的解码器负责预测未来帧中丢失的补丁。通过屏蔽未来帧中的大部分（$95\%$）补丁，同时保持过去帧不变，SiamMAE鼓励网络专注于对象运动并学习以对象为中心的表示。尽管其概念简单，但通过SiamMAE学习的功能在视频对象分割，姿势关键点传播和语义部分传播任务上优于最先进的自监督方法。SiamMAE在不依赖于数据增强、手工制作的基于跟踪的借口任务或其他技术来防止代表性崩溃的情况下实现了有竞争力的结果。
2023-05-23 cs.CV cs.LG
Mimic before Reconstruct: Enhancing Masked Autoencoders with Feature Mimicking
Shanghai AI Laboratory（上海人工智能实验室）；CUHK（香港中文大学）
掩码自编码器（MAE）已经成为大规模视觉表示预训练的流行范例。然而，MAE仅在解码器之后重建低级RGB信号，并且缺乏对编码器的高级语义的监督，因此遭受次优学习表示和长的预训练时期。为了缓解这一问题，以前的方法简单地用来自预训练图像-图像（DINO）或图像-语言（CLIP）对比学习的编码特征替换75%掩蔽标记的像素重建目标。与这些努力不同的是，我们提出了Mimic before Reconstruct for掩码自编码器，称为MR-MAE，它在预训练期间联合学习高级和低级表示而不受干扰。对于高级语义，MR-MAE采用来自编码器的超过25%可见令牌的模拟损失来捕获在CLIP和DINO中编码的预训练模式。对于低级结构，我们继承了MAE中的重建损失，以预测解码器后75%掩码标记的RGB像素值。由于MR-MAE在不同的分区分别应用高级和低级目标，它们之间的学习冲突可以自然地克服，并有助于为各种下游任务提供更好的视觉表示。在ImageNet-1 K上，仅预训练了400个epoch的MR-MAE基础在微调后达到了85.8%的top-1准确率，超过了1600 epoch的MAE基础+2.2%，超过了之前最先进的BEiT V2基础+0.3%。代码和预训练模型将在https://github.com/Alpha-VL/ConvMAE上发布。
2023-03-09 cs.CV
MAPLE: Masked Pseudo-Labeling autoEncoder for Semi-supervised Point Cloud Action Recognition
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；Aberystwyth University（阿伯里斯特威斯大学）
从点云视频中识别人体动作因其在自动驾驶、机器人等领域的广泛应用而受到学术界和工业界的广泛关注，但现有的点云动作识别方法通常需要大量的人工标注数据和复杂的骨干网络，计算成本高，不适合实际应用。因此，本文考虑半监督点云动作识别的任务。我们提出了一个掩蔽伪标签自动编码器（\textbf{MAPLE}）框架，学习有效的表示与少得多的注释点云动作识别。特别地，我们设计了一种新型高效的\textbf{De}偶联的\textbf{s}部分- \textbf{t}部分反式\textbf{Former}（\textbf{DestFormer}）作为MAPLE的骨架.在DestFormer中，4D点云视频的空间和时间维度被解耦，以实现有效的自注意力，用于学习长期和短期特征。此外，为了从较少的注释中学习区分性特征，我们设计了一个掩码伪标记自动编码器结构来引导DestFormer从可用帧中重建掩码帧的特征。更重要的是，对于未标记的数据，我们利用来自分类头的伪标签作为监督信号，用于从掩蔽帧重建特征。最后，综合实验表明，MAPLE取得了优越的结果在三个公共基准测试，并优于国家的最先进的方法，8.08\%的准确率在MSR-RESID 3D数据集。
2022-09-01 cs.CV
Detecting AI-Generated Images via Contextual Anomaly Estimation in Masked AutoEncoders
Department of XXX, University of YYY（XXX系，YYY大学）；Company Name（公司名称）；School of ZZZ, Institute of WWW（ZZZ学院，WWW研究所）
CINEMAE通过结合MAE的上下文异常估计和语义特征提取，实现高准确率的AI生成图像检测。
2026-03-09 cs.AI cs.CV cs.CY
Masked Autoencoders As Spatiotemporal Learners
Meta AI；FAIR（Facebook人工智能研究院）
本文研究了一个概念上简单的掩码自编码器（MAE）的时空表示学习从视频扩展。我们随机屏蔽视频中的时空补丁，并学习自动编码器以像素重建它们。有趣的是，我们发现我们的MAE方法可以学习强表示，几乎没有时空上的归纳偏差（只有除了补丁和位置嵌入），时空不可知的随机掩蔽表现最好。我们观察到，最佳掩蔽比高达90%（图像上为75%），支持这一比例与数据的信息冗余有关的假设。高掩蔽比导致大的加速，例如，> 4倍于挂钟时间，甚至更多。我们报告了使用香草视觉Transformer在几个具有挑战性的视频数据集上的竞争结果。我们观察到，MAE可以大幅优于监督预训练。我们进一步报告了在真实世界中，未经策划的Instagram数据上进行培训的令人鼓舞的结果。我们的研究表明，掩蔽自动编码（BERT，MAE等）的一般框架。可以是一个统一的方法，表示学习与最少的领域知识。
2022-10-21 cs.CV cs.LG
R-MAE: Regions Meet Masked Autoencoders
FAIR, Meta AI（Meta AI 基础人工智能研究（FAIR））；University of Amsterdam（阿姆斯特丹大学）
本文提出 R-MAE，将区域作为单词的视觉类比，通过掩码区域自编码从像素组学习，高效处理图像与区域的一对多映射，在下游检测和分割任务上实现一致提升，并解锁交互式分割潜力。
2024-01-04 cs.CV
Traj-MAE: Masked Autoencoders for Trajectory Prediction
Zhejiang Lab（之江实验室）；Gudsen Technology Co. Ltd（古德森科技有限公司）
通过预测可能的危险，轨迹预测一直是构建可靠的自动驾驶系统的关键任务。一个关键问题是生成一致的轨迹预测，而不会发生碰撞。为了克服这一挑战，我们提出了一个有效的掩码自编码器的轨迹预测（Traj-MAE），更好地代表在驾驶环境中的代理的复杂行为。具体来说，我们的Traj-MAE采用不同的掩蔽策略来预训练轨迹编码器和地图编码器，允许捕获代理之间的社交和时间信息，同时利用多粒度环境的影响。为了解决使用多种掩蔽策略预训练网络时出现的灾难性遗忘问题，我们引入了一个持续的预训练框架，可以帮助Traj-MAE有效地从各种策略中学习有价值的和多样化的信息。我们在多智能体和单智能体环境中的实验结果表明，Traj-MAE与最先进的方法取得了有竞争力的结果，并显着优于我们的基线模型。
2023-03-12 cs.CV
