A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST(韩国科学技术院)
掩码自编码器是可扩展的视觉学习器,如MAE \cite{he2022masked}的标题,这表明视觉中的自监督学习(SSL)可能会采取与NLP类似的轨迹。具体地,具有掩蔽预测的生成借口任务(例如,BERT)已经成为NLP中SSL实践的事实标准。相比之下,早期的视觉生成方法的尝试已经被它们的区别性对应物(如对比学习)所掩盖;然而,掩模图像建模的成功已经复兴了掩模自动编码器(过去通常称为去噪自动编码器)。作为弥合与BERT在自然语言处理领域差距的里程碑,掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查,掩码自编码器,以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器,这项工作的重点是它在视觉中的应用,讨论其历史发展,最近的进展,并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
Hi-GMAE: Hierarchical Graph Masked Autoencoders
Sangfor Technologies Inc.(深之蓝科技有限公司);Wuhan University(武汉大学);The University of Melbourne(墨尔本大学);Dalian Maritime University(大连海事大学);Macquarie University(麦考瑞大学);Wuhan University, Wuhan University Shenzhen Research Institute(武汉大学深圳研究院)
本文提出Hi-GMAE,一种多尺度图掩码自编码器,通过构建多尺度图层次结构,解决单尺度GMAE无法捕捉图的层次结构问题,实验表明其在17个图数据集上优于29种现有自监督方法。
2026-03-18 cs.LG
LEON: Location Embeddings from OSM Neighborhoods via Hexagonal Graph Masked Autoencoders
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学)
本文提出LEON,一种基于H3六边形网格和图掩码自编码器的自监督框架,利用OSM设施分布学习空间嵌入,在EuroSAT分类和地理预测任务上显著提升性能。
2026-10-06 cs.LG
MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA(东北大学)
本文提出双掩码自编码器DMAE,通过重建掩码值与教师引导的潜在表示估计及特征对齐约束,实现无监督多元时间序列表示学习,并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction
University of Georgia(佐治亚大学);University of Virginia(弗吉尼亚大学);New York University Shanghai(上海纽约大学)
针对图掩码自编码器泛化不足的问题,提出 GiGaMAE,通过协作重构融合拓扑与属性的潜在嵌入及互信息损失,在七数据集三任务上优于最先进基线。
2023-08-18 cs.AI cs.LG
Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning
Stanford University(斯坦福大学)
本文提出自引导掩码自编码器SMA,通过可学习的掩码采样消除领域特定假设,实现完全领域无关的自监督学习,并在蛋白质、化学和粒子物理三个基准上取得最优性能。
2024-02-22 cs.AI cs.LG
How to Understand Masked Autoencoders
Washington University in St. Louis(圣路易斯华盛顿大学);University of Oxford(牛津大学)
“掩码自编码器(MAE)是可扩展的视觉学习器”彻底改变了自监督学习方法,因为它不仅实现了图像预训练的最新技术,而且也是弥合视觉和语言掩码自编码(BERT风格)预训练之间差距的里程碑。然而,据我们所知,迄今为止还没有理论观点来解释MAE的强大表现力。在本文中,我们首次提出了一个统一的理论框架,为MAE提供了一个数学理解。具体来说,我们解释了补丁为基础的注意力方法的MAE使用一个完整的内核下的非重叠区域分解设置。为了帮助研究界进一步理解MAE取得巨大成功的主要原因,基于我们的框架,我们提出了五个问题,并使用算子理论的见解用数学严谨性回答了它们。
2022-02-09 cs.CV cs.LG
What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders
Sun Yat-sen University(中山大学);Ant Group(蚂蚁集团)
本文提出掩码图自编码器MaskGAE,通过掩码边重建任务改进图自编码器的自监督学习,并从理论和实验上证明其在链路预测和节点分类上的优越性。
2023-05-29 cs.AI cs.LG
Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization
UC San Diego(加州大学圣迭戈分校)
针对掩码自编码器随机掩码未考虑下游任务需求的问题,提出MLO-MAE框架,通过下游任务端到端反馈学习最优掩码策略,在多数据集和任务上实现性能提升。
2025-03-21 cs.CV cs.LG
A vector quantized masked autoencoder for speech emotion recognition
IETR UMR CNRS 6164(法国国家科学研究中心雷恩电子与电信研究所(UMR 6164))
针对语音情感识别标注数据不足的问题,提出在向量量化变分自编码器离散潜在空间中运行的自监督VQ-MAE-S模型,并证明其优于原始频谱图MAE及现有方法。
2023-04-21 cs.LG cs.SD eess.AS
Masked Autoencoders As Spatiotemporal Learners
Meta AI;FAIR(Facebook人工智能研究院)
本文研究了一个概念上简单的掩码自编码器(MAE)的时空表示学习从视频扩展。我们随机屏蔽视频中的时空补丁,并学习自动编码器以像素重建它们。有趣的是,我们发现我们的MAE方法可以学习强表示,几乎没有时空上的归纳偏差(只有除了补丁和位置嵌入),时空不可知的随机掩蔽表现最好。我们观察到,最佳掩蔽比高达90%(图像上为75%),支持这一比例与数据的信息冗余有关的假设。高掩蔽比导致大的加速,例如,> 4倍于挂钟时间,甚至更多。我们报告了使用香草视觉Transformer在几个具有挑战性的视频数据集上的竞争结果。我们观察到,MAE可以大幅优于监督预训练。我们进一步报告了在真实世界中,未经策划的Instagram数据上进行培训的令人鼓舞的结果。我们的研究表明,掩蔽自动编码(BERT,MAE等)的一般框架。可以是一个统一的方法,表示学习与最少的领域知识。
2022-10-21 cs.CV cs.LG
DenoMAE2.0: Improving Denoising Masked Autoencoders by Classifying Local Patches
DenoMAE2.0通过结合局部补丁分类与重建损失,改进去噪掩码自编码器,在无线通信低数据高噪声场景下,显著提升去噪质量与调制信号分类准确率。
2025-02-25 cs.AI cs.LG
Masked Autoencoders as Universal Speech Enhancer
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);AWS AI Labs(亚马逊人工智能实验室)
本文提出了一种基于掩码自动编码器的通用语音增强器,通过自监督学习处理多种失真,实现去噪和去回声的高性能表现。
2026-02-02 cs.LG cs.SD
Masked Graph Autoencoder with Non-discrete Bandwidths
Michigan State University(密歇根州立大学)
本文提出基于非离散带宽掩码的图自编码器,通过连续分布采样边掩码并预测带宽,解决离散掩码的局限,提升链接预测和节点分类性能。
2024-02-06 cs.LG cs.SI
SupMAE: Supervised Masked Autoencoders Are Efficient Vision Learners
The University of Texas at Austin(德克萨斯大学奥斯汀分校);SenseTime Research(商汤科技研究院)
本文提出SupMAE,通过有监督分类分支将MAE扩展到全监督设置并仅用可见图像块分类,以30%计算量达到与MAE相当的ImageNet性能,且鲁棒性和迁移性更优。
2024-01-21 cs.CV cs.LG
Robust Representation Learning in Masked Autoencoders
本文通过分析掩码自编码器(MAE)的表示学习机制,发现其预训练和微调后的表示对模糊、遮挡等退化具有鲁棒性,并通过层间分析和敏感性指标揭示了其类感知子空间和全局注意力机制。
2026-06-23 cs.CV cs.LG
How Mask Matters: Towards Theoretical Understandings of Masked Autoencoders
Peking University(北京大学)
基于重建任务的掩码自编码器(MAE)已经成为自监督学习(SSL)的一个有前途的范例,并在不同的基准数据集上实现了最先进的性能。然而,尽管其令人印象深刻的实证成功,仍然有有限的理论理解it. In本文中,我们提出了一个理论理解如何掩蔽事项MAE学习有意义的功能。我们建立了MAE和对比学习之间的密切联系,这表明MAE内隐对齐的面具诱导的积极对。建立在这个连接,我们开发的第一下游保证MAE方法,并分析掩模比的影响。此外,作为隐式对齐的结果,我们还指出了MAE的维度崩溃问题,并提出了均匀性增强的MAE(U-MAE)损失,可以有效地解决这个问题,并在现实世界的数据集上带来显着的改进,包括CIFAR-10,ImageNet-100和ImageNet-1 K。代码可在(https://github.com/zhangq327/U-MAE)上获得。
2023-03-26 cs.CV cs.LG
UGMAE: A Unified Framework for Graph Masked Autoencoders
University of Notre Dame(圣母大学);Brandeis University(布兰迪斯大学)
针对图掩码自编码器中节点重要性忽视、信息利用不全及重构不稳定等问题,提出统一框架UGMAE,通过自适应掩码、排序重构、自举相似性和一致性保证模块,在多数据集任务上显著超越现有基线。
2024-02-12 cs.AI cs.LG
Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain
KAIST AI(韩国国立科学技术院人工智能研究所);Yonsei University College of Medicine(延世大学医学院);AITRICS
本文提出时空联合嵌入掩码自编码器ST-JEMA,受JEPA启发,通过重建动态图学习fMRI数据的高层语义表示,在八个基准数据集上优于现有方法,有效利用标签稀缺的脑影像数据。
2025-05-05 cs.LG q-bio.NC
From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding
C2FMAE通过粗到细的掩码自编码器,解决自监督视觉预训练中对比学习与掩码建模的矛盾,提升图像分类、目标检测和语义分割的性能。
2026-03-10 cs.CV cs.LG
A simple, efficient and scalable contrastive masked autoencoder for learning visual representations
University of Maryland(马里兰大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院)
我们介绍了CAN,这是一种简单、高效且可扩展的视觉表示自监督学习方法。我们的框架是(C)对比学习,(A)掩码自编码器和(N)扩散模型中使用的噪声预测方法的最小和概念上清晰的合成。这些学习机制是相互补充的:对比学习在一批图像样本中塑造嵌入空间;掩码自编码器专注于单个图像样本中低频空间相关性的重建;噪声预测鼓励图像高频分量的重建。结合的方法,结果在一个强大的,可扩展的和易于实现的算法。训练过程是对称的,在两个视图中有50%的补丁被随机掩蔽,与现有的对比学习方法相比,效率得到了相当大的提高。大量的实证研究表明,CAN实现强大的下游性能下的线性和微调评估迁移学习和鲁棒性任务。在ImageNet上进行预训练时,CAN的性能优于MAE和Simplified,但对于JFT-300 M等大型未策划数据集的预训练尤其有用:对于ImageNet上的线性探针,CAN达到75.4%,而Simplified和MAE分别为73.4%和64.1%。我们的ViT-L模型在ImageNet上的微调性能为86.1%,而Simplified为85.5%,MAE为85.4%。Simplified的总体FLOP负载比ViT-L模型的CAN高70%。
2022-10-30 cs.CV cs.LG
The Dynamic Duo of Collaborative Masking and Target for Advanced Masked Autoencoder Learning
Carnegie Mellon University(卡内基梅隆大学)
本文提出CMT-MAE框架,通过教师与学生模型注意力线性聚合的协同掩码机制及双模型输出特征作为解码器协同目标,在ImageNet-1K上预训练显著提升了MAE的微调与线性探测性能。
2024-12-23 cs.AI cs.CV cs.LG
MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs
Texas A&M University(德克萨斯A&M大学);University of Georgia(佐治亚大学);The Hong Kong Polytechnic University(香港理工大学);Samsung Research America(三星美国研究院);Rice University(莱斯大学)
我们引入了一种新的掩码图自动编码器(MGAE)框架,对图结构数据进行有效的学习。从自监督学习中获得见解,我们随机屏蔽大部分边缘,并尝试在训练过程中重建这些丢失的边缘。MGAE有两个核心设计。首先,我们发现掩蔽输入图结构的高比率,例如,$70\%$,产生一个非平凡的和有意义的自我监督的任务,有利于下游应用程序。其次,我们采用了一个图神经网络(GNN)作为编码器执行部分屏蔽图上的消息传播。为了重建大量的掩蔽边缘,一个定制的互相关解码器的建议。该算法能够多粒度地捕捉锚边首尾节点间的互相关。将这两种设计结合起来,使MGAE能够高效地进行训练。在多个开放数据集(Planetoid和OGB基准)上进行的大量实验表明,MGAE在链接预测和节点分类方面通常优于最先进的无监督学习竞争对手。
2022-01-07 cs.IR cs.LG cs.SI
Towards Transferable Multi-modal Perception Representation Learning for Autonomy: NeRF-Supervised Masked AutoEncoder
University of Michigan(密歇根大学);Research Center of Jueying Intelligence(绝影智能研究中心)
提出NS-MAE自监督预训练框架,利用NeRF神经渲染与掩码多模态重建学习可迁移表征,并验证其在多种3D感知任务和模态模型上的迁移效果。
2023-12-06 cs.AI cs.CV cs.LG
Understanding Masked Autoencoders via Hierarchical Latent Variable Models
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文将 MAE 对应到分层潜变量模型,证明其可识别一组潜变量,并解释掩码比例与 patch 大小如何决定表征语义层级。
2023-06-08 cs.CV cs.LG
Masked Autoencoders that Listen
Meta AI;Carnegie Mellon University(卡内基梅隆大学)
本文研究了基于图像的掩码自编码器(MAE)的一个简单的扩展,从音频频谱图的自监督表示学习。遵循MAE中的Transformer编码器-解码器设计,我们的Audio-MAE首先以高掩蔽比编码音频频谱图补丁,仅通过编码器层馈送未掩蔽的令牌。然后,解码器重新排序并解码填充有掩码令牌的编码上下文,以便重建输入频谱图。我们发现在解码器中加入局部窗口注意力是有益的,因为音频频谱图在本地时间和频带中高度相关。然后,我们对编码器进行微调,在目标数据集上具有较低的掩蔽比。从经验上讲,Audio-MAE在六个音频和语音分类任务上设置了新的最先进的性能,优于其他使用外部监督预训练的最新模型。代码和模型将在https://github.com/facebookresearch/AudioMAE。
2023-01-12 cs.AI cs.LG cs.SD
EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens
Korea Military Academy(韩国军事学院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);KAIST(韩国科学技术院);ETRI(韩国电子通信研究院);DeepAuto
针对掩码视频自编码器因随机掩码导致算力与内存浪费的问题,提出EVEREST方法,通过筛选高信息密度的时空令牌与帧,在单台8GPU机器上即可实现性能比肩高算力基线的高效视频表示学习。
2024-06-20 cs.CV cs.LG
CL-MAE: Curriculum-Learned Masked Autoencoders
Aalborg University(奥尔堡大学);University Politehnica of Bucharest(布加勒斯特理工大学);University of Bucharest(布加勒斯特大学);Milestone Systems(迈尔斯通系统公司);SecurifAI(SecurifAI公司)
本文提出 CL-MAE,利用可学习掩码模块在 MAE 自监督训练中生成由易到难的重建课程,并在 ImageNet 及五个下游任务上验证其优于 MAE 的表示学习效果。
2024-02-28 cs.AI cs.CV cs.LG
HiMAE: Hierarchical Masked Autoencoders Discover Resolution-Specific Structure in Wearable Time Series
Samsung Research America(三星美国研究院)
可穿戴传感器提供了丰富的生理时间序列,但其预测效用的原理仍不清楚。我们假设时间分辨率是表示学习的基本轴,不同的临床和行为结果依赖于不同尺度的结构。为了测试这个分辨率假设,我们引入HiMAE(分层掩码自编码器),这是一个自监督框架,它将掩码自编码与分层卷积编码器解码器相结合。HiMAE产生多分辨率嵌入,能够系统评估哪些时间尺度携带预测信号,将分辨率从超参数转换为可解释性探针。在分类、回归和生成基准测试中,HiMAE始终优于最先进的基础模型,这些模型可以缩小规模,但数量级更小。HiMAE是一个高效的表示学习器,足够紧凑,可以完全在手表上运行,在智能手表类CPU上实现亚毫秒级的推理,实现真正的边缘推理。总之,这些贡献定位HiMAE作为一个有效的自监督学习方法和可穿戴健康的规模敏感结构的发现工具。
2025-10-28 cs.AI cs.LG eess.SP
MoCA: Multi-modal Cross-masked Autoencoder for Time Series in Digital Health
Herbert Wertheim School of Public Health and Human Longevity Science, University of California, San Diego, San Diego, CA, USA(赫伯特·韦瑟姆公共卫生与人类长寿科学学院,加州大学圣地亚哥分校);Halıcıoğlu Data Science Institute, University of California San Diego, San Diego, CA, USA(哈利奇奥卢数据科学研究所,加州大学圣地亚哥分校);Department of Computer Science and Engineering, University of California San Diego, San Diego, CA, USA(计算机科学与工程系,加州大学圣地亚哥分校);Division of Public Health Sciences, Fred Hutchinson Cancer Center, Seattle, WA, USA(公共卫生科学部,Fred Hutchinson癌症中心)
提出MoCA自监督学习框架,结合Transformer与MAE,通过跨模态掩码提升多模态可穿戴数据的重构与分类性能,兼具理论保障,可处理缺失模态并应用于数字健康领域。
2026-08-07 cs.LG stat.AP stat.ML
Masked AutoEncoder for Graph Clustering without Pre-defined Cluster Number k
针对图自编码器聚类泛化差且簇数难定的问题,提出GCMA框架,利用图掩码融合编码与改进密度聚类第二解码器端到端输出簇数并提升泛化。
2024-01-09 cs.LG
Variable Input Masked Autoencoders for Wrist-Worn Accelerometry
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google(谷歌公司)
该研究提出VarMAE可变输入掩码自编码器,通过跨分辨率掩码重建目标学习通用表示,在NHANES数据集预训练后,以382万参数在8个基准数据集上实现跨传感配置的高效迁移。
2026-10-14 cs.LG
Quantum Masked Autoencoders for Vision Learning
University of Florida(佛罗里达大学)
本文提出量子掩码自编码器,通过量子态学习缺失特征,提升图像重建精度,在MNIST数据集上优于现有量子自编码器。
2026-04-30 cs.AI cs.LG quant-ph
Time Series Generation with Masked Autoencoder
The Hong Kong University of Science and Technology(香港科技大学);Beijing Normal University(北京师范大学)
本文证明了带外推器的掩码自编码器(ExtraMAE)是一种可扩展的自监督时间序列生成模型。ExtraMAE随机屏蔽原始时间序列的一些补丁,并通过恢复被屏蔽的补丁来学习时间动态。我们的方法有两个核心设计。首先,ExtraMAE是自我监督的。监控允许ExtraMAE有效和高效地捕获原始时间序列的时间动态。其次,ExtraMAE提出了一个外推器来解开解码器的两个工作:恢复潜在表示并将其映射回特征空间。这些独特的设计使ExtraMAE在时间序列生成方面始终显著优于最先进的(SoTA)基准。轻量级架构还使ExtraMAE快速且可扩展。ExtraMAE在时间序列分类、预测和插补等各种下游任务中表现出色。作为一种自我监督的生成模型,ExtraMAE允许明确管理合成数据。我们希望本文将开创一个新的时代的时间序列生成与自监督模型。
2022-05-19 cs.LG
Test-Time Training with Masked Autoencoders
UC Berkeley(加州大学伯克利分校);Meta AI
测试时训练通过使用自监督优化每个测试输入的模型来适应新的测试分布。在本文中,我们使用掩码自编码器这个单样本学习问题。从经验上讲,我们的简单方法提高了分布偏移的许多视觉基准的泛化能力。从理论上讲,我们的特点是这种改进的偏差方差权衡。
2022-09-15 cs.CV cs.LG
Assessing the Potential of Masked Autoencoder Foundation Models in Predicting Downhole Metrics from Surface Drilling Data
Schulich School of Engineering(施鲁奇工程学院);Department of Electrical and Software Engineering(电气与软件工程系);University of Calgary(卡尔加里大学);Department of Chemical and Petroleum Engineering(化学与石油工程系)
本文评估MAEFMs在从地面钻井数据预测井下指标中的潜力,发现其在时间序列建模中具有优势,建议未来进行实证验证。
2026-04-16 cs.LG
Detecting Generative Parroting through Overfitting Masked Autoencoders
Autodesk AI Research(欧特克人工智能研究院)
针对生成式AI模型过度模仿训练数据的生成式鹦鹉学舌问题,提出利用过拟合MAE结合训练集平均损失阈值的检测方法,初步验证有效,可助力生成模型的伦理使用与合规性提升。
2024-06-19 cs.AI cs.LG
Siamese Masked Autoencoders
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
建立图像或场景之间的对应关系是计算机视觉中的一个重大挑战,特别是在给定遮挡、视点变化和变化的对象外观的情况下。在本文中,我们提出了Siamese掩码自编码器(SiamMAE),这是掩码自编码器(MAE)的一个简单扩展,用于从视频中学习视觉对应关系。SiamMAE对随机采样的视频帧对进行操作,并对它们进行非对称掩码。这些帧由编码器网络独立处理,由一系列交叉注意层组成的解码器负责预测未来帧中丢失的补丁。通过屏蔽未来帧中的大部分($95\%$)补丁,同时保持过去帧不变,SiamMAE鼓励网络专注于对象运动并学习以对象为中心的表示。尽管其概念简单,但通过SiamMAE学习的功能在视频对象分割,姿势关键点传播和语义部分传播任务上优于最先进的自监督方法。SiamMAE在不依赖于数据增强、手工制作的基于跟踪的借口任务或其他技术来防止代表性崩溃的情况下实现了有竞争力的结果。
2023-05-23 cs.CV cs.LG
RARE: Robust Masked Graph Autoencoder
National University of Defense Technology(国防科技大学)
提出RARE(鲁棒掩码图自编码器),通过在原始数据和高阶潜在特征空间联合执行掩码与重建,提升自监督图预训练的确定性与可靠性,在17个数据集上表现优于SOTA。
2023-04-06 cs.AI cs.LG
Spatiotemporal System Forecasting with Irregular Time Steps via Masked Autoencoder
University College London(伦敦大学学院);Imperial College London(帝国理工学院);University of Liverpool(利物浦大学);ENPC, EDF R&D, Institut Polytechnique de Paris(巴黎高科国立路桥学校,法国电力集团研发部,巴黎综合理工学院)
本文提出了一种结合卷积自编码器和优化不规则时间序列的掩码自编码器,用于预测高维动态系统,提升了预测精度和计算效率。
2026-03-26 cs.LG nlin.AO
Attention-Guided Masked Autoencoders For Learning Image Representations
Ulm University(乌尔姆大学);TU Vienna(维也纳工业大学)
本文提出注意力引导的掩码自编码器,通过在重建损失中引入无监督物体注意力图,使模型更关注关键物体,从而在多个基准上提升线性探测和 k-NN 分类性能,并增强 ViTs 对背景变化的鲁棒性。
2024-02-23 cs.CV cs.LG
wav2pos: Sound Source Localization using Masked Autoencoders
Lund University(隆德大学);Arm(安谋科技);Sony(索尼);Tenstorrent
提出将3D声源定位建模为集合到集合回归,用多模态掩码自编码器处理音频和麦克风坐标,重建掩码坐标实现定位,支持任意麦克风数量及缺失数据,在模拟和真实室内录音上表现优异。
2024-08-28 cs.LG cs.SD eess.AS
The hidden advantage of mask resampling: a theory of masked autoencoders
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本研究通过高维模型证明掩码线性重建在异质噪声下能以线性样本复杂度恢复潜在特征,优于PCA,并揭示掩码重采样多样性可降低样本复杂度,实验表明动态掩码在CNN和视觉变换器中具下游优势。
2026-10-02 cond-mat.dis-nn cs.LG stat.ML
Masked Autoencoder for Self-Supervised Pre-training on Lidar Point Clouds
Chalmers University of Technology(查尔姆斯理工大学);Zenseact
Masked autocoding已经成为文本、图像和最近的点云的Transformer模型的成功预训练范例。原始汽车数据集是自监督预训练的合适候选者,因为与3D目标检测(OD)等任务的注释相比,它们的收集成本通常较低。然而,用于点云的掩码自编码器的开发仅集中在合成和室内数据上。因此,现有的方法已经针对具有均匀点密度的小而密集的点云定制了它们的表示和模型。在这项工作中,我们研究了掩蔽自动编码的点云在汽车设置,这是稀疏的,其中的点密度可以在同一场景中的对象之间的显着变化。为此,我们提出了体素-MAE,一个简单的掩蔽自动编码预训练方案,专为体素表示。我们预先训练了基于Transformer的3D物体检测器的主干,以重建被掩蔽的体素,并区分空体素和非空体素。我们的方法在具有挑战性的nuScenes数据集上将3D OD性能提高了1.75 mAP点和1.05 NDS。此外,我们表明,通过使用Voxel-MAE进行预训练,我们只需要40%的注释数据就可以超越随机初始化的等价数据。代码可在https://github.com/georghess/voxel-mae获得
2023-03-09 cs.CV cs.LG
Out-of-distribution evaluations of channel agnostic masked autoencoders in fluorescence microscopy
GSK AIML
针对高内涵筛选中的分布偏移问题,提出基于JUMP-CP的隔离评估方案和通道无关掩码自编码器Campfire,实现跨实验批次、扰动剂和荧光标记的泛化及跨细胞类型迁移学习。
2025-03-24 cs.CV cs.LG
Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling
Iran University of Science & Technology(伊朗科技大学)
提出用低秩瓶颈自编码器堆叠替代注意力实现上下文混合,结合迭代拉取与校正精化,在掩码语言建模中以约1.9倍更少FLOPs接近注意力性能,并匹配BERT基线。
2026-09-28 cs.CL cs.LG
Revealing the Power of Masked Autoencoders in Traffic Forecasting
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
针对交通预测中的数据稀缺和模型稳定性问题,提出即插即用的时空掩码自编码器框架STMAE,通过双重掩码预训练与微调集成,显著提升多种时空模型的预测精度。
2024-07-28 cs.AI cs.LG
ODDObjects: A Framework for Multiclass Unsupervised Anomaly Detection on Masked Objects
University of British Columbia(不列颠哥伦比亚大学)
本文提出了一种新的框架,称为ODDObjects,它代表分布外检测对对象的屏蔽对象的无监督异常检测。ODDObjects旨在使用在COCO风格数据集上训练的无监督自动编码器来检测各种类别的异常。该方法利用基于自动编码器的图像重建,其中高重建误差指示异常的可能性。该框架扩展了先前使用自动编码器进行异常检测的工作,比较了在对象识别数据集上训练的最先进模型。比较了各种模型架构,实验结果表明,内存增强的深度卷积自动编码器在检测分布外对象方面表现最好。
2021-04-26 cs.AI cs.CV cs.LG
TerraMAE: Learning Spatial-Spectral Representations from Hyperspectral Earth Observation Data via Adaptive Masked Autoencoders
Colorado State University(科罗拉多州立大学)
提出TerraMAE框架,通过自适应通道分组和增强重建损失学习高光谱空间-光谱表示,在图像重建及作物识别等下游任务中表现优异。
2025-08-09 cs.CV cs.LG
Masked BRep Autoencoder via Hierarchical Graph Transformer
University of Science and Technology of China(科学技术大学);Hefei University of Technology(合肥工业大学)
本文提出一种自监督学习框架,通过自动学习CAD模型的表示以提升下游任务性能,采用掩码图自编码器和分层图变换器架构,实验表明模型在少量标注数据下表现优异。
2026-03-17 cs.GR cs.LG
Multi-Modal Masked Autoencoders for Learning Image-Spectrum Associations for Galaxy Evolution and Cosmology
本研究构建多模态掩码自编码器,联合学习星系图像与光谱的共享表示,在重建和红移回归任务上表现良好,展示了跨模态基础模型的潜力与局限。
2025-10-26 astro-ph.GA astro-ph.IM cs.LG
Forecasting Individual NetFlows using a Predictive Masked Graph Autoencoder
Department of Computer Architecture(计算机架构系);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出了一种图神经网络模型,通过准确建模图结构和连接特征来预测网络流级流量。采用滑动窗口将异构双向图划分为等大小的网络流量,利用GNN建模图结构和连接特征,实验表明在识别端口和IP时表现优异,特征重建与强预测基线相当。
2026-09-17 cs.LG cs.NI
Graph Masked Autoencoders with Transformers
University of Technology Sydney(悉尼科技大学);Chinese University of Hong Kong(香港中文大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
最近,Transformers在学习图形表示方面表现出了很好的性能。然而,由于深度Transformers很难从头开始训练,加上w.r.t.的二次内存消耗,因此将Transformers应用于现实场景时仍然存在一些挑战。节点的数量。在本文中,我们提出了图掩码自编码器(GMAEs),一个自监督的基于变换的模型学习图表示。为了解决上述两个挑战,我们采用了掩蔽机制和非对称编解码器的设计。具体来说,GMAE以部分掩码图作为输入,并重建掩码节点的特征。编码器和解码器是不对称的,其中编码器是深Transformer,解码器是浅Transformer。掩蔽机制和非对称设计使得GMAE与传统Transformers相比是一种存储效率高的模型。我们表明,当作为一个传统的自监督图表示模型,GMAE实现了最先进的性能在共同的下游评估协议下的图分类任务和节点分类任务。我们还表明,与从头开始的端到端训练相比,我们可以在使用GMAE进行预训练和微调后实现相当的性能,同时简化训练过程。
2022-05-12 cs.IR cs.LG
Multi-Signal Reconstruction Using Masked Autoencoder From EEG During Polysomnography
Korea University(高丽大学)
本研究提出基于掩码自编码器的系统,仅用单通道脑电即可重建多信号PSG,在Sleep-EDF-20数据集上验证了可行性,为便捷长期睡眠监测开辟了新途径。
2023-11-14 cs.AI cs.LG eess.SP