From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding
C2FMAE通过粗到细的掩码自编码器，解决自监督视觉预训练中对比学习与掩码建模的矛盾，提升图像分类、目标检测和语义分割的性能。
2026-03-10 cs.CV cs.LG
A Fully Automated System for Sizing Nasal PAP Masks Using Facial Photographs
University of Sydney（悉尼大学）
我们提出了一个全自动系统的大小鼻气道正压通气（PAP）面具。该系统由混合HOG对象检测器以及用于面部标志检测的多个卷积神经网络阶段组成。使用来自公开可用的PUT和MUCT数据集的样本训练模型，同时还采用迁移学习来提高模型在实际PAP面罩用户的面部照片上的性能。全自动系统在正确选择合适的掩模尺寸方面表现出64.71%的总体准确度，并且在1个掩模尺寸内显示出86.1%的准确度。
2018-11-09 cs.CV
ConvMAE: Masked Convolution Meets Masked Autoencoders
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
视觉Transformer（ViT）成为各种视觉任务广泛采用的架构。用于特征预训练和多尺度混合卷积变换架构的掩蔽自动编码可以进一步释放ViT的潜力，从而在图像分类，检测和语义分割方面实现最先进的性能。在本文中，我们的ConvMAE框架证明了多尺度混合卷积变换器可以通过掩码自动编码方案学习更多的判别表示。然而，直接使用原始的掩蔽策略会导致大量的计算成本和预训练-微调的差异。为了解决这个问题，我们采用掩蔽卷积来防止卷积块中的信息泄漏。提出了一种简单的分块掩蔽策略，以确保计算效率。我们还建议更直接地监督编码器的多尺度特征，以增强多尺度特征。基于我们预训练的ConvMAE模型，ConvMAE-Base将ImageNet-1 K微调精度提高了1.4%。在目标检测方面，仅微调25个epoch的ConvMAE-Base分别以2.9%的框AP和2.2%的掩模AP超过微调100个epoch的MAE-Base。代码和预训练模型可在https://github.com/Alpha-VL/ConvMAE上获得。
2022-05-19 cs.CV
ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
ColorMAE 提出一种数据无关的掩码生成方法，通过过滤随机噪声产生多种掩码模式，无需额外参数或计算，显著提升 MAE 下游任务性能，语义分割 mIoU 提升 2.72。
2024-07-17 cs.AI cs.CV cs.LG
Exploring Target Representations for Masked Autoencoders
Xiamen University（厦门大学）；ByteDance（字节跳动）
掩码自编码器已经成为自监督视觉表示学习的流行训练范例。这些模型随机屏蔽输入的一部分，并根据目标表示重建被屏蔽的部分。在本文中，我们首先表明，仔细选择的目标表示是不必要的学习良好的表示，因为不同的目标往往会产生类似的行为模型。在此观察的驱动下，我们提出了一个多级掩蔽蒸馏管道，并使用随机初始化的模型作为老师，使我们能够有效地训练高容量模型，而无需仔细设计目标表示。有趣的是，我们进一步探索使用能力较大的教师，获得具有显著迁移能力的学生。在分类、迁移学习、目标检测和语义分割的不同任务上，所提出的使用自举教师（dBOT）执行掩蔽知识蒸馏的方法比以前的自监督方法有更好的性能。我们希望我们的发现以及提出的方法可以激励人们重新思考目标表示在预训练掩码自编码器中的作用。代码和预训练模型可在https://github.com/liuxingbin/dbot上公开获取。
2023-03-26 cs.CV
LlamaSeg: Image Segmentation via Autoregressive Mask Generation
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室）；Tsinghua University（清华大学）；Shenzhen University（深圳大学）；Meituan（美团）；Division of AMC and Department of ECE, HKUST（HKUST AMC 分部和电子工程系）
LlamaSeg是通过自然语言指令统一图像分割任务的视觉自回归框架，将分割视为视觉生成，编码掩码为视觉令牌。引入数据标注管道和SA-OVRS数据集，能基于文本提示定位对象并生成掩码，实验显示其在分割基准上表现出色。
2026-07-10 cs.CV
Image Blending Algorithm with Automatic Mask Generation
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Northwestern University（西北大学）
本文针对图像融合中手动掩码成本高及亮度失真、低分辨率问题，提出结合语义检测分割的自动掩码生成方法，并通过新饱和度损失与PAN两阶段迭代提升融合质量，在PSNR和SSIM等指标上优于经典算法。
2023-11-29 cs.CV
Autoregressive Medical Image Segmentation via Next-Scale Mask Prediction
Institute of Science；Technology for Brain-inspired Intelligence Fudan University
提出AR-Seg自回归分割框架，通过下一尺度掩码预测显式建模尺度间依赖，结合多尺度掩码自编码器、自回归机制和共识聚合，在双模态基准上超越现有方法。
2025-02-28 cs.CV eess.IV
Fast and Precise Binary Instance Segmentation of 2D Objects for Automotive Applications
CMORE Automotive GmbH（CMORE汽车有限公司）；Otto-von-Guericke-University（奥托·冯·格里克大学）
在本文中，我们专注于改进二进制二维实例分割，以帮助人类标记地面真理数据集与多边形。人类贴标机只需要在物体周围画出方框，多边形就会自动生成。为了有用，我们的系统必须在CPU上实时运行。二进制实例分割的最常用方法涉及编码器-解码器网络。本报告评估了最先进的编码器-解码器网络，并提出了一种使用这些网络提高实例分割质量的方法。除了网络架构的改进，我们提出的方法依赖于为网络输入提供额外的信息，即所谓的极值点，即对象轮廓上的最外点。用户可以标记它们，而不是限界框几乎一样快。限界框也可以从极值点推导出来。与其他最先进的编码器-解码器网络相比，这种方法可以产生更好的IoU，并且在CPU上部署时运行速度也足够快。
2022-08-24 cs.CV
AURA : Automatic Mask Generator using Randomized Input Sampling for Object Removal
Seoul National University（首尔大学）
本文提出受XAI启发的AURA自动掩码生成器，通过随机输入采样、重要性图和裁判模块为现成图像修复网络选择更优物体移除掩码，并提出FID*与U-IDS*指标。
2024-10-03 cs.CV
Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders
Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
基于视觉Transformer的视觉表征自监督学习~（SSL）中，掩码图像建模（MIM）已成为一种流行的策略。一个代表性的MIM模型，掩蔽自动编码器（MAE），随机屏蔽图像补丁的子集，并重建被掩蔽的补丁给定的未掩蔽的补丁。同时，自监督学习中的许多最近的作品利用学生/教师范例，其基于由先前学生的指数移动平均（EMA）组成的教师的输出为学生提供额外的目标。虽然常见的，相对较少的学生和教师之间的互动的动态所知。通过对一个简单的线性模型的分析，我们发现，教师有条件地删除以前的梯度方向的基础上的特征相似性，有效地作为一个条件动量正则化。从这个分析中，我们提出了一个简单的SSL方法，重建一致性掩蔽自动编码器（RC-MAE），通过添加一个EMA教师MAE。我们发现，RC-MAE收敛速度更快，需要更少的内存使用比国家的最先进的自蒸馏方法在预训练，这可能会提供一种方法来提高昂贵的自监督学习的实用性的视觉Transformer模型。此外，我们还证明了RC-MAE在ImageNet-1 K分类、目标检测和实例分割等下游任务上比MAE具有更高的鲁棒性和更好的性能。
2022-10-05 cs.CV
MaskSAM: Towards Auto-prompt SAM with Mask Classification for Volumetric Medical Image Segmentation
Illinois Institute of Technology（伊利诺伊理工学院）；Peking University（北京大学）；University of Illinois Chicago（芝加哥伊利诺伊大学）；University of Michigan（密歇根大学）
针对SAM直接用于医学图像分割存在的语义标签预测缺失、需额外提示、性能不佳问题，提出无提示的MaskSAM框架，通过提示生成器、分类器token及3D适配器微调SAM，在多个数据集上超越nnUNet，实现SOTA性能。
2025-03-22 cs.CV
Intensity-Spatial Dual Masked Autoencoder for Multi-Scale Feature Learning in Chest CT Segmentation
本文提出ISD-MAE双分支掩码自编码器，通过强度与空间掩码及对比学习增强胸部CT多尺度组织和边界特征表示，在二维肺炎与纵隔肿瘤分割中性能领先。
2025-02-14 cs.CV eess.IV
Learning Image Labels On-the-fly for Training Robust Classification Models
Nvidia Corporation（英伟达公司）
当前的深度学习范式在很大程度上受益于大量的注释数据。然而，标注的质量往往因标注者而异。已经进行了多观察者研究来研究这些注释差异（通过多次标记相同的数据）及其对医学图像分析等关键应用的影响。这个过程确实给已经繁琐的注释工作增加了额外的负担，这些注释工作通常需要特定领域的专业培训和专业知识。另一方面，基于NLP算法的自动注释方法最近显示出作为合理替代方案的前景，依赖于临床系统中广泛可用的那些图像的现有诊断报告。与人类标签相比，不同的算法提供的标签具有不同的质量，甚至更嘈杂。在本文中，我们展示了噪声注释（例如，来自不同的基于算法的标记器）可以一起使用，并且相互有益于分类任务的学习。具体地，引入标签上的注意力的概念，以在运行中采样更好的标签集作为训练数据。一个基于元训练的标签采样模块被设计为通过额外的反向传播过程来关注最有利于模型学习的标签。我们将注意力标签方案应用于合成噪声CIFAR-10数据集的分类任务以证明这一概念，然后与常规训练范例相比，在来自医院规模数据集（MIMIC-CXR）和手动标记数据集（OpenI）的胸部X射线图像上展示了优异的结果（多个疾病分类AUC平均增加3-5%）。
2020-10-02 cs.AI cs.CV
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST（韩国科学技术院）
掩码自编码器是可扩展的视觉学习器，如MAE \cite{he2022masked}的标题，这表明视觉中的自监督学习（SSL）可能会采取与NLP类似的轨迹。具体地，具有掩蔽预测的生成借口任务（例如，BERT）已经成为NLP中SSL实践的事实标准。相比之下，早期的视觉生成方法的尝试已经被它们的区别性对应物（如对比学习）所掩盖;然而，掩模图像建模的成功已经复兴了掩模自动编码器（过去通常称为去噪自动编码器）。作为弥合与BERT在自然语言处理领域差距的里程碑，掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查，掩码自编码器，以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器，这项工作的重点是它在视觉中的应用，讨论其历史发展，最近的进展，并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
Improving Masked Autoencoders by Learning Where to Mask
Shanghai Jiao Tong University（上海交通大学）
针对掩码图像建模中随机掩码忽略信息密度差异的问题，提出完全可微的AutoMAE框架，通过Gumbel-Softmax连接对抗训练的掩码生成器与掩码引导建模，自适应寻找高信息密度图像块，在标准基准和下游任务上提供了有效的预训练模型。
2024-01-07 cs.CV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.（美团公司）
视觉Transformer（ViT）在半监督学习（SSL）中面临数据稀缺的问题。为了缓解这个问题，受到掩码自编码器（MAE）的启发，这是一个数据高效的自监督学习器，我们提出了Semi-MAE，一个纯粹的基于ViT的SSL框架，由一个并行MAE分支组成，以帮助视觉表示学习，使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支，并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率，标签为10%，超过了半监督图像分类的现有技术水平。此外，大量的实验表明，半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
Context-Aware Transformer for 3D Point Cloud Automatic Annotation
The University of Hong Kong（香港大学）
3D自动标注已经受到越来越多的关注，因为手动标注3D点云是费力的。然而，现有的方法通常是复杂的，例如，用于3D前景/背景分割、圆柱形对象建议和点完成的流水线训练。此外，他们往往忽略了对象间的特征关系，这是特别翔实的硬样品的3D注释。为此，我们提出了一个简单而有效的端到端的上下文感知Transformer（CAT）作为一个自动化的3D框标注生成精确的3D框注释从2D框，训练与少量的人类注释。我们采用通用的编码器-解码器架构，其中CAT编码器由对象内编码器（本地）和对象间编码器（全局）组成，分别沿序列和批次维度执行自注意。前者对点之间的对象内交互进行建模，后者提取不同对象之间的特征关系，从而增强场景级理解。通过本地和全局编码器，CAT可以通过简化的工作流程生成高质量的3D框注释，使其在KITTI测试集的硬任务上比现有的最先进的3D AP高出1.79%。
2023-03-27 cs.CV
Masked Autoencoders Are Scalable Vision Learners
Facebook AI Research (FAIR)（Facebook 人工智能研究院）
本文表明，掩码自编码器（MAE）是可扩展的自监督学习计算机视觉。我们的MAE方法很简单：我们屏蔽输入图像的随机补丁并重建丢失的像素。它基于两个核心设计。首先，我们开发了一个非对称的编码器-解码器架构，其中编码器仅对可见的补丁子集（没有掩码令牌）进行操作，以及一个轻量级的解码器，该解码器从潜在的表示和掩码令牌重建原始图像。其次，我们发现掩蔽输入图像的高比例，例如，75%，产生一个不平凡的和有意义的自我监督任务。结合这两种设计使我们能够高效地训练大型模型：我们加快了训练速度（3倍或更多）并提高了准确性。我们的可扩展方法允许学习具有良好泛化能力的高容量模型：例如，vanilla ViT-Huge模型在仅使用ImageNet-1 K数据的方法中实现了最佳准确率（87.8%）。下游任务中的传输性能优于有监督的预训练，并显示出有希望的缩放行为。
2021-12-19 cs.CV
Masked Autoencoders for Point Cloud Self-supervised Learning
National University of Singapore（新加坡国立大学）；ZheJiang University（浙江大学）；Peking University（北京大学）；Tencent Data Platform（腾讯数据平台）；Pengcheng Laboratory（鹏城实验室）
作为一种很有前途的自监督学习方法，掩码自动编码技术在自然语言处理和计算机视觉领域有着重要的发展。受此启发，我们提出了一种用于点云自监督学习的屏蔽自编码器的简洁方案，解决了点云属性带来的挑战，包括位置信息泄漏和信息密度不均匀。具体地说，我们将输入点云划分为不规则的点片，并以高比例随机掩蔽它们。然后，一个标准的Transformer为基础的自动编码器，与一个不对称的设计和移位掩码令牌操作，学习高层次的潜在功能，从未掩蔽的点补丁，旨在重建掩蔽点补丁。大量的实验表明，我们的方法在预训练期间是有效的，并且在各种下游任务上具有很好的泛化能力。具体来说，我们的预训练模型在ScanObjectNN上的准确率为85.18%，在ModelNet40上的准确率为94.04%，优于所有其他自监督学习方法。我们展示了我们的方案，一个完全基于标准Transformers的简单架构可以超越来自监督学习的专用Transformer模型。我们的方法还提高了1.5%-2.3%的最先进的准确性，在Few-Shot对象分类。此外，我们的工作启发了将统一架构从语言和图像应用到点云的可行性。
2022-03-28 cs.CV
Automated Kidney Segmentation by Mask R-CNN in T2-weighted Magnetic Resonance Imaging
UT Southwestern Medical Center（德克萨斯大学西南医学中心）
尽管医学成像中的深度学习算法最近取得了进展，但MRI检查中肾脏的自动分割算法仍然很少。磁共振成像（MRI）检查中肾脏的自动分割对于实现肾脏疾病的放射组学和机器学习分析非常重要。在这项工作中，我们建议使用流行的Mask R-CNN在100次MRI检查的冠状T2加权快速自旋Eco切片中自动分割肾脏。我们提出将形态操作作为后处理，以进一步提高MaskR-CNN执行此任务的性能。使用5倍交叉验证数据，提出的Mask R-CNN在70和10次MRI检查中进行训练和验证，然后在每个折叠中对剩余的20次检查进行评估。我们提出的方法获得了0.904的骰子得分和0.822的IoU。
2021-08-27 cs.CV eess.IV
An Automatic Method for Complete Brain Matter Segmentation from Multislice CT scan
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Post graduate Institute of Medical Education and Research（研究生医学教育与研究学院）
计算机断层成像以其成像速度、图像对比度和分辨率以及成本而被广泛接受。因此，它在脑部疾病的检测和诊断中具有广泛的用途。但遗憾的是，目前关于CT分割的研究报道并不多。本文提出了一个强大的自动分割系统，它能够分割完整的脑物质从CT切片，没有任何损失的信息。该方法简单、快速、准确、全自动。它可以在单次运行中处理多层CT扫描。从给定的多层CT数据集中，自动选择一个切片以形成用于分割的掩模。创建了两种类型的面罩，以更好地处理鼻切片。使用自动种子点选择和区域生长技术从选定的参考切片创建掩模。一个掩模设计用于脑物质，另一个掩模包括参考切片的颅骨。该第二掩模被用作所有切片的全局参考掩模，而脑物质掩模仅在相邻切片上实现，并连续修改以获得更好的分割。将给定数据集中的切片分为两批，参考切片之前和参考切片之后。每一批都单独分段。连续传播的脑物质掩模已被证明是非常高的潜力，在报告的分割。呈现的结果在所有情况下均显示出最高的灵敏度和超过96%的准确性。分割后的图像可用于任何脑部疾病的诊断或进一步的图像分析。
2018-10-22 cs.CV
KDC-MAE: Knowledge Distilled Contrastive Mask Auto-Encoder
Birla Institute of Technology and Science, Pilani（贝拉理工学院皮拉尼分校）
本文提出KDC-MAE，通过互补掩码策略和加权方式协同结合对比学习、知识蒸馏与掩码建模，在多个任务和多种模态上提升了自监督学习效果。
2024-11-19 cs.CV
InstructVTON: Optimal Auto-Masking and Natural-Language-Guided Interactive Style Control for Inpainting-Based Virtual Try-On
Amazon（亚马逊公司）；University of California, Los Angeles (UCLA)（加州大学洛杉矶分校）；Duke University（杜克大学）
InstructVTON利用视觉语言模型自动生成掩码，结合自然语言指令实现细粒度风格控制的交互式虚拟试穿，简化用户操作并提升效果。
2025-09-24 cs.AI cs.CV
Semi-Automatic Generation of Tight Binary Masks and Non-Convex Isosurfaces for Quantitative Analysis of 3D Biological Samples
California Institute of Technology（加州理工学院）；Brazilian Synchrotron Light Laboratory (LNLS)（巴西同步辐射光实验室（LNLS））；Brazilian Center for Research in Energy and Materials (CNPEM)（巴西能源与材料研究中心（CNPEM））
目前的体内显微镜使我们能够详细的时空成像（3D+t）的完整的生物体，并提供深入了解他们的发展细胞水平。尽管成像速度和质量正在稳步提高，但全自动分割和分析方法往往不够准确。这在对大样本（100 um-1 mm）和样本内部深处成像时尤其如此。果蝇胚胎发生被广泛用作发育范例，为这种挑战提供了一个例子，特别是在细胞轮廓需要成像的情况下-这也是其他系统的普遍挑战。为了解决目前定量分析果蝇胚胎3D+t光片显微镜图像的瓶颈，我们开发了一系列半自动开源工具。所提出的方法包括一个半自动掩蔽过程，自动投影的非凸三维等值面的二维表示，以及细胞分割和跟踪。
2020-01-30 cs.CV eess.IV q-bio.CB
