MTS-DMAE: Dual-Masked Autoencoder for Unsupervised Multivariate Time Series Representation Learning
Northeastern University, Boston, USA(东北大学)
本文提出双掩码自编码器DMAE,通过重建掩码值与教师引导的潜在表示估计及特征对齐约束,实现无监督多元时间序列表示学习,并在分类、回归和预测任务上取得优于基线方法的性能。
2025-09-19 cs.CV cs.LG
Masked Modeling Duo: Learning Representations by Encouraging Both Networks to Model the Input
NTT Corporation(日本电报电话公司)
Masked Autoencoders是一种简单而强大的自监督学习方法。然而,它通过重建掩码输入补丁间接学习表示。有几种方法直接通过预测掩码补丁的表示来学习表示;然而,我们认为使用所有补丁来编码训练信号表示是次优的。我们提出了一种新的方法,Masked Modeling Duo(M2D),该方法直接学习表示,同时仅使用掩码补丁获得训练信号。在M2D中,在线网络对可见补丁进行编码并预测掩码补丁表示,目标网络(动量编码器)对掩码补丁进行编码。为了更好地预测目标表征,在线网络应该很好地模拟输入,而目标网络也应该很好地模拟输入,以符合在线预测。然后,学习的表示应该更好地模拟输入。我们通过学习通用音频表示来验证M2D,M2D在UrbanSound8K,VoxCeleb1,AudioSet20K,GTZAN和SpeechCommandsV2等任务上设置了新的最先进的性能。我们还在附录中使用ImageNet-1K验证了M2D对图像的有效性。
2023-03-02 cs.CV cs.LG cs.SD
Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning
Stanford University(斯坦福大学)
本文提出自引导掩码自编码器SMA,通过可学习的掩码采样消除领域特定假设,实现完全领域无关的自监督学习,并在蛋白质、化学和粒子物理三个基准上取得最优性能。
2024-02-22 cs.AI cs.LG
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST(韩国科学技术院)
掩码自编码器是可扩展的视觉学习器,如MAE \cite{he2022masked}的标题,这表明视觉中的自监督学习(SSL)可能会采取与NLP类似的轨迹。具体地,具有掩蔽预测的生成借口任务(例如,BERT)已经成为NLP中SSL实践的事实标准。相比之下,早期的视觉生成方法的尝试已经被它们的区别性对应物(如对比学习)所掩盖;然而,掩模图像建模的成功已经复兴了掩模自动编码器(过去通常称为去噪自动编码器)。作为弥合与BERT在自然语言处理领域差距的里程碑,掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查,掩码自编码器,以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器,这项工作的重点是它在视觉中的应用,讨论其历史发展,最近的进展,并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
MAEEG: Masked Auto-encoder for EEG Representation Learning
Apple(苹果公司)
由于数据集小且难以获得标签,使用机器学习从生物信号(如EEG)中解码信息一直是一个挑战。我们提出了一个基于重建的自监督学习模型,掩蔽的自动编码器的EEG(MAEEG),学习EEG表示通过学习重建掩蔽的EEG功能使用Transformer架构。我们发现,MAEEG可以学习表示,显着提高睡眠阶段分类(约5%的准确性增加)时,只有少量的标签。我们还发现,在基于重建的SSL预训练过程中,输入样本长度和不同的掩蔽方式对下游模型的性能有巨大的影响。具体而言,学习重构更大比例和更集中的掩蔽信号导致睡眠分类的更好性能。我们的研究结果为基于重建的SSL如何帮助EEG的表征学习提供了深入了解。
2022-10-27 cs.LG eess.SP
Look Ahead or Look Around? A Theoretical Comparison Between Autoregressive and Masked Pretraining
Peking University(北京大学);Sun Yat-Sen University(中山大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本文从理论上比较自回归与掩码两种生成式自监督预训练范式,揭示二者在分类和生成任务上的优劣,并提出多样性增强自回归目标与变长掩码目标以互补改进。
2024-07-01 cs.CL cs.LG
How to Understand Masked Autoencoders
Washington University in St. Louis(圣路易斯华盛顿大学);University of Oxford(牛津大学)
“掩码自编码器(MAE)是可扩展的视觉学习器”彻底改变了自监督学习方法,因为它不仅实现了图像预训练的最新技术,而且也是弥合视觉和语言掩码自编码(BERT风格)预训练之间差距的里程碑。然而,据我们所知,迄今为止还没有理论观点来解释MAE的强大表现力。在本文中,我们首次提出了一个统一的理论框架,为MAE提供了一个数学理解。具体来说,我们解释了补丁为基础的注意力方法的MAE使用一个完整的内核下的非重叠区域分解设置。为了帮助研究界进一步理解MAE取得巨大成功的主要原因,基于我们的框架,我们提出了五个问题,并使用算子理论的见解用数学严谨性回答了它们。
2022-02-09 cs.CV cs.LG
Masked Topology Modeling for Self-Supervised Learning on Parametric CAD
StoryGold AI(故事黄金人工智能公司)
针对缺乏原生可编辑和参数化格式CAD数据集的问题,提出掩码拓扑建模(MTM)自监督预训练任务,结合多种方法在相关数据集预训练,在多个基准测试中表现出色。
2026-07-24 cs.CV cs.LG
SMCL: Saliency Masked Contrastive Learning for Long-tailed Recognition
Sogang University(西江大学);Seoul National University(首尔大学)
针对长尾数据中背景特征导致预测偏向多数类的问题,提出显著性掩码对比学习方法,通过掩码图像重要部分并在特征空间向少数类移动,有效解耦背景特征相关性,在基准数据集上达到最先进性能。
2024-06-04 cs.CV cs.LG
FocusFace: Multi-task Contrastive Learning for Masked Face Recognition
INESC TEC;Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院);Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所IGD);TU Darmstadt(达姆施塔特工业大学)
SARS-CoV-2给科学界带来了直接和间接的挑战。最突出的间接挑战之一是许多国家强制使用口罩。人脸识别方法很难在蒙面和未蒙面的个体上以相似的准确度执行身份验证。它已被证明,这些方法的性能下降相当大的面罩的存在下,特别是如果参考图像是未掩蔽的。我们提出了FocusFace,一个多任务架构,使用对比学习,能够准确地执行蒙面人脸识别。所提出的架构被设计为从头开始训练或在最先进的人脸识别方法之上工作,而不牺牲现有模型在传统人脸识别任务中的能力。我们还探讨了不同的方法来设计对比学习模块。结果呈现在掩蔽掩蔽(M-M)和非掩蔽掩蔽(U-M)的人脸验证性能。对于这两种设置,结果与已发表的方法相当,但具体对于M-M,所提出的方法能够优于与之相比的所有解决方案。我们进一步表明,当在现有方法的基础上使用我们的方法时,训练计算成本显着降低,同时保持相似的性能。实现和训练的模型可以在GitHub上找到。
2021-11-01 cs.CV cs.LG
Thoughts on Objectives of Sparse and Hierarchical Masked Image Model
Kyushu Institute of Technology(九州工业大学)
本文针对性能优异的自监督SparK模型,提出Mesh Mask-ed新型掩码模式,并考察其在预训练图像掩码中对模型性能的影响。
2025-05-12 cs.CV cs.LG eess.IV
RECTOR: Masked Region-Channel-Temporal Modeling for Affective and Cognitive Representation Learning
Cornell University(康奈尔大学)
提出RECTOR自监督框架,通过自适应功能分区和掩码拓扑学习,统一建模EEG/sEEG的区域-通道-时间动态,在情感识别和任务参与分类上达到新最优,且对缺失通道和跨导联泛化鲁棒。
2026-06-16 cs.AI cs.LG
CORE: Contrastive Masked Feature Reconstruction on Graphs
Singapore Management University(新加坡管理大学)
CORE是一种结合对比学习的图自监督学习框架,通过整合MFR和GCL提升图分类性能。
2025-12-15 cs.AI cs.LG
FedMAE: Federated Self-Supervised Learning with One-Block Masked Auto-Encoder
The University of Sydney(悉尼大学);Shandong University(山东大学)
最新的联邦学习(FL)方法开始关注如何在客户端使用未标记的数据进行训练,这是由于用户的隐私问题,高标记成本或缺乏专业知识。然而,目前的联邦半监督/自监督学习(FSSL)方法无法学习大规模的图像,因为本地客户端的计算资源有限。在本文中,我们介绍了一个新的框架FedMAE,它代表联邦掩码自编码器,以解决如何利用未标记的大规模图像的FL的问题。具体地说,FedMAE可以预训练一个块掩码自编码器(MAE)使用大图像在轻量级客户端设备,然后级联多个预训练的一个块MAE在服务器上构建一个多块ViT骨干的下游任务。理论分析和实验结果表明,我们的FedMAE实现了优越的性能相比,国家的最先进的FSSL方法。
2023-03-20 cs.AI cs.LG
BIM: Block-Wise Self-Supervised Learning with Masked Image Modeling
University of Rochester(罗切斯特大学);New York University(纽约大学)
本文提出分块掩码图像建模框架BIM,通过将MIM任务分解为独立子任务并以分块反向传播替代端到端训练,在保持性能的同时大幅降低峰值内存,并支持同时训练多个适配不同硬件平台的DNN骨干网络。
2023-11-28 cs.CV cs.LG
scKDGM: KAN-guided Dynamic Graph Masked Learning for Single-Cell RNA-seq Clustering
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences(中国科学院新疆物理化学研究所)
提出scKDGM框架,结合KAN引导的动态图掩码学习和对比学习,解决scRNA-seq聚类中高维稀疏和噪声问题,在12个数据集上优于基线方法。
2026-06-26 cs.LG q-bio.GN
Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling
Peking University(北京大学);Bytedance Inc.(字节跳动公司);University of Oxford(牛津大学)
我们确定并克服了将BERT风格的预训练或掩码图像建模的成功扩展到卷积网络(convnets)的两个关键障碍:(i)卷积运算无法处理不规则的随机掩蔽输入图像;(ii)BERT预训练的单尺度性质与convnet的分层结构不一致。对于(i),我们将未掩蔽的像素视为3D点云的稀疏体素,并使用稀疏卷积进行编码。这是稀疏卷积首次用于2D掩码建模。对于(ii),我们开发了一个分层解码器来从多尺度编码特征重建图像。我们的方法称为Sparse masKed modeling(SparK),它是通用的:它可以直接用于任何卷积模型,而无需修改主干。我们在经典(ResNet)和现代(ConvNeXt)模型上验证了它:在三个下游任务上,它以类似的大幅度(约+1.0%)超过了最先进的对比学习和基于transformer的掩码建模。在目标检测和实例分割方面的改进更为显著(高达+3.5%),验证了所学习特征的强大可移植性。我们还通过在更大的模型上观察到更多的增益来发现其有利的缩放行为。所有这些证据都揭示了在convnets上进行生成式预训练的前景。代码和模型在https://github.com/keyu-tian/SparK上发布。
2023-01-10 cs.AI cs.CV cs.LG
MINR: Implicit Neural Representations with Masked Image Modelling
Seoul National University(首尔国立大学)
针对MAE等自监督方法依赖掩码策略、分布外数据性能下降的问题,提出结合隐式神经表示与掩码图像建模的MINR框架,通过学习连续函数表示图像,在域内和分布外场景均优于MAE且降低模型复杂度,可应用于多种自监督学习任务。
2025-07-30 cs.AI cs.CV cs.LG
Masked Siamese ConvNets
Meta AI;NYU(纽约大学)
自监督学习在各种视觉基准上表现出优于监督方法的性能。连体网络是最成功的自监督视觉表示学习方法之一,它鼓励嵌入对失真保持不变。在所有的增强方法中,掩蔽是最通用和最直接的方法,它有可能应用于所有类型的输入,并且需要最少的领域知识。然而,掩蔽连体网络需要特定的电感偏置,并且实际上仅与视觉Transformer配合使用。这项工作经验性地研究了ConvNets掩盖的siamese网络背后的问题。我们提出了一些经验设计,以克服这些问题逐步。我们的方法在低拍摄图像分类上表现出竞争力,并且在目标检测基准上优于以前的方法。我们讨论了几个剩余的问题,并希望这项工作可以为未来的通用自监督学习提供有用的数据点。
2022-06-15 cs.AI cs.CV cs.LG
Masked Self-Supervised Pre-Training for Text Recognition Transformers on Large-Scale Datasets
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院)
本文提出掩码自监督预训练方法,通过逐步增加掩码概率并改进损失函数,在5000万未标注文本行上预训练文本识别Transformer,显著降低字符错误率(最高相对降低30%),性能与迁移学习相当且无需额外标注数据。
2025-03-28 cs.AI cs.CV cs.LG
MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs
Texas A&M University(德克萨斯A&M大学);University of Georgia(佐治亚大学);The Hong Kong Polytechnic University(香港理工大学);Samsung Research America(三星美国研究院);Rice University(莱斯大学)
我们引入了一种新的掩码图自动编码器(MGAE)框架,对图结构数据进行有效的学习。从自监督学习中获得见解,我们随机屏蔽大部分边缘,并尝试在训练过程中重建这些丢失的边缘。MGAE有两个核心设计。首先,我们发现掩蔽输入图结构的高比率,例如,$70\%$,产生一个非平凡的和有意义的自我监督的任务,有利于下游应用程序。其次,我们采用了一个图神经网络(GNN)作为编码器执行部分屏蔽图上的消息传播。为了重建大量的掩蔽边缘,一个定制的互相关解码器的建议。该算法能够多粒度地捕捉锚边首尾节点间的互相关。将这两种设计结合起来,使MGAE能够高效地进行训练。在多个开放数据集(Planetoid和OGB基准)上进行的大量实验表明,MGAE在链接预测和节点分类方面通常优于最先进的无监督学习竞争对手。
2022-01-07 cs.IR cs.LG cs.SI
Advancing Radiograph Representation Learning with Masked Record Modeling
Xiamen University(厦门大学);The University of Hong Kong(香港大学)
现代放射学表示学习的研究要么依赖于自我监督来编码不变语义,要么依赖于相关的放射学报告来整合医学专业知识,而它们之间的互补性几乎没有被注意到。为了探索这一点,我们制定了自我和报告完成两个互补的目标,并提出了一个统一的框架,屏蔽记录建模(MRM)的基础上。在实践中,MRM重建掩蔽的图像补丁和掩蔽的报告令牌以下的多任务计划学习知识增强的语义表示。通过MRM预训练,我们获得了可以很好地转移到各种放射摄影任务的预训练模型。具体来说,我们发现,MRM提供了优越的性能,标签效率的微调。例如,使用1%标记数据,MRM在CheXpert上实现了88.5%的平均AUC,优于之前使用100%标记的R $^2$ L方法。在NIH胸部X射线上,在小标记比率下,MRM优于表现最好的对应物约3%。此外,MRM在识别肺炎类型和气胸区域方面超过了自我和报告监督的预训练,有时是大幅度的。
2023-02-15 cs.CL cs.CV cs.LG
Masked Image Modeling Advances 3D Medical Image Analysis
Bristol Myers Squibb(百时美施贵宝)
最近,掩码图像建模(MIM)由于其能够从大量未标记数据中学习的能力而获得了相当大的关注,并已被证明对涉及自然图像的各种视觉任务是有效的。同时,由于大量的未标记图像以及质量标记的费用和困难,自监督学习在建模3D医学图像中的潜力预计是巨大的。然而,MIM对医学图像的适用性仍然不确定。在本文中,我们证明了掩码图像建模方法也可以推进3D医学图像分析,除了自然图像。我们研究了掩码图像建模策略如何从3D医学图像分割的角度利用性能作为代表性的下游任务:i)与朴素对比学习相比,掩码图像建模方法更快地加速了监督训练的收敛(1.40 $\times$)并最终产生更高的骰子分数; ii)预测具有高掩蔽比和相对较小的块尺寸的原始体素值是用于医学图像建模的非平凡的自监督预文本任务; iii)用于重建的轻量解码器或投影头设计对于3D医学图像上的掩码图像建模是强大的,这加速了训练并降低了成本; iv)最后,我们还研究了MIM方法在不同实际场景下的有效性,其中应用了不同的图像分辨率和标记数据比率。
2022-08-23 cs.AI cs.CV cs.LG
Masked Autoencoders that Listen
Meta AI;Carnegie Mellon University(卡内基梅隆大学)
本文研究了基于图像的掩码自编码器(MAE)的一个简单的扩展,从音频频谱图的自监督表示学习。遵循MAE中的Transformer编码器-解码器设计,我们的Audio-MAE首先以高掩蔽比编码音频频谱图补丁,仅通过编码器层馈送未掩蔽的令牌。然后,解码器重新排序并解码填充有掩码令牌的编码上下文,以便重建输入频谱图。我们发现在解码器中加入局部窗口注意力是有益的,因为音频频谱图在本地时间和频带中高度相关。然后,我们对编码器进行微调,在目标数据集上具有较低的掩蔽比。从经验上讲,Audio-MAE在六个音频和语音分类任务上设置了新的最先进的性能,优于其他使用外部监督预训练的最新模型。代码和模型将在https://github.com/facebookresearch/AudioMAE。
2023-01-12 cs.AI cs.LG cs.SD
Circuit Representation Learning with Masked Gate Modeling and Verilog-AIG Alignment
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);ChatEDA Tech(ChatEDA科技)
本文提出 MGVGA 框架,通过潜在空间掩码门建模保持逻辑等价,并借助 Verilog-AIG 对齐从 LLM 学习电路功能,在多项 EDA 逻辑综合任务上超越现有方法。
2025-02-18 cs.LG
Masked ELMo: An evolution of ELMo towards fully contextual RNN language models
xBrain;Augustus Intelligence(奥古斯都智能)
本文提出了一种新的基于RNN的语言模型预训练模型Masked ELMo,它是从ELMo语言模型演化而来的。与只使用独立的从左到右和从右到左上下文的ELMo相反,Masked ELMo学习完全双向的单词表示。为了实现这一点,我们使用与BERT相同的Masked语言模型目标。此外,由于对LSTM神经元的优化,掩模累积和双向截断反向传播的集成,我们大大提高了模型的训练速度。所有这些改进使得在保持低计算成本的同时预训练比ELMo更好的语言模型成为可能。我们通过在GLUE基准测试中将其与相同协议中的ELMo进行比较来评估掩蔽ELMo,其中我们的模型显著优于ELMo,并且与Transformer方法具有竞争力。
2020-10-08 cs.CL cs.LG
An Exploratory Study of Masked Face Recognition with Machine Learning Algorithms
Winston-Salem State University(温斯顿-塞勒姆州立大学)
本研究针对戴口罩导致传统人脸识别性能下降的问题,采用六种传统机器学习算法结合LBP特征提取,基于多类口罩佩戴状态的数据集开展评估,覆盖更多算法与识别场景。
2023-06-14 cs.CV cs.LG
RePreM: Representation Pre-training with Masked Model for Reinforcement Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Hulu;Macquarie University(麦考瑞大学);University of Exeter(埃克塞特大学)
受最近RL中序列建模的成功和使用掩蔽语言模型进行预训练的启发,我们提出了一种用于RL中预训练的掩蔽模型RePreM(Masked Model的表示预训练),它训练编码器结合Transformer块来预测轨迹中的掩蔽状态或动作。与RL中现有的表示预训练方法相比,RePreM简单但有效。它避免了序列建模的算法复杂性(如数据增强或估计多个模型),并生成一个能够很好地捕捉长期动态的表示。从经验上讲,我们证明了RePreM在各种任务中的有效性,包括动态预测,迁移学习和基于值和演员-评论家方法的样本高效RL。此外,我们还证明了RePreM与数据集大小、数据集质量和编码器规模的关系很好,这表明了它对大型RL模型的潜力。
2023-03-03 cs.AI cs.LG
Enabling Autoregressive Models to Fill In Masked Tokens
University of California Los Angeles(加州大学洛杉矶分校)
针对AR模型无法掩码填充、MLM模型计算低效的问题,提出MARIA架构,结合预训练MLM与AR模型的拼接隐藏状态训练线性解码器,使AR模型保留KV缓存推理优势的同时实现掩码填充,性能显著优于离散扩散模型。
2025-02-09 cs.AI cs.CL cs.LG
Masked Autoencoder for Self-Supervised Pre-training on Lidar Point Clouds
Chalmers University of Technology(查尔姆斯理工大学);Zenseact
Masked autocoding已经成为文本、图像和最近的点云的Transformer模型的成功预训练范例。原始汽车数据集是自监督预训练的合适候选者,因为与3D目标检测(OD)等任务的注释相比,它们的收集成本通常较低。然而,用于点云的掩码自编码器的开发仅集中在合成和室内数据上。因此,现有的方法已经针对具有均匀点密度的小而密集的点云定制了它们的表示和模型。在这项工作中,我们研究了掩蔽自动编码的点云在汽车设置,这是稀疏的,其中的点密度可以在同一场景中的对象之间的显着变化。为此,我们提出了体素-MAE,一个简单的掩蔽自动编码预训练方案,专为体素表示。我们预先训练了基于Transformer的3D物体检测器的主干,以重建被掩蔽的体素,并区分空体素和非空体素。我们的方法在具有挑战性的nuScenes数据集上将3D OD性能提高了1.75 mAP点和1.05 NDS。此外,我们表明,通过使用Voxel-MAE进行预训练,我们只需要40%的注释数据就可以超越随机初始化的等价数据。代码可在https://github.com/georghess/voxel-mae获得
2023-03-09 cs.CV cs.LG
ST-MTM: Masked Time Series Modeling with Seasonal-Trend Decomposition for Time Series Forecasting
Ulsan National Institute of Science and Technology(乌山国立科学技术研究院)
ST-MTM提出基于季节-趋势分解的掩码时间序列建模框架,通过周期掩码和子序列掩码分别处理季节与趋势分量,并结合对比学习,在时间序列预测中取得优于现有方法的性能。
2025-06-13 cs.AI cs.LG stat.ML
Fixed-Point Masked Generative Modeling
LTS4, EPFL(EPFL LTS4实验室)
提出不动点掩码生成模型(FP-MGM),通过共享注意力层的不动点求解器实现自适应深度,并引入跨步一致性损失和三态重用(3SR)策略,在降低参数和训练成本的同时提升低预算掩码生成质量。
2026-05-29 cs.CV cs.LG
Simplified and Generalized Masked Diffusion for Discrete Data
Google DeepMind(谷歌DeepMind)
针对现有离散数据掩码扩散模型结构复杂、性能受限的问题,研究提出简洁通用的框架,证明其连续时间变分目标为交叉熵损失加权积分,支持状态依赖掩码调度,在语言和图像建模任务上均超越同类模型。
2025-01-16 cs.LG stat.ML
Simple Self-Conditioning Adaptation for Masked Diffusion Models
University of Virginia(弗吉尼亚大学)
本文提出一种简单有效的后训练适应方法,通过自条件预测提升掩码扩散模型的生成能力,减少生成困惑度并提升图像合成和分子生成质量。
2026-06-06 cs.AI cs.LG
Masked Diffusion for Generative Recommendation
UT Austin(得克萨斯大学);Snap Inc(Snap公司)
本文提出利用掩码扩散替代自回归建模,以提升生成性推荐中语义ID序列的概率建模效果,尤其在数据受限情况下表现更优。
2025-12-18 cs.IR cs.LG
Data Efficient Masked Language Modeling for Vision and Language
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Ben Gurion University(本·古里安大学)
掩蔽语言建模(MLM)是视觉语言预训练的关键子任务之一。在跨模态设置中,句子中的标记被随机掩蔽,并且模型预测给定图像和文本的掩蔽标记。在本文中,我们观察到传销在这种设置的几个关键缺点。首先,由于标题往往很短,在三分之一的句子中没有标记被采样。其次,大多数被屏蔽的标记是停用词和标点符号,导致图像的利用率不足。我们研究了一系列特定于跨模态设置的替代掩蔽策略,以解决这些缺点,旨在更好地融合文本和图像的学习表示。在预训练LXMERT模型时,我们的替代掩蔽策略在三个下游任务上始终优于原始掩蔽策略,特别是在低资源设置中。此外,我们的预训练方法在设计用于引出图像对象的基于图像的探测任务上大大优于基线模型。这些结果和我们的分析表明,我们的方法可以更好地利用训练数据。
2021-09-05 cs.CL cs.CV cs.LG
Detecting Generative Parroting through Overfitting Masked Autoencoders
Autodesk AI Research(欧特克人工智能研究院)
针对生成式AI模型过度模仿训练数据的生成式鹦鹉学舌问题,提出利用过拟合MAE结合训练集平均损失阈值的检测方法,初步验证有效,可助力生成模型的伦理使用与合规性提升。
2024-06-19 cs.AI cs.LG
Confidence Regularized Masked Language Modeling using Text Length
Soongsil University(崇实大学)
针对掩码语言建模在短文本上因忽略多义替代词而导致过度自信的问题,本文提出一种根据输入长度自适应调整强度的置信度正则化方法,并在GLUE和SQuAD上验证其同时提升准确率与校准性能。
2025-04-09 cs.AI cs.CL cs.LG
Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling
Department of Computer Science & Technology, Institute for AI, Tsinghua University(1 计算机科学与技术系,人工智能研究院,清华大学);NVIDIA(2 英特尔)
本文揭示 MDMs 在训练和采样上时间无关且等价于掩码模型,提出 FHS 采样器实现 20 倍加速,并发现 32 位浮点精度导致的数值问题会降低有效温度与 token 多样性,使以往评估不够公平。
2025-04-30 cs.AI cs.CL cs.LG
Variable Name Recovery in Decompiled Binary Code using Constrained Masked Language Modeling
Arizona State University(亚利桑那州立大学)
反编译是将二进制程序转换为高级表示(如源代码)以供人类分析人员检查的过程。虽然现代反编译器可以重建和恢复在编译过程中丢弃的许多信息,但推断变量名仍然非常困难。受自然语言处理最新进展的启发,我们提出了一种新的解决方案来推断反编译代码中的变量名称,基于掩码语言建模,字节对编码和神经架构,如Transformers和BERT。我们的解决方案需要\textit{raw}反编译器的输出,语义意义不大的代码,作为输入,并丰富它使用我们提出的\textit{finetuning}技术,约束屏蔽语言建模。使用受约束的掩码语言建模引入了预测原始变量名的掩码标记数量的挑战。我们解决这个\textit{count of token prediction}的挑战与我们的后处理算法。与最先进的方法相比,我们训练的VarBERT模型更简单,性能更好。我们在一个包含164,632个二进制文件的现有大规模数据集上评估了我们的模型,并表明它可以预测与原始源代码中相同的变量名称,高达84.15%。
2021-03-23 cs.CL cs.CR cs.LG
Masked Feature Modelling: Feature Masking for the Unsupervised Pre-training of a Graph Attention Network Block for Bottom-up Video Event Recognition
CERTH-ITI(希腊研究与技术中心信息与电信研究所)
该研究提出掩码特征建模(MFM)方法,通过Visual Tokenizer和MiniKinetics数据集无监督预训练GAT模块,将其集成到ViGAT架构中,经YLI-MED数据集验证可有效提升自底向上视频事件识别的性能。
2023-08-25 cs.CV cs.LG cs.MM
Simple and Effective Masked Diffusion Language Models
Cornell Tech(康奈尔科技学院)
本文提出一种简单有效的掩码离散扩散方法,通过改进训练方案和推导简化的Rao-Blackwellized目标,显著提升了模型性能,在语言建模基准上逼近自回归方法的困惑度并达到扩散模型的最优水平。
2024-11-10 cs.AI cs.CL cs.LG
Masked LARk: Masked Learning, Aggregation and Reporting worKflow
Microsoft(微软)
如今,许多网络广告数据流涉及用户的被动跨站点跟踪。通过使用第三方跟踪Cookie(3PC)启用这种机制会将敏感的用户数据暴露给大量各方,而对如何使用这些数据几乎没有监督。因此,大多数浏览器都在随后的浏览器迭代中朝着删除3PC的方向发展。为了大幅提高最终用户的隐私,同时允许网站继续通过广告资金维持其业务,需要引入新的隐私保护原语。在本文中,我们讨论了一个名为Masked LARk的新提案,用于聚合用户参与度测量和模型培训,以防止跨站点跟踪,同时保持(a)灵活性,用于工程开发和维护,(b)安全性,即跨站点跟踪和追踪被阻止,以及(c)开放持续的模型开发和培训,允许广告商向感兴趣的用户提供相关广告。我们引入了一个安全的多方计算(MPC)协议,利用“助手”各方训练模型,使数据一旦离开浏览器,没有下游系统可以单独构建一个完整的图片的用户活动。对于训练,我们的关键创新是通过使用掩蔽或混淆真实标签,同时仍然允许在一批数据上准确计算梯度。我们的协议只使用轻加密,在这样一个水平,感兴趣但没有经验的读者可以理解的核心算法。我们开发了实现该系统的助手端点,并给出了在PyTorch中使用训练的示例。
2021-10-27 cs.CR cs.LG stat.ML
MLIM: Vision-and-Language Model Pre-training with Masked Language and Image Modeling
Amazon.com Inc(亚马逊公司)
视觉和语言预训练(VLP)可提高需要图像和文本输入的下游任务的模型性能。当前的VLP方法在(i)模型架构(特别是图像嵌入器)、(ii)损失函数和(iii)掩蔽策略上不同。图像嵌入器要么是像ResNet这样的深度模型,要么是直接将图像像素馈送到Transformer中的线性投影。通常,除了掩蔽语言建模(MLM)损失之外,基于语义的目标用于跨模态交互,RoI特征回归和分类任务用于掩蔽图像区域建模(MLM)。对齐和MPEG4目标大多没有地面实况。基于对齐的目标需要图像和文本的配对以及启发式目标函数。机器人依靠物体探测器。掩蔽策略要么不利用多模态,要么与其他模型生成的对齐严格耦合。在本文中,我们提出了掩蔽语言和图像建模(MLIM)的VLP。MLIM使用两个损失函数:Masked Language Modeling(MLM)损失和图像重建(RECON)损失。我们提出了模态感知掩蔽(MAM)来增强跨模态交互,并利用MLM和RECON损失分别捕获文本和图像重建质量。使用MLM + RECON任务加上MAM,我们提出了一个简化的VLP方法,并表明它具有更好的下游任务性能的专有电子商务多模态数据集。
2021-09-24 cs.AI cs.CV cs.LG
MASS: Masked Sequence to Sequence Pre-training for Language Generation
Nanjing University of Science and Technology(南京理工大学);Microsoft Research(微软研究院)
预训练和微调,例如,BERT等在语言理解方面取得了很大的成功,他们通过将知识从资源丰富的训练前任务转移到低/零资源的下游任务。受BERT成功的启发,我们提出了基于编码器-解码器的语言生成任务的掩蔽序列到序列预训练(MASS)。MASS采用编码器-解码器框架来重构给定句子剩余部分的句子片段:其编码器将具有随机掩蔽片段(几个连续标记)的句子作为输入,其解码器尝试预测该掩蔽片段。通过这种方式,MASS可以联合训练编码器和解码器,以开发表示提取和语言建模的能力。通过进一步微调各种零/低资源语言生成任务,包括神经机器翻译,文本摘要和会话响应生成(3个任务和总共8个数据集),MASS在没有预训练或使用其他预训练方法的情况下实现了基线的显著改进。特别是,我们在无监督的英法翻译上达到了最先进的准确率(BLEU得分为37.5),甚至击败了早期的基于注意力的监督模型。
2019-06-21 cs.AI cs.CL cs.LG
Masked Part-Of-Speech Model: Does Modeling Long Context Help Unsupervised POS-tagging?
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
先前的词性(POS)归纳模型通常假设某些独立性假设(例如,马尔可夫,单向,局部依赖),在真正的语言中不成立。例如,主谓一致既可以是长期的,也可以是双向的。为了方便灵活的依赖建模,我们提出了一个掩蔽部分的语音模型(MPoSM),最近成功的掩蔽语言模型(MLM)的启发。MPoSM可以对任意标签依赖进行建模,并通过掩码POS重构的目标进行POS归纳。我们在英语Penn WSJ数据集和包含10种不同语言的通用树库上都取得了有竞争力的结果。虽然对长期依赖性进行建模应该有助于完成这项任务,但我们的消融研究显示了不同语言的混合趋势。为了更好地理解这种现象,我们设计了一个新的合成实验,可以专门诊断模型学习标签一致性的能力。令人惊讶的是,我们发现即使是强大的基线也无法在非常简单的设置中一致地解决这个问题:相邻单词之间的一致性。尽管如此,MPoSM总体上实现了更好的性能。最后,我们进行了详细的错误分析,以揭示其他剩余的挑战。我们的代码可在https://github.com/owenzx/MPoSM上获得
2022-06-30 cs.AI cs.CL cs.LG