UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation
针对掩码生成Transformer在组合文本到图像生成中的属性绑定失败问题,提出无需训练的对比注意力引导方法UNCAGE,利用注意力图优先去掩码清晰对象令牌,提升组合保真度且开销极小。
2025-08-07 cs.AI cs.CV cs.LG
Generative Representation Learning on Hyper-relational Knowledge Graphs via Masked Discrete Diffusion
School of Computing(计算学院);Department of AI Computing, KAIST, Daejeon, South Korea(人工智能计算系,韩国科学技术院,大田,韩国)
针对超关系知识图谱中任意掩码查询的补全与事实生成任务,提出基于掩码离散扩散的生成式表示学习方法KREPE,统一链接预测与事实生成,性能达到最优。
2026-05-22 cs.AI cs.LG
Masked Generative Priors Improve World Models Sequence Modelling Capabilities
该研究提出GIT-STORM模型,用掩码生成先验替换STORM架构的传统MLP先验,在Atari 100k基准RL任务上获显著提升,还首次将Transformer世界模型应用于连续动作环境并验证有效。
2025-10-22 cs.AI cs.LG
Masked Generative-Contrastive Representation Learning for Cross-Dataset EEG-Based Emotion Recognition
提出掩码生成对比表示学习框架MGCRL用于跨数据集脑电图情绪识别,基于区域感知时空编码器,整合生成与对比学习,通过关键设计实现跨数据集泛化的细粒度和全局判别表示。
2026-09-09 cs.LG
Fixed-Point Masked Generative Modeling
LTS4, EPFL(EPFL LTS4实验室)
提出不动点掩码生成模型(FP-MGM),通过共享注意力层的不动点求解器实现自适应深度,并引入跨步一致性损失和三态重用(3SR)策略,在降低参数和训练成本的同时提升低预算掩码生成质量。
2026-05-29 cs.CV cs.LG
Fast Training of Diffusion Models with Masked Transformers
Caltech(加州理工学院);NVIDIA(英伟达公司)
本研究提出一种掩码Transformer训练方法,通过非对称编解码架构和掩码重建辅助任务,将扩散模型训练时间降至原DiT模型的30%,同时保持甚至提升生成性能。
2024-03-05 cs.AI cs.CV cs.LG
Walk Before You Dance: High-fidelity and Editable Dance Synthesis via Generative Masked Motion Prior
本研究提出一种生成性遮蔽动作先验模型,实现高保真且可编辑的舞蹈合成,通过多塔结构提升动作生成质量与编辑能力。
2025-12-02 cs.AI cs.CV cs.GR
MaskHand: Generative Masked Modeling for Robust Hand Mesh Reconstruction in the Wild
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对单张RGB图像手部3D网格重建的歧义性难题,提出由VQ-MANO和上下文引导掩码Transformer构成的MaskHand生成式掩码模型,通过学习2D-3D映射概率分布实现高精度鲁棒重建,性能达SOTA。
2025-03-19 cs.AI cs.CV cs.LG
Partition Generative Modeling: Masked Modeling Without Masks
EPFL(苏黎世联邦理工学院)
PGMs通过分区替代掩码,实现高效生成模型,提升吞吐量并降低生成困惑度,兼容现有MGM方法。
2026-02-17 cs.LG
Masked Diffusion for Generative Recommendation
UT Austin(得克萨斯大学);Snap Inc(Snap公司)
本文提出利用掩码扩散替代自回归建模,以提升生成性推荐中语义ID序列的概率建模效果,尤其在数据受限情况下表现更优。
2025-12-18 cs.IR cs.LG
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST(韩国科学技术院)
掩码自编码器是可扩展的视觉学习器,如MAE \cite{he2022masked}的标题,这表明视觉中的自监督学习(SSL)可能会采取与NLP类似的轨迹。具体地,具有掩蔽预测的生成借口任务(例如,BERT)已经成为NLP中SSL实践的事实标准。相比之下,早期的视觉生成方法的尝试已经被它们的区别性对应物(如对比学习)所掩盖;然而,掩模图像建模的成功已经复兴了掩模自动编码器(过去通常称为去噪自动编码器)。作为弥合与BERT在自然语言处理领域差距的里程碑,掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查,掩码自编码器,以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器,这项工作的重点是它在视觉中的应用,讨论其历史发展,最近的进展,并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
Improving Generative Pre-Training: An In-depth Study of Masked Image Modeling and Denoising Models
Ewha W. University(梨花女子大学);New York University(纽约大学);University of British Columbia(不列颠哥伦比亚大学)
本文深入分析加性噪声与掩码图像建模结合效果不佳的原因,提出编码器内损坏恢复、特征空间加噪及令牌显式解耦三个关键条件,从而提升多种识别任务的预训练性能。
2024-12-26 cs.CV cs.LG
Muse: Text-To-Image Generation via Masked Generative Transformers
Google(谷歌)
我们提出了Muse,一个文本到图像的Transformer模型,实现了最先进的图像生成性能,同时比扩散或自回归模型更有效。Muse在离散令牌空间中接受掩蔽建模任务的训练:给定从预训练的大语言模型(LLM)中提取的文本嵌入,Muse被训练来预测随机掩蔽的图像令牌。与像素空间扩散模型(如Imagen和DALL-E 2)相比,Muse的效率明显更高,因为它使用了离散令牌,并且需要更少的采样迭代;与自回归模型(如Parti)相比,Muse的效率更高,因为它使用了并行解码。使用预训练的LLM可以实现细粒度的语言理解,转换为高保真图像生成和对视觉概念的理解,例如对象,它们的空间关系,姿态,基数等。我们的900 M参数模型在CC 3 M上实现了新的SOTA,FID得分为6.06。Muse 3B参数模型在zero-shot COCO评价中获得7.88的FID,以及0.32的CLIP评分。Muse还直接启用了许多图像编辑应用程序,而无需微调或反转模型:补绘、外画和无蒙版编辑。更多结果请访问https://muse-model.github.io
2023-01-02 cs.AI cs.CV cs.LG
Masked Conditioning for Deep Generative Models
BMW Group(宝马集团);University of Augsburg(奥格斯堡大学);Ludwig-Maximilians-University Munich(慕尼黑莱布尼茨-马克斯大学)
提出掩码条件化方法,使生成模型能处理工程领域稀疏混合类型数据,并集成于变分自编码器和潜在扩散模型,在点云和图像数据集上验证,可与预训练模型结合提升生成质量。
2025-05-22 cs.CV cs.LG
Text-Conditioned Sampling Framework for Text-to-Image Generation with Masked Generative Models
KAIST(韩国科学技术院);Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室)
针对基于token的掩码生成模型并行采样未考虑token依赖的问题,提出文本条件采样框架TCTS及频率自适应采样策略FAS,显著提升了图像质量与图文对齐度,并将推理时间减少50%以上。
2023-04-04 cs.CL cs.CV cs.LG
BARTSmiles: Generative Masked Language Models for Molecular Representations
YerevaNN;Institute of Molecular Biology, NAS RA(亚美尼亚国家科学院分子生物学研究所);Yerevan State University(埃里温国立大学);Meta AI Research(Meta人工智能研究院)
我们发现了一个强大的自我监督的策略,通过一系列量身定制的,深入的消融生成掩蔽语言模型的分子表示量身定制。使用这种预训练策略,我们训练BARTSmiles,一个类似于BART的模型,比以前的自监督分子表示具有更多的计算数量级。深入的评估表明,BARTSmiles在分类、回归和生成任务中的表现始终优于其他自监督表示,在11项任务中创造了新的最先进水平。然后,我们定量地表明,当应用于分子域时,BART目标学习隐式编码我们感兴趣的下游任务的表示。例如,通过从冻结的BARTSmiles中选择七个神经元,我们可以获得一个模型,该模型在任务Clintox上的性能与完全微调的模型相差不到两个百分点。最后,我们表明,标准的属性解释性方法,当应用于BARTSmiles,突出某些子结构,化学家用来解释分子的特定属性。代码和预训练模型是公开的。
2022-11-29 cs.LG q-bio.BM
Metis: A Foundation Speech Generation Model with Masked Generative Pre-training
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
Metis 通过在大规模无标注语音数据上进行掩码生成预训练并结合任务特定微调,构建了一个统一语音生成基础模型,在五个语音生成任务上以更少参数和数据超越现有最先进系统。
2025-02-05 cs.AI cs.LG cs.SD
ReCapture: Generative Video Camera Controls for User-Provided Videos using Masked Video Fine-Tuning
Google(谷歌);National University of Singapore(新加坡国立大学)
本文提出ReCapture,一种从用户提供的单个视频生成新视角视频的方法,通过多视角扩散或点云渲染生成锚定视频,再经掩码视频微调得到干净一致的结果。
2024-11-07 cs.AI cs.CV cs.GR
Graph Generative Models Evaluation with Masked Autoencoder
University of Texas at Dallas(德克萨斯大学达拉斯分校);Virginia Tech(弗吉尼亚理工大学)
针对图生成模型评估中特征提取困难、指标不一致的问题,本文提出利用图掩码自编码器提取图特征,并在多项指标上验证其更可靠有效。
2025-03-17 cs.LG
Bag of Design Choices for Inference of High-Resolution Masked Generative Transformer
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文针对掩码生成Transformer(MGT)的推理过程,提出并重新设计了一套增强推理技术,并通过实验验证这些设计选择可合并以提升性能,如Meissonic上取得约70%胜率。
2025-02-27 cs.CV cs.LG
GraphMAE: Self-Supervised Masked Graph Autoencoders
Tsinghua University(清华大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);BirenTech Research(壁仞科技研究院)
自监督学习(Self-supervised learning,SSL)近年来得到了广泛的研究。特别是,生成式SSL在自然语言处理和其他人工智能领域取得了成功,例如BERT和GPT的广泛采用。尽管如此,对比学习-它严重依赖于结构化数据增强和复杂的训练策略-一直是图SSL的主导方法,而生成SSL在图上的进展,特别是图自动编码器(GAE),迄今为止还没有达到其他领域所承诺的潜力。在本文中,我们确定并研究了对GAE的发展产生负面影响的问题,包括它们的重建目标,训练鲁棒性和误差度量。我们提出了一个掩码图自动编码器GraphMAE,它可以缓解生成自监督图预训练的这些问题。而不是重建图结构,我们建议专注于特征重建与掩蔽策略和缩放余弦误差,有利于强大的训练GraphMAE。我们对21个公共数据集进行了广泛的实验,用于三个不同的图学习任务。结果表明,GraphMAE-一个简单的图形自动编码器与精心设计-可以始终产生优于对比和生成的最先进的基线。这项研究提供了对图形自动编码器的理解,并展示了图形生成自监督预训练的潜力。
2022-07-13 cs.LG
MintNet: Building Invertible Neural Networks with Masked Convolutions
Stanford University(斯坦福大学)
我们提出了一种新的方法来构建可逆的神经网络相结合的简单的积木与一套新的组合规则。这导致了一组丰富的可逆架构,包括那些类似于ResNets的架构。反演实现了一个局部收敛的迭代过程,是并行化的,在实践中非常快。此外,雅可比行列式的行列式可以分析和有效地计算,使其生成使用的流动模型。为了证明它们的灵活性,我们证明了我们的可逆神经网络在MNIST和CIFAR-10分类上与ResNets竞争。当作为生成模型进行训练时,我们的可逆网络在MNIST、CIFAR-10和ImageNet 32 x32上实现了有竞争力的可能性,每维比特数分别为0.98、3.32和4.06。
2019-10-29 cs.CV cs.LG stat.ML
DICE: Discrete Inversion Enabling Controllable Editing for Multinomial Diffusion and Masked Generative Models
Rutgers University(新泽西罗格斯大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Red Hat AI Innovation(红帽AI创新);Google DeepMind(谷歌DeepMind);NYU(纽约大学);Walmart Global Tech(沃尔玛全球技术);NEC Labs America(NEC美国实验室);Massachusetts Institute of Technology(麻省理工学院);ANU(澳大利亚国立大学);UT Arlington(德克萨斯大学阿灵顿分校)
针对离散扩散模型可控编辑受限的问题,本文提出离散反演方法DICE,通过记录逆扩散过程的噪声与掩码模式实现精准重建编辑,在多模型多域验证中兼顾保真度与编辑能力。
2025-11-12 cs.CV cs.LG
Heterogeneous Graph Masked Autoencoders
University of Notre Dame(圣母大学);Brandeis University(布兰迪斯大学)
生成式自监督学习(SSL),特别是掩码自编码器,已成为最令人兴奋的学习范式之一,并在处理图数据方面显示出巨大的潜力。然而,现实世界中的图往往是异构的,这就提出了现有方法所忽略的三个关键挑战:1)如何捕捉复杂的图结构?2)如何合并各种节点属性?以及3)如何编码不同的节点位置?鉴于此,我们研究了异构图上的生成SSL问题,并提出了HGMAE,一种新的异构图掩码自编码器模型来解决这些挑战。HGMAE通过两种创新的掩蔽技术和三种独特的训练策略捕获全面的图形信息。特别是,我们首先开发了具有动态掩码率的元路径掩码和自适应属性掩码,以便在异构图上进行有效和稳定的学习。然后,我们设计了几种训练策略,包括基于元路径的边缘重建,以采用复杂的结构信息,目标属性恢复,将各种节点属性,和位置特征预测编码节点的位置信息。大量的实验表明,HGMAE在多个数据集的多个任务上优于对比和生成的最先进的基线。代码可在https://github.com/meettyj/HGMAE上获得。
2023-02-10 cs.LG
Masked Extended Attention for Zero-Shot Virtual Try-On In The Wild
Tel Aviv University(特拉维夫大学)
本研究提出一种无需额外训练的零样本虚拟试穿方法,借助扩散模型先验与带掩码的扩展注意力机制,缓解纹理粘连与背景泄露问题,在未见过的衣物和人物上实现了更优的试穿图像质量与特征保留效果。
2024-06-21 cs.CV cs.GR cs.LG
Masked Generative Transformer Is What You Need for Image Editing
ByteDance(字节跳动);National University of Singapore(新加坡国立大学);Duke University(杜克大学);Shanghai Jiao Tong University(上海交通大学);HKUST(GZ)(香港科技大学(广州))
本文提出EditMGT框架,利用Masked Generative Transformers实现局部化编辑,通过多层注意力整合和区域保持采样提升编辑精度,使用CrispEdit-2M数据集在多个基准上取得最佳性能。
2026-05-11 cs.CV cs.LG
MaskGCT: Zero-Shot Text-to-Speech with Masked Generative Codec Transformer
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Guangzhou Quwan Network Technology(广州曲湾网络科技)
本文提出MaskGCT,一种完全非自回归的两阶段零样本TTS模型,通过掩码-预测范式并行生成语义和声学令牌,无需显式对齐和音素时长预测,在10万小时语音上超越现有最先进系统。
2024-10-20 cs.AI cs.LG cs.SD
MAGVLT: Masked Generative Vision-and-Language Transformer
Korea University(高丽大学);Kakao Brain
虽然已经利用大规模成对数据集积极开发了多模态图像-文本数据的生成建模,但是通过单个模型而不是以另一模态为条件的一个固定模态的生成来生成图像和文本数据的尝试有限。在本文中,我们探讨了一个统一的生成视觉和语言(VL)模型,可以产生图像和文本序列。特别地,我们提出了一种基于非自回归掩模预测的生成VL Transformer,称为MAGVLT,并将其与自回归生成VL Transformer(ARGVLT)进行了比较。与ARGVLT相比,所提出的MAGVLT能够实现双向上下文编码,通过迭代细化中的并行令牌预测进行快速解码,以及扩展的编辑功能,例如图像和文本填充。为了从头开始使用图像-文本对严格训练我们的MAGVLT,我们结合了图像到文本,文本到图像以及联合图像和文本掩码预测任务。此外,我们设计了两个额外的任务的基础上的步骤展开掩模预测和选择性预测的混合物的两个图像-文本对。各种下游生成任务的VL基准测试的实验结果表明,我们的MAGVLT优于ARGVLT的大幅利润,即使有显着的推理加速。特别是,MAGVLT实现了竞争力的结果zero-shot图像到文本和文本到图像生成任务从MS-COCO的一个中等大小的模型(小于500 M参数),即使没有使用单峰数据和网络。
2023-03-21 cs.CL cs.CV cs.LG
Probabilistic Classification by Density Estimation Using Gaussian Mixture Model and Masked Autoregressive Flow
University of Waterloo(滑铁卢大学);Drexel University(德雷塞尔大学)
本文提出利用高斯混合模型和掩码自回归流进行密度估计,以建模类别似然实现分类,优于线性判别分析,为概率分类器开辟新方向。
2023-10-16 cs.LG cs.NE stat.ML
Look Ahead or Look Around? A Theoretical Comparison Between Autoregressive and Masked Pretraining
Peking University(北京大学);Sun Yat-Sen University(中山大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本文从理论上比较自回归与掩码两种生成式自监督预训练范式,揭示二者在分类和生成任务上的优劣,并提出多样性增强自回归目标与变长掩码目标以互补改进。
2024-07-01 cs.CL cs.LG
Self-Speculative Masked Diffusions
Google DeepMind(谷歌DeepMind)
自推测掩码扩散通过非因子化预测减少计算负担,实现文本和蛋白质序列生成的高效样本生成。
2026-03-06 cs.LG stat.ML
Masked Generative Nested Transformers with Decode Time Scaling
Google DeepMind(谷歌DeepMind);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对视觉生成推理计算效率低的问题,提出解码时间模型缩放与计算缓存重用机制,使小模型处理多token、大模型处理少token且共享参数,在计算量减少近3倍时仍保持竞争力。
2025-02-01 cs.AI cs.CV cs.LG
SpecMaskFoley: Steering Pretrained Spectral Masked Generative Transformer Toward Synchronized Video-to-audio Synthesis via ControlNet
Sony Group Corporation, Japan(日本索尼集团公司)
SpecMaskFoley通过ControlNet引导预训练SpecMaskGIT模型,并设计频率感知时间特征对齐器解决视频时间特征与音频时频特性差异,在拟音合成基准上超越从头训练基线。
2025-07-17 cs.AI cs.LG cs.SD
Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling
Department of Computer Science & Technology, Institute for AI, Tsinghua University(1 计算机科学与技术系,人工智能研究院,清华大学);NVIDIA(2 英特尔)
本文揭示 MDMs 在训练和采样上时间无关且等价于掩码模型,提出 FHS 采样器实现 20 倍加速,并发现 32 位浮点精度导致的数值问题会降低有效温度与 token 多样性,使以往评估不够公平。
2025-04-30 cs.AI cs.CL cs.LG
Beyond Masked and Unmasked: Discrete Diffusion Models via Partial Masking
University of Toronto, Vector Institute(多伦多大学、向量研究所);NVIDIA AI Technology Center(NVIDIA人工智能技术中心);National Taiwan University(国立台湾大学)
针对掩码扩散模型(MDM)连续采样步骤间存在冗余计算的问题,提出支持token中间状态的部分掩码方案Prime,推导变分训练目标并设计适配架构,在文本与图像生成任务上取得优于或比肩现有模型的性能。
2025-10-22 cs.LG
MMM: Generative Masked Motion Model
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University of Central Florida(中佛罗里达大学)
本文提出 MMM,一种基于掩码运动模型的文本到运动生成范式,通过运动分词器和条件掩码 Transformer 实现高保真、高速生成,并支持身体部位修改、运动中间帧生成和长序列合成等编辑功能。
2024-03-28 cs.AI cs.CV cs.LG
Di$\mathtt{[M]}$O: Distilling Masked Diffusion Models into One-step Generator
CNRS(法国国家科学研究中心);IPP(巴黎政治学院);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔大学);LJK(让·昆汀·莫雷尔实验室)
针对掩码扩散模型推理慢的问题,提出Di[M]O单步蒸馏方法,通过令牌级分布匹配和令牌初始化策略解决两大挑战,在图像生成任务上实现媲美多步模型的性能且大幅提速,是首个相关成功实践。
2025-03-19 cs.AI cs.CV cs.LG
UGMAE: A Unified Framework for Graph Masked Autoencoders
University of Notre Dame(圣母大学);Brandeis University(布兰迪斯大学)
针对图掩码自编码器中节点重要性忽视、信息利用不全及重构不稳定等问题,提出统一框架UGMAE,通过自适应掩码、排序重构、自举相似性和一致性保证模块,在多数据集任务上显著超越现有基线。
2024-02-12 cs.AI cs.LG
Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning
Wuhan University(武汉大学);Southern University of Science and Technology(南方科技大学);Peking University(北京大学);University of Electronic Science and Technology of China(电子科技大学)
针对图自监督学习中生成式与对比式范式分离的问题,提出GCMAE框架统一两者,通过共享编码器互补全局与局部信息,在四项图任务上较14个基线最大提升3.2%准确率。
2023-10-24 cs.AI cs.LG
Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
本文提出生成式掩码语言模型的理论框架,通过将T5适配为迭代并行解码实现机器翻译2-3倍加速,并结合消融实验给出设计指南与错误模式分析。
2024-07-22 cs.CL cs.LG
Informative Subgraphs Aware Masked Auto-Encoder in Dynamic Graphs
Hangzhou Dianzi University(杭州电子科技大学);Tianjin University(天津大学)
针对动态图MAE研究匮乏、随机掩码易丢失演化关键时空信息的问题,提出DyGIS模型,通过约束概率生成模型获取信息子图作为DGMAE输入,在11个数据集多任务上达SOTA性能。
2024-09-14 cs.LG
Morphology-Aware Peptide Discovery via Masked Conditional Generative Modeling
Technical University of Munich(慕尼黑技术大学);TUM School of Engineering and Design(慕尼黑技术大学工程与设计学院);Department of Engineering Physics and Computation(工程物理与计算系);Munich Data Science Institute(慕尼黑数据科学研究所);AMC(原子模型中心)
本文提出PepMorph框架,通过条件生成模型生成具有特定聚集形态的肽序列,利用几何和物理化学描述符训练变分自编码器,实现高效肽发现。
2026-03-24 cs.LG q-bio.BM
Generative Flows with Invertible Attentions
ETH Zürich(苏黎世联邦理工学院);SMU(新加坡管理大学);KU Leuven(鲁汶大学)
基于流的生成模型已经显示出通过一系列可逆变换显式学习数据的概率密度函数的出色能力。然而,生成流中的学习注意力研究仍然不足,而在其他领域已经取得了突破。为了填补这一空白,本文介绍了两种类型的可逆注意力机制,即,基于映射和基于转换器的注意力,用于无条件和有条件生成流。其关键思想是利用这两个注意力的掩蔽方案来学习生成流上下文中的长距离数据依赖性。掩蔽方案允许可逆的注意力模块与易处理的雅可比行列式,使其无缝集成在任何位置的基于流的模型。所提出的注意力机制导致更有效的生成流,由于他们的建模的长期数据依赖的能力。对多个图像合成任务的评价表明,所提出的注意流产生了有效的模型,并与最先进的无条件和有条件生成流进行了比较。
2022-03-31 cs.CV cs.LG
TabMT: Generating tabular data with masked transformers
Leidos Inc(莱多斯公司)
本文提出 TabMT,一种用于合成表格数据的掩码 Transformer,通过改进掩码技术处理异构与缺失字段,在多规模数据集上达到 SOTA,并实现更优隐私权衡。
2023-12-11 cs.AI cs.LG
Discovering Crystal Structure Prediction Algorithms with an AI Co-Scientist
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
提出人机协同发现系统HACO,通过跨域搜索和稀疏人类引导,从视觉领域引入掩码生成模型MaskGIT用于晶体结构预测,并改进为MaskGXT,在多个基准上取得最优结果。
2026-06-23 cs.AI cs.LG
Fine-Tuning Masked Diffusion for Provable Self-Correction
Harvard University(哈佛大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Kempner Institute(凯姆纳研究所)
提出PRISM方法,通过轻量级模型无关的重新掩码策略,在掩码扩散模型中实现可证明的自校正,无需强化学习或验证器,提升低质量令牌检测与修正能力。
2026-05-22 cs.LG
Rethinking Graph Masked Autoencoders through Alignment and Uniformity
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对图掩码自编码器(GraphMAE)在理论上与图对比学习的联系及对齐性和均匀性局限,提出AUG-MAE模型,通过由易到难的对抗性掩码策略和显式均匀性正则化器提升表示质量,在基准数据集上优于现有方法。
2024-02-11 cs.LG
Path Planning for Masked Diffusion Model Sampling
Duke University(杜克大学);Atom Bioworks(Atom生物工坊);Mila – Québec AI Institute(魁北克AI研究院);Université de Montréal(蒙特利尔大学);The University of Oxford(牛津大学);Aithyra(Aithyra公司);University of Pennsylvania(宾夕法尼亚大学)
本文提出路径规划策略,通过规划和去噪两个阶段提升掩码扩散模型的生成质量,实验表明在多个领域均取得显著改进。
2026-03-05 cs.AI cs.LG
Simplified and Generalized Masked Diffusion for Discrete Data
Google DeepMind(谷歌DeepMind)
针对现有离散数据掩码扩散模型结构复杂、性能受限的问题,研究提出简洁通用的框架,证明其连续时间变分目标为交叉熵损失加权积分,支持状态依赖掩码调度,在语言和图像建模任务上均超越同类模型。
2025-01-16 cs.LG stat.ML
HoechstGAN: Virtual Lymphocyte Staining Using Generative Adversarial Networks
University of St Andrews(圣安德鲁斯大学);Lothian NHS University Hospitals(洛锡安NHS大学医院)
特定类型免疫细胞的存在和密度对于了解患者对癌症的免疫反应非常重要。然而,识别T细胞亚型所需的免疫荧光染色是昂贵的,耗时的,并且很少在临床环境中进行。我们提出了一个框架,虚拟染色Hoechst图像(这是廉价和广泛的)与CD3和CD8,以确定T细胞亚型在透明细胞肾细胞癌使用生成对抗网络。我们提出的方法联合学习两个染色任务,激励网络从每个任务中整合互利的信息。我们设计了一种新的度量来量化虚拟染色质量,并使用它来评估我们的方法。
2022-10-17 cs.CV cs.LG q-bio.QM
BindCLIP: A Unified Contrastive-Generative Representation Learning Framework for Virtual Screening
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团)
BindCLIP通过整合生成和构象级监督与对比学习,提升虚拟筛选中结合相互作用的表示能力,从而提高真实场景下的泛化性能。
2026-02-16 cs.LG
Architect of the Bits World: Masked Autoregressive Modeling for Circuit Generation Guided by Truth Table
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligent Laboratory(上海人工智能实验室);Noah’s Ark Lab, Huawei(华为诺亚实验室)
本文提出CircuitVQ分词器与CircuitAR掩码自回归模型,结合可微架构搜索从真值表生成电路,解决了传统逻辑综合的次优问题和DAS的计算与优化难题。
2025-07-18 cs.LG
Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction
Université de Montréal(蒙特利尔大学);Mila(米拉计算科学研究所);Dreamfold(Dreamfold公司);Duke University(杜克大学);McGill University(麦吉尔大学);Allen Institute for AI(艾伦人工智能研究所);Oxford University(牛津大学);Aithyra(Aithyra公司)
本文提出离散去噪后验预测(DDPP)框架,将引导预训练掩码扩散模型转化为概率推理问题,提供三个无需模拟且可扩展的目标函数,并在图像建模、文本对齐和蛋白质设计等任务及湿实验中验证了有效性。
2024-10-10 cs.AI cs.LG
Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling
Peking University(北京大学);Bytedance Inc.(字节跳动公司);University of Oxford(牛津大学)
我们确定并克服了将BERT风格的预训练或掩码图像建模的成功扩展到卷积网络(convnets)的两个关键障碍:(i)卷积运算无法处理不规则的随机掩蔽输入图像;(ii)BERT预训练的单尺度性质与convnet的分层结构不一致。对于(i),我们将未掩蔽的像素视为3D点云的稀疏体素,并使用稀疏卷积进行编码。这是稀疏卷积首次用于2D掩码建模。对于(ii),我们开发了一个分层解码器来从多尺度编码特征重建图像。我们的方法称为Sparse masKed modeling(SparK),它是通用的:它可以直接用于任何卷积模型,而无需修改主干。我们在经典(ResNet)和现代(ConvNeXt)模型上验证了它:在三个下游任务上,它以类似的大幅度(约+1.0%)超过了最先进的对比学习和基于transformer的掩码建模。在目标检测和实例分割方面的改进更为显著(高达+3.5%),验证了所学习特征的强大可移植性。我们还通过在更大的模型上观察到更多的增益来发现其有利的缩放行为。所有这些证据都揭示了在convnets上进行生成式预训练的前景。代码和模型在https://github.com/keyu-tian/SparK上发布。
2023-01-10 cs.AI cs.CV cs.LG