CMLM-CSE: Based on Conditional MLM Contrastive Learning for Sentence Embeddings
Hangzhou Yizhi Intelligent Technology Co., Ltd.（杭州意智智能科技有限公司）；School of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）
针对传统对比学习句子嵌入忽略句中词汇语义影响的问题，提出基于条件MLM的无监督对比学习框架CMLM-CSE，通过新增辅助网络融合句子嵌入执行MLM任务，在文本相似度任务上性能优于SimCSE。
2023-06-16 cs.AI cs.CL
Generative Text-Guided 3D Vision-Language Pretraining for Unified Medical Image Segmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Imperial College London（帝国理工学院）
针对医学领域3D图像-文本配对数据稀缺、传统VLP仅适用于2D的问题，提出GTGM框架，用LLM生成医学文本引导3D预训练，结合无负样本对比学习，在3种模态13个数据集的分割任务上取得更优性能。
2023-06-07 cs.AI cs.CV
Pretraining Language Models with Text-Attributed Heterogeneous Graphs
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）
提出一种针对文本属性异构图的LM预训练框架，通过拓扑感知任务和文本增强策略联合优化LM与异构图神经网络，显著提升了链接预测和节点分类性能。
2023-10-23 cs.AI cs.CL
ProsMAE: Multi-Source MAE Pretraining for ISUP Grade Classification
Seoul National University（首尔国立大学）；GIST（韩国科学技术院）；NVIDIA（英伟达）
针对全切片图像模型训练难题，提出多源MAE框架ProsMAE，利用多数据集切片预训练编码器，通过ProsCLS用于ISUP分级分类，在不相交PANDA分割下比普通MAE冻结线性探针基线有更高QWK。
2026-09-11 cs.AI cs.CV cs.LG
SCAT: Second Chance Autoencoder for Textual Data
School of Computing and Engineering, University of Missouri-Kansas City（密苏里大学堪萨斯城分校计算与工程学院）
我们提出了一个k-竞争学习方法的文本自动编码器命名为第二次机会自动编码器（SCAT）。SCAT选择$k$最大和最小的正激活作为获胜神经元，在学习过程中获得失败神经元的激活值，从而专注于检索具有代表性的主题特征。我们的实验表明，SCAT在分类，主题建模和文档可视化方面取得了优异的性能相比，LDA，K-Sparse，NVCTM和KATE。
2020-09-08 cs.CL cs.LG
MMEarth: Exploring Multi-Modal Pretext Tasks For Geospatial Representation Learning
University of Copenhagen（哥本哈根大学）
针对地球观测数据缺乏标注的问题，构建了全球规模多模态数据集MMEarth，并提出多前置掩码自编码器（MP-MAE）方法，通过多模态前置任务显著提升了卫星图像表示学习的下游任务性能及标签与参数效率。
2024-07-29 cs.AI cs.CV cs.LG
Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data
研究利用自监督学习，通过在盲人参与者V1区的自发神经活动上预训练掩码自动编码器，测试能否改善感知解码。结果显示该方法有效，表明自发皮层活动有价值，无监督预训练是改善神经解码的好策略。
2026-07-28 cs.AI cs.LG cs.NE
GAN pretraining for deep convolutional autoencoders applied to Software-based Fingerprint Presentation Attack Detection
University of Applied Sciences Darmstadt（达姆施塔特应用科学大学）
随着越来越多地使用指纹进行认证，对确定指纹呈现攻击的可靠系统的需求也在增长。这项工作提出了一种新的方法，单类分类的基于软件的指纹呈现附着检测。所描述的方法利用Wasserstein GAN来将迁移学习应用于深度卷积自动编码器。通过这样做，自动编码器可以在LivDet2021 Dermatitis传感器数据集上进行预训练和微调，只有1122个真正的训练样本。在不使用任何表示攻击样本的情况下，该模型的平均分类错误率出错率为16.79%。实现用于预训练自动编码器权重的Wasserstein GAN还可以用于生成逼真的人工指纹补丁。对不同的自动编码器架构和超参数进行了广泛的测试，得出了粗略的架构指南以及可用于未来工作的多种实现。
2021-05-21 cs.LG
M^2VAE: Multi-Modal Multi-View Variational Autoencoder for Cold-start Item Recommendation
Ant Group（蚂蚁集团）
针对冷启动物品推荐中现有多模态方法忽略多视图结构及特征区别的问题，本文提出M²VAE生成模型，通过类型特定潜在变量、PoE通用表示、解耦对比损失、偏好引导MoE及共现信号对比学习，提升推荐效果。
2025-11-12 cs.AI cs.IR
Radiance-Field Guided Pretraining: Scaling Localization Models with Unlabeled Wireless Signals
Department of Computing, The Hong Kong Polytechnic University, Hong Kong, China（计算系，香港理工大学，香港，中国）
本文提出RFRP框架，通过结合大规模未标记无线信号数据提升定位模型的跨场景泛化能力，实验表明其显著降低定位误差。
2026-09-23 cs.AI cs.IT math.IT
TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
近年来，用于基于文本的自然语言理解任务的预训练语言模型（LM）蓬勃发展。这样的模型通常在自由形式的NL文本上训练，因此可能不适合于像结构化数据上的语义解析这样的任务，其需要对自由形式的NL问题和结构化表格数据（例如，数据库表）。在本文中，我们提出了TaBERT，这是一个预训练的LM，它可以联合学习NL句子和（半）结构化表的表示。TaBERT在2600万个表格及其英语上下文的大型语料库上进行训练。在实验中，使用TaBERT作为特征表示层的神经语义解析器在具有挑战性的弱监督语义解析基准WikiTableQuestions上取得了新的最佳结果，同时在文本到SQL数据集Spider上表现出色。该模型的实施将在http://fburl.com/TaBERT上提供。
2020-05-17 cs.CL cs.LG
Bootstrapped Masked Autoencoders for Vision BERT Pretraining
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了自举掩码自编码器（BootMAE），一种新的方法，视觉BERT预训练。BootMAE通过两个核心设计改进了原始的掩码自编码器（MAE）：1）动量编码器，提供在线特征作为额外的BERT预测目标; 2）目标感知解码器，试图减少编码器在BERT预训练中记忆目标特定信息的压力。第一种设计的动机是观察到使用预训练的MAE提取特征作为掩码令牌的BERT预测目标可以实现更好的预训练性能。因此，我们添加了一个与原始MAE编码器并行的动量编码器，它通过使用自己的表示作为BERT预测目标来提升预训练性能。在第二种设计中，我们引入目标特定信息（例如，未掩蔽的块的像素值）直接从编码器传送到解码器，以减少存储目标特定信息的编码器上的压力。因此，编码器专注于语义建模，这是BERT预训练的目标，并且不需要浪费其容量来记忆与预测目标相关的未屏蔽令牌的信息。通过大量的实验，我们的BootMAE在具有ViT-B主干的ImageNet-1 K上达到了$84.2\%$ Top-1的准确率，在相同的预训练时期下，比MAE高出$+0.8\%$。BootMAE还在ADE 20 K上的语义分割方面获得了$+1.0$ mIoU改进，并在COCO数据集上的目标检测和分割方面获得了$+1.3$ box AP、$+1.4$ mask AP改进。代码发布于https://github.com/LightDXY/BootMAE。
2022-07-14 cs.CV cs.LG
Frequency-Aware Masked Autoencoders for Multimodal Pretraining on Biosignals
Apple（苹果公司）；Georgia Institute of Technology（佐治亚理工学院）；Columbia University（哥伦比亚大学）
提出频率感知掩码自编码器bioFAME，在频率空间参数化生物信号表示，应对分布偏移，实现多模态预训练，在单模态时间序列迁移实验中平均提升5.5%分类准确率。
2024-04-18 cs.AI cs.LG eess.SP
LLM-Enhanced Linear Autoencoders for Recommendation
Sungkyunkwan University（成均馆大学）
提出L3AE，首个将LLM集成到线性自编码器的推荐模型，通过两阶段闭式解优化融合文本语义与协同信号，在三个基准上显著超越现有方法。
2025-08-26 cs.AI cs.CL cs.IR
Masked Autoencoder Pretraining on Strong-Lensing Images for Joint Dark-Matter Model Classification and Super-Resolution
Faculty of Computer Science, Universitas Mercu Buana（默克普布亚大学计算机科学学院）
本研究通过在强引力透镜图像上预训练MAE，实现了暗物质模型分类和图像超分辨率的双重任务，展示了MAE在天文图像处理中的有效性。
2025-12-07 astro-ph.CO astro-ph.IM cs.AI
DailyMAE: Towards Pretraining Masked Autoencoders in One Day
University of Surrey（萨里大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出针对掩码图像建模自监督学习的高效训练方案，通过缓解数据加载瓶颈和渐进式训练等技术，在8块A100 GPU上仅用18小时完成ImageNet 1K上MAE-Base/16的800轮预训练，实现最高5.8倍加速，推动SSL研究更易开展。
2024-03-31 cs.CV cs.LG
Pretraining Image Encoders without Reconstruction via Feature Prediction Loss
Luleå University of Technology（吕勒奥理工大学）；EISLAB（电子信息科学实验室）
这项工作研究了三种计算基于自动编码器的图像编码器预训练损失的方法：常用的重建损失，最近引入的深度感知相似性损失和本文提出的特征预测损失;后者被证明是最有效的选择。深度学习任务的标准自动编码器预训练通过比较输入图像和重建图像来完成。最近的工作表明，基于图像自动编码器生成的嵌入的预测可以通过感知损失的训练来改进，即，通过在解码步骤之后添加损耗网络。到目前为止，使用损失网络训练的自动编码器使用损失网络实现了原始图像和重建图像的显式比较。然而，给定这样一个损失网络，我们证明了不需要解码整个图像的耗时任务。相反，我们建议解码损失网络的特征，因此命名为“特征预测损失”。为了评估这种方法，我们在三个标准的公开数据集（LunarLander-v2，STL-10和SVHN）上进行了实验，并比较了六种不同的训练图像编码器的过程（像素，感知相似性和特征预测损失;结合图像和特征编码/解码的两种变化）。基于嵌入的预测结果表明，使用特征预测损失训练的编码器与使用其他两种损失训练的编码器一样好或更好。此外，与其他损失相比，编码器使用特征预测损失进行训练明显更快。本工作中使用的方法实现可在线获得：https://github.com/guspih/Perceptual-Autoencoders
2020-07-15 cs.CV cs.LG
Adversarially Regularized Autoencoders
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）；Harvard University（哈佛大学）
使用变分自编码器或生成对抗网络训练的深层潜变量模型现在是连续结构表示学习的关键技术。然而，将类似的方法应用于离散结构，如文本序列或离散图像，已被证明更具挑战性。在这项工作中，我们提出了一种灵活的方法来训练离散结构的深层潜变量模型。我们的方法是基于最近提出的Wasserstein自动编码器（WAE），它将对抗性自动编码器（AAE）形式化为最优传输问题。我们首先扩展这个框架来建模离散序列，然后进一步探索不同的学习先验针对一个可控的表示。这种逆向正则化自动编码器（ARAE）允许我们生成自然的文本输出，并在潜在空间中执行操作以引起输出空间的变化。最后，我们表明，潜在的表示可以被训练来执行不对齐的文本风格转移，与现有的方法相比，在自动/人工评估方面都有改进。
2018-06-29 cs.CL cs.LG cs.NE
MILAN: Masked Image Pretraining on Language Assisted Representation
Princeton University（普林斯顿大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
基于自注意的Transformer模型在过去的几年中已经主导了许多计算机视觉任务。它们出色的模型质量在很大程度上依赖于过大的标记图像数据集。为了减少对大型标记数据集的依赖，基于重构的掩码自编码器越来越受欢迎，其从未标记图像中学习高质量的可传递表示。出于同样的目的，最近的弱监督图像预训练方法从伴随图像的文本标题中探索语言监督。在这项工作中，我们提出了对语言辅助表示的掩蔽图像预训练，称为MILAN。我们的预训练目标不是预测原始像素或低级别特征，而是用使用字幕监督获得的大量语义信号重建图像特征。此外，为了适应我们的重建目标，我们提出了一个更有效的提示解码器架构和语义感知掩码采样机制，这进一步提高了预训练模型的传输性能。实验结果表明，MILAN提供了更高的精度比以前的作品。当掩码自编码器在输入分辨率为224 x224的ImageNet-1 K数据集上进行预训练和微调时，MILAN在ViT-Base上实现了85.4%的top-1准确率，超过了之前的最先进水平1%。在下游的语义分割任务中，MILAN在ADE 20 K数据集上使用ViT-Base实现了52.7 mIoU，比之前的掩蔽预训练结果高出4个点。
2022-12-19 cs.CL cs.CV cs.LG
Frequency-Aware Masked Autoencoders for Human Activity Recognition using Accelerometers
Technical University of Denmark（丹麦技术大学）
本文提出频率感知掩码自编码器，利用频谱图损失函数在大型未标记加速度计数据上预训练变换器模型，提升人体活动识别性能，LMM损失显著优于MSE损失。
2025-05-27 cs.LG eess.SP
Masked Autoencoders with Limited Data: Does It Work? A Fine-Grained Bioacoustics Case Study
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
本文研究了在有限数据下使用掩码自编码器进行生物声学分类的效果，发现预训练数据规模在中等规模细粒度任务中起主导作用，而领域特定数据的额外预训练可能降低性能。
2026-05-13 cs.CV cs.LG cs.SD
DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University Health Network（大学健康网络）
句子嵌入是许多自然语言处理（NLP）系统的重要组成部分。与词嵌入一样，句子嵌入通常在大型文本语料库中学习，然后转移到各种下游任务中，例如聚类和检索。与词嵌入不同，学习句子嵌入的最高性能解决方案需要标记数据，这限制了它们对标记数据丰富的语言和领域的有用性。在本文中，我们提出了DeCLUTR：用于无监督文本表示的深度对比学习。受深度度量学习（DML）最新进展的启发，我们仔细设计了一个自监督目标，用于学习通用句子嵌入，不需要标记的训练数据。当用于扩展基于transformer的语言模型的预训练时，我们的方法缩小了通用句子编码器的无监督和监督预训练之间的性能差距。重要的是，我们的实验表明，学习嵌入的质量与可训练参数的数量和未标记的训练数据的数量成比例。我们的代码和预训练模型是公开的，可以轻松适应新领域或用于嵌入看不见的文本。
2021-05-27 cs.CL cs.LG
Variational Pretraining for Semi-supervised Text Classification
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了VAMPIRE，一个轻量级的预训练框架，用于在数据和计算资源有限的情况下进行有效的文本分类。我们预训练一个unigram文档模型作为域内未标记数据的变分自编码器，并使用其内部状态作为下游分类器的特征。从经验上讲，我们显示了VAMPIRE对计算昂贵的上下文嵌入和低资源设置下的其他流行的半监督基线的相对强度。我们还发现，在有限的监督下工作时，对域内数据进行微调对于从上下文嵌入中获得良好的性能至关重要。我们在本文中附带了预训练代码，并在下游任务中使用VAMPIRE嵌入。
2019-06-05 cs.CL cs.LG
Multi-view autoencoders for Fake News Detection
Centro de Informática Universidade Federal de Pernambuco（计算机中心 巴西佩纳布卢克联邦大学）；École de technologie supérieure Université du Québec（高等技术学院魁北克大学）
本文提出使用多视图自编码器整合多种特征提取技术生成联合特征表示，用于假新闻检测，实验证明该方法显著提升了分类性能，且选择视图子集在准确率和计算量上更具优势。
2025-04-10 cs.AI cs.CL cs.LG
ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data
University of Washington（华盛顿大学）
大型预训练的语言模型通过提示在各种下游任务中表现得越来越好。然而，目前还不清楚模型从哪里学习特定于任务的知识，特别是在zero-shot设置中。在这项工作中，我们希望从预训练中找到模型特定于任务的能力的证据，并且特别感兴趣的是定位一个非常小的预训练数据子集，这些数据直接支持任务中的模型。我们呼吁这样一个子集支持数据证据，并提出了一种新的方法ORCA有效地识别它，通过迭代使用梯度信息相关的下游任务。这个支持数据证据提供了关于提示语言模型的有趣见解：在情感分析和文本蕴涵的任务中，BERT显示出对BookCorpus的大量依赖，这是BERT的两个预训练语料库中较小的语料库，以及预训练示例，这些示例掩盖了任务动词的同义词。
2022-05-25 cs.CL cs.LG
Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders
Knowledge Technology, Department of Informatics, University of Hamburg（汉堡大学信息学系知识技术实验室）
提出基于稀疏自编码器的框架，从视觉语言模型中提取视觉、文本和多模态概念，通过余弦相似度评估概念与样本的对齐，在VQA数据集上提升视觉概念质量达45%。
2026-06-23 cs.AI cs.CV cs.LG
Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization
UC San Diego（加州大学圣迭戈分校）
针对掩码自编码器随机掩码未考虑下游任务需求的问题，提出MLO-MAE框架，通过下游任务端到端反馈学习最优掩码策略，在多数据集和任务上实现性能提升。
2025-03-21 cs.CV cs.LG
Masked Autoencoders are PDE Learners
Carnegie Mellon University（卡内基梅隆大学）
为提升偏微分方程神经求解器的泛化能力，本文将掩码自编码器的自监督预训练适配于物理问题，通过跨PDE学习潜在表示，实现对未见过方程/参数的泛化，并提升时间步长与超分辨率性能。
2024-12-05 cs.LG
MultiModal Code-Switching: Interleaving Visual Objects into Language for Explicit Object-Level Alignment
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对现有多模态大语言模型的图像级对齐存在指称歧义的问题，提出多模态代码切换（MMCS）范式，构建含77.3万样本的数据集，仅用5万样本即可匹配或超越60万图像-文本对训练的模型，提升了视觉基础与感知能力。
2026-08-12 cs.CL cs.CV cs.LG
Deep Autoencoder-based Fuzzy C-Means for Topic Detection
Universitas Indonesia（印度尼西亚大学）
主题检测是从文本数据集合中确定主题的过程。主题检测方法之一是基于聚类的方法，其假设质心是主题。聚类方法的优点是可以处理具有否定表示的数据。因此，聚类方法允许与更广泛的表示学习方法相结合。在本文中，我们采用深度学习通过使用深度自动编码器和模糊c均值（称为基于深度自动编码器的模糊c均值（DFCM））进行主题检测。自动编码器的编码器执行低维表示学习。模糊c均值对低维表示进行分组以识别质心。自动编码器的解码器将质心转换回原始表示，以解释为主题。我们的模拟表明，DFCM提高了基于特征空间的模糊c均值（EFCM）的一致性得分，并且与领先的标准方法，即，非负矩阵分解（NMF）或潜在狄利克雷分配（LDA）。
2021-02-02 cs.CL cs.IR cs.LG
Contrastive Visual Semantic Pretraining Magnifies the Semantics of Natural Language Representations
University of Washington（华盛顿大学）
我们研究对比视觉语义预训练的效果，通过比较GPT-2和CLIP（一个zero-shot多模态图像分类器，它适应GPT-2架构来编码图像字幕）形成的上下文化英语语言表示的几何和语义属性。我们发现，对比视觉语义预训练显着减轻了GPT-2的上下文词嵌入中发现的各向异性，使得CLIP词嵌入的层内自相似性（平均成对余弦相似性）在所有层中均低于0.25，而GPT-2的顶层大于0.95。CLIP词嵌入在词级语义内在评估任务上优于GPT-2，并在RG 65评估中达到了新的基于语料库的最新水平，为0.88。CLIP还形成了句子的细粒度语义表示，并在SemEval-2017语义文本相似性基准测试中获得了Spearman的rho = .73，没有进行微调，而GPT-2的任何层都不大于rho = .45。最后，CLIP句子嵌入的层内自相似性随着层索引的增加而降低，在顶层达到0.25，而使用EOS令牌形成的GPT-2句子嵌入的自相似性逐层增加，并且从未低于0.97。我们的研究结果表明，高各向异性是不是一个不可避免的后果的语境化，视觉语义预训练是有益的，不仅为有序的视觉表示，但也为编码有用的语义表示的语言，无论是在单词水平和句子水平。
2022-03-14 cs.AI cs.CL cs.CY
KATE: K-Competitive Autoencoder for Text
Rensselaer Polytechnic Institute（伦斯勒理工学院）
自动编码器已经成功地从图像数据集中学习有意义的表示。然而，它们在文本数据集上的性能尚未得到广泛研究。传统的自动编码器倾向于学习文本文档的可能微不足道的表示，这是由于它们的混淆属性，例如高维性，稀疏性和幂律词分布。在本文中，我们提出了一种新的k-竞争自动编码器，称为KATE，文本文件。由于隐藏层中神经元之间的竞争，每个神经元都变得专门识别特定的数据模式，总体而言，模型可以学习有意义的文本数据表示。一组全面的实验表明，KATE可以比传统的自动编码器学习更好的表示，包括去噪，收缩，变分和k-稀疏自动编码器。我们的模型也优于深度生成模型，概率主题模型，甚至单词表示模型（例如，Word 2 Vec）在一些下游任务方面，如文档分类、回归和检索。
2017-06-04 cs.LG stat.ML
Representation Deficiency in Masked Language Modeling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI
针对MLM预训练中[MASK]令牌导致表示缺陷的问题，提出MAE-LM方法，将[MASK]排除在编码器外，提升维度利用率，在GLUE和SQuAD上优于MLM。
2024-03-16 cs.CL cs.LG
Improving Textual Network Learning with Variational Homophilic Embeddings
Duke University（杜克大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究）
许多网络学习应用的性能关键取决于网络嵌入算法的成功，该算法旨在将丰富的网络信息编码为基于低维顶点的矢量表示。本文考虑了一种新的变分形式的网络嵌入，特别关注文本网络。不同于大多数现有的方法，优化一个歧视性的目标，我们引入变分同伦嵌入（VHE），一个完全生成的模型，学习网络嵌入通过建模的语义（文本）信息与变分自编码器，同时占结构（拓扑）信息通过一个新的同伦先验设计。同构顶点嵌入鼓励相关（连接）顶点的相似嵌入向量。建议的VHE承诺更好的推广下游任务，不完整的观测鲁棒性，并能够推广到看不见的顶点。在现实世界的网络上进行的大量实验，多个任务，表明所提出的方法始终实现优越的性能相对于竞争国家的最先进的方法。
2019-09-30 cs.CL cs.LG stat.ML
CREMA: A Contrastive Regularized Masked Autoencoder for Robust ECG Diagnostics across Clinical Domains
AI Group, Medical AI Co., Ltd.（医疗AI公司人工智能小组）
CREMA通过对比正则化掩码自编码与信号Transformer架构，在12导联心电图上进行自监督预训练，实现跨临床领域稳健且优于现有方法的心电图诊断基础模型。
2025-08-21 cs.AI cs.LG eess.SP
GraphMAE: Self-Supervised Masked Graph Autoencoders
Tsinghua University（清华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；BirenTech Research（壁仞科技研究院）
自监督学习（Self-supervised learning，SSL）近年来得到了广泛的研究。特别是，生成式SSL在自然语言处理和其他人工智能领域取得了成功，例如BERT和GPT的广泛采用。尽管如此，对比学习-它严重依赖于结构化数据增强和复杂的训练策略-一直是图SSL的主导方法，而生成SSL在图上的进展，特别是图自动编码器（GAE），迄今为止还没有达到其他领域所承诺的潜力。在本文中，我们确定并研究了对GAE的发展产生负面影响的问题，包括它们的重建目标，训练鲁棒性和误差度量。我们提出了一个掩码图自动编码器GraphMAE，它可以缓解生成自监督图预训练的这些问题。而不是重建图结构，我们建议专注于特征重建与掩蔽策略和缩放余弦误差，有利于强大的训练GraphMAE。我们对21个公共数据集进行了广泛的实验，用于三个不同的图学习任务。结果表明，GraphMAE-一个简单的图形自动编码器与精心设计-可以始终产生优于对比和生成的最先进的基线。这项研究提供了对图形自动编码器的理解，并展示了图形生成自监督预训练的潜力。
2022-07-13 cs.LG
Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing
Gatsby Computational Neuroscience Unit（Gatsby计算神经科学单元）；University College London（伦敦大学学院）；Institute of Science and Technology Austria（奥地利科学与技术研究所）；Sainsbury Wellcome Centre（萨金斯-韦尔科姆中心）
本文研究了预训练和线性探测过程中的最优表示尺寸问题，通过高维分析揭示了表示维度、未标记和标记样本数量以及任务对齐性对训练和泛化误差的影响，提出了在不同预训练和下游数据条件下优化表示尺寸的条件。
2026-05-19 cs.LG
Pretraining for Sample-Efficient Neural Interfaces
Duke University（杜克大学）
本文提出MAPA自监督预训练方法，通过解剖区域嵌入和相对位置编码，在无需微调下提升脑机接口跨受试者解码性能，显著减少所需标签数据。
2026-09-15 cs.LG q-bio.NC
Robust Representation Learning in Masked Autoencoders
本文通过分析掩码自编码器（MAE）的表示学习机制，发现其预训练和微调后的表示对模糊、遮挡等退化具有鲁棒性，并通过层间分析和敏感性指标揭示了其类感知子空间和全局注意力机制。
2026-06-23 cs.CV cs.LG
Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization
University of Pittsburgh（匹兹堡大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Xidian University（西安电子科技大学）；University of Sydney（悉尼大学）
图像聚类是计算机视觉最重要的应用之一，在文献中得到了广泛的研究。然而，现有的聚类方法在处理大规模、高维数据时，大多缺乏效率和可扩展性。在本文中，我们提出了一个新的聚类模型，称为DEeP嵌入正则化的聚类（DEPICT），它有效地将数据映射到一个有区别的嵌入子空间，并精确地预测聚类分配。DEPICT通常由堆叠在多层卷积自动编码器顶部的多项式逻辑回归函数组成。我们定义了一个聚类的目标函数，使用相对熵（KL发散）最小化，正则化的集群分配的频率之前。一个交替的策略，然后推导出优化的目标，通过更新参数和估计集群分配。此外，我们在自动编码器中使用重建损失函数作为数据相关的正则化项，以防止深度嵌入函数过拟合。为了从端到端优化中获益并消除逐层预训练的必要性，我们引入了一个联合学习框架来最小化统一的聚类和重建损失函数，并同时训练所有网络层。实验结果表明，DEPICT的优越性和更快的运行时间在现实世界的聚类任务，其中没有标记的数据可用于超参数调整。
2017-08-09 cs.LG
RecBase: Generative Foundation Model Pretraining for Zero-Shot Recommendation
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Shanghai AI Lab（上海人工智能实验室）；The HK PolyU（香港理工大学）
针对LLM预训练与推荐任务不匹配导致的跨域泛化差问题，提出推荐导向预训练的基础模型RecBase，通过统一物品分词器等设计，15亿参数规模在8个数据集的零样本跨域推荐中追平或超越最高70亿参数的LLM基线。
2025-09-03 cs.IR cs.LG
Stacked Wasserstein Autoencoder
University of Kansas（堪萨斯大学）
在复杂的流形，如自然图像，近似分布在概念上是有吸引力的。使用变分自编码器和生成对抗网络训练的深度潜变量模型现在是表示学习的关键技术。然而，这是很难统一这两个模型的精确潜变量推理和并行重建和采样，部分原因是潜变量下的正则化，以匹配一个简单的显式先验分布。这些方法容易过于简化，只能表征真实分布的少数模式。基于最近提出的Wasserstein自动编码器（WAE），采用新的正则化作为最佳传输。本文提出了一种堆叠式Wasserstein自编码器（SWAE）来学习深层潜变量模型。SWAE是一个分层模型，它在两个阶段放松最优运输约束。在第一阶段，SWAE灵活地学习表示分布，即，编码的先验;并且在第二阶段，在正则化下用潜变量模型来近似编码表示分布，以鼓励潜分布匹配显式先验。该模型允许我们生成自然的文本输出，并在潜在空间中执行操作以引起输出空间的变化。定量和定性的结果表明，优越的性能SWAE相比，国家的最先进的方法在忠实的重建和生成质量。
2019-10-04 cs.CV cs.LG
The hidden advantage of mask resampling: a theory of masked autoencoders
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本研究通过高维模型证明掩码线性重建在异质噪声下能以线性样本复杂度恢复潜在特征，优于PCA，并揭示掩码重采样多样性可降低样本复杂度，实验表明动态掩码在CNN和视觉变换器中具下游优势。
2026-10-02 cond-mat.dis-nn cs.LG stat.ML
