Benchmarking Pretrained Molecular Embedding Models For Molecular Representation Learning
Faculty of Computer Science（计算机科学系）；AGH University of Krakow（克拉科夫AGH大学）
本研究对预训练分子嵌入模型进行了全面比较，发现仅CLAMP模型在分子表示学习中表现显著优于其他模型。
2026-11-05 cs.AI cs.LG
Three Towers: Flexible Contrastive Learning with Pretrained Image Models
University of Oxford（牛津大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文提出三塔（3T）方法，通过引入包含冻结预训练嵌入的第三塔，使图像塔同时受益于预训练嵌入和对比训练，在检索和分类任务上取得一致改进。
2023-10-30 cs.AI cs.CV cs.LG
Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH（DRIMCo有限责任公司）；CIS, University of Munich (LMU)（慕尼黑大学计算语言学中心）
虽然词嵌入和主题是互补的表示，但过去的一些工作仅在（神经）主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架，使用多视图嵌入空间：（1）预训练的主题嵌入，（2）预训练的词嵌入（Glove的上下文不敏感和BERT模型的上下文敏感）联合从一个或多个来源，以提高主题质量和更好地处理多义词。在这样做时，我们首先构建相应的预训练主题池（即，TopicPool）和词嵌入（即，WordPool）。然后，我们识别一个或多个相关的源域，并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中，我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集，通过泛化（困惑）、可解释性（主题连贯性）和信息检索（IR）来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时，我们使用6个源（高资源）和5个目标（低资源）语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
Independent Researcher, USA（美国独立研究者）；Independent Researcher, Japan（日本独立研究者）
本文通过评估预训练变换器嵌入在欺骗分类中的效果，发现BERT结合逻辑回归在LIAR数据集上表现最佳，证明了上下文自注意力编码的有效性。
2025-11-28 cs.AI cs.CL cs.LG
No Free Lunch from Audio Pretraining in Bioacoustics: A Benchmark Study of Embeddings
Department of Biomedical Engineering Johns Hopkins University（生物医学工程系约翰·霍普金斯大学）
本研究在生物声学任务中评估了11个深度学习模型的音频嵌入性能，发现音频预训练模型必须经过微调且需检查微调后的嵌入，否则表现不及微调后的AlexNet且难以分离背景声音。
2025-08-13 cs.AI cs.SD
CDAE: Enhancing Perturbation Robustness in Pretrained Language Models with Contrastive Denoising
Institude for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）
本研究针对预训练语言模型词嵌入对保留语义的文本扰动敏感的问题，提出CDAE模型，经多强度扰动策略对比实验，证实其能提升扰动下的嵌入相似度与表示稳定性。
2026-10-19 cs.AI cs.CL
Combining Contrastive and Non-Contrastive Losses for Fine-Tuning Pretrained Models in Speech Analysis
University of Stuttgart（斯图加特大学）
由于只有几个小时的训练数据可用于诸如情感语音之类的领域，因此嵌入非语言学属性是一项具有挑战性的任务。这个问题的一个解决方案是在大量未标记的语音上预训练一般的自监督语音表示模型。然后，这个预训练的模型被微调到特定的任务。然而，副语言属性具有众所周知的高类方差，使得微调无效。在这项工作中，我们提出了一个两步的方法。首先，我们改进了嵌入空间，然后我们训练适配器来弥合从嵌入空间到分类任务的差距。为了提高类不变性，我们使用对比和非对比损失的组合来显式优化类不变，但有区别的功能。我们的方法始终优于在多个任务上进行端到端微调的基线，并超过了最先进的情绪分类基准。
2022-10-21 cs.AI cs.CL
SPECTRA: Band-Routed Embedding and Stage-Wise LoRA for Cross-Sensor Fine-Tuning of Geospatial Foundation Models
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）；NASA Goddard Space Flight Center（美国国家航空航天局戈达德太空飞行中心）
本文提出SPECTRA框架，通过波段路由嵌入（BRE）解决地理空间基础模型的光谱不匹配问题，利用分阶段可迁移性感知LoRA（ST-LoRA）降低微调成本，在多数据集上验证了方法的有效性。
2026-09-11 cs.AI cs.CV
Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers
Warsaw University of Technology（华沙技术大学）；Centre for Credible Artificial Intelligence（可信人工智能中心）；University of Warsaw（华沙大学）
本文通过协方差矩阵谱分解，揭示对比预训练VLMs的潜在空间中多模态噪声结构，发现去除共享噪声维度对下游任务性能无害，提供对现代VLMs表征结构的新见解。
2026-05-14 cs.AI cs.CV cs.LG
Improved Large Language Model Jailbreak Detection via Pretrained Embeddings
NVIDIA Corporation（英伟达公司）
本文提出将适合检索的预训练文本嵌入与传统机器学习分类器结合以检测 LLM 越狱提示词，性能优于开源安全应用中的现有公开方法。
2024-12-02 cs.AI cs.CR cs.LG
Parameter-Efficient Adaptation of Pretrained Language Models for Time-Series Forecasting
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
本研究提出参数高效框架，将预训练语言模型适配于时间序列预测，通过连续块嵌入优于文本提示，仅更新不到1%参数即达专业架构精度。
2026-09-15 cs.AI cs.CL cs.LG
Integrating Knowledge Graph embedding and pretrained Language Models in Hypercomplex Spaces
University of Stuttgart（斯图加特大学）；University of Bonn（波恩大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；TU Dresden（德累斯顿工业大学）；Amazon（亚马逊）；University of Southampton（南安普顿大学）
本文提出用 4D Dihedron 与 Quaternion 超复数表示统一知识图谱结构嵌入及词、句、文档级文本表示，并通过相应乘积建模模态交互，从而提升链接预测性能。
2023-08-16 cs.AI cs.CL
Latent Embedding Adaptation for Human Preference Alignment in Diffusion Planners
Nanyang Technological University（南洋理工大学）；Continental Automotive Singapore（大陆汽车新加坡公司）
本研究提出一种基于偏好潜嵌入的扩散规划器人类偏好对齐方法，通过偏好反转优化可学习嵌入实现快速个性化适配，在真实人类偏好基准上性能优于RLHF和LoRA等现有方案。
2025-03-24 cs.AI cs.LG cs.RO
LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation
L3S Research Center Hannover（汉诺威L3S研究中心）
LGSE通过引入词法信息的子词分割方法，改进低资源语言适应中的词嵌入初始化，通过平均预训练的子词或FastText词法表示，提升表示质量。
2026-03-23 cs.AI cs.CL
LogiC-Diff: Embedding Security Properties Into AI-Enabled Cyber-Physical Systems
Vanderbilt University（范德堡大学）；University of Virginia（弗吉尼亚大学）
提出逻辑条件双阶段扩散框架，将STL规范嵌入CPS预测，同时修复输入与细化输出，提升对抗鲁棒性和规范符合性。
2026-10-01 cs.AI cs.CR
TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems
Google DeepMind（谷歌DeepMind）
提出TokenMinds系统，通过编码器-解码器架构生成基于语义ID的离散用户令牌和稠密嵌入，实现互补优势，并在YouTube全流量部署验证其工业可行性。
2026-10-28 cs.AI cs.IR cs.LG
Algorithm Selection with Zero Domain Knowledge via Text Embeddings
Algorithms and Complexity Group（算法与复杂性组）
本文提出了一种无需手工特征的算法选择方法，利用预训练文本嵌入替代传统特征。ZeroFolio通过文本序列化、嵌入和最近邻选择三步流程，在多个领域中实现了优于传统方法的性能。
2026-10-07 cs.AI cs.CL cs.LG
Latent Reasoning via Sentence Embedding Prediction
KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；University College London（伦敦大学学院）；LG AI Research（LG人工智能研究）
本研究提出一种通过自回归预测下一句连续嵌入使预训练语言模型在句子空间进行潜在推理的框架，实验表明连续推理下的上下文嵌入性能媲美CoT且推理时FLOPs减半。
2025-10-11 cs.AI cs.CL
Bridging scalp and intracranial EEG in BCI via pretrained neural representations and geometric constraint embedding
Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出统一框架提升EEG-iEEG表示，通过几何结构指导功能，结合预训练模型和扩散过程生成高保真神经信号，提升BCI性能。
2026-04-03 cs.AI q-bio.NC
EnCLAP: Combining Neural Audio Codec and Audio-Text Joint Embedding for Automated Audio Captioning
MAUM AI Inc.（MAUM AI公司）；Seoul National University（首尔大学）；Soongsil University（崇实大学）
本研究提出自动音频字幕生成框架EnCLAP，结合EnCodec、CLAP与预训练模型BART，通过掩码编解码器建模提升声学感知，在AudioCaps和Clotho数据集上性能优于基线，并开源代码与演示。
2024-01-31 cs.AI cs.SD eess.AS
Pretrained Conformers for Audio Fingerprinting and Retrieval
Infobip；Faculty of Science, University of Sarajevo（萨拉热窝大学科学学院）
本研究利用自监督对比学习框架训练基于Conformer的编码器，仅需3秒音频即可生成独特嵌入，在音频检索任务中达到最先进水平，且对时间错位及噪声等失真具有强鲁棒性。
2025-09-11 cs.AI cs.IR cs.SD
FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文提出 FASTopic 主题模型，通过 DSR 重建文档、主题与词嵌入间的语义关系，并利用 ETP 进行最优传输正则化，在多项基准上实现更优效果、效率、稳定性与可迁移性。
2024-10-26 cs.AI cs.CL
Zero-Shot Robustification of Zero-Shot Models
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出RoboShot方法，利用语言模型从任务描述中提取见解，在完全零样本和无监督下调整预训练模型嵌入以提升鲁棒性，在九个任务上最差组准确率平均提升15.98%且整体准确率几乎无损。
2024-02-12 cs.AI cs.LG
Embedding-Aware Feature Discovery: Bridging Latent Representations and Interpretable Features in Event Sequences
Sber AI Lab（Sber AI实验室）；ISP RAS Research Center for Trusted AI（俄罗斯科学院信息与系统研究所可信人工智能研究中心）
本文提出EAFD框架，通过结合预训练事件序列嵌入与自反思LLM驱动特征生成代理，解决嵌入与特征管道间的断层问题，实现特征的发现、评估与优化，提升事件序列处理性能。
2026-03-16 cs.AI cs.IR cs.LG
Token-Oriented Semantic Communication with Pretrained Vision Transformers
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
该研究针对令牌通信的两大挑战，提出一种模块化的面向令牌的语义通信框架，利用ViT与LIC的空间对齐等技术，在ImageNet上实现了更优的速率-准确率权衡。
2026-09-09 cs.AI cs.CV cs.LG
Fostering Intrinsic Motivation in Reinforcement Learning with Pretrained Foundation Models
TECNALIA（泰克纳尔利亚科技公司）；University of the Basque Country（巴斯克大学）
本文研究如何利用 CLIP 等基础模型的预训练嵌入为强化学习提供内在动机，并证明完整状态信息和情节新颖性项能显著提升 MiniGrid 中的样本效率与学习速度。
2024-11-25 cs.AI cs.LG
What Variables Affect Out-of-Distribution Generalization in Pretrained Models?
Rochester Institute of Technology（罗切斯特理工学院）；University of Rochester（罗切斯特大学）；Georgia Tech（佐治亚理工学院）
本文基于隧道效应假说研究预训练 DNN 嵌入的 OOD 泛化因素，发现架构、数据、分辨率和增强均有影响，高分辨率多类别训练可显著减少表征压缩。
2024-10-25 cs.AI cs.CV cs.LG
BrainChat: Decoding Semantic Information from fMRI using Vision-language Pretrained Models
The College of Computer Science and Technology（计算机科学与技术学院）；Zhejiang University（浙江大学）；ZJUI（浙江大学伊利诺伊联合学院）
本文提出 BrainChat 框架，结合 CoCa、Masked Brain Modeling、对比对齐与交叉注意力生成解码器，实现 fMRI 图像描述和首次 fMRI 问答，并在有限数据场景下表现优异。
2024-06-10 cs.AI cs.CL cs.CV
