Languages in Whisper-Style Speech Encoders Align Both Phonetically and Semantically
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Free University of Bozen-Bolzano(博尔扎诺自由大学);Technical University of Munich(慕尼黑工业大学)
研究通过控制发音验证跨语言对齐源于语义而非语音相似性,发现语音翻译检索在无语音提示时仍表现优异,且在低资源语言上提升了自动语音识别性能。
2026-04-04 cs.CL
Inside the Black Box: Detecting Data Leakage in Pre-trained Language Encoders
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Netflix Eyeline Studios(Netflix视线工作室)
本文首次系统研究预训练语言编码器通过下游模型黑盒输出导致的预训练数据成员泄露,在多种架构、任务和数据集上证实了该隐私风险的存在,并提供了相关分析以指导隐私保护实践。
2024-08-20 cs.CL
Task-agnostic Distillation of Encoder-Decoder Language Models
Beijing Institute of Technology(北京理工大学);Meituan NLP(美团自然语言处理团队)
针对现有任务无关蒸馏方法无法处理编码器-解码器语言模型的问题,提出MiniEnD方法,成功实现任务无关的编码器-解码器模型蒸馏,并在语言理解与摘要任务及3B模型扩展中验证了其有效性与竞争力。
2023-05-21 cs.CL
CliniBench: A Clinical Outcome Prediction Benchmark for Generative and Encoder-Based Language Models
DATEXIS, Berlin University of Applied Sciences, Berlin, Germany(德累斯顿应用技术大学DATEXIS机构,柏林,德国);Leibniz University Hannover(汉诺威莱布尼茨大学)
CliniBench通过比较编码器型分类器和生成式LLMs在医疗诊断预测中的表现,揭示编码器型分类器的优越性及检索增强策略对生成式模型的提升作用。
2026-01-26 cs.CL
Transferring Semantic Knowledge Into Language Encoders
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
我们引入语义形式中期调整,语义知识的语义表示转换为基于语言编码器的方法。在中期调整中,我们学习对齐一般句子的文本-不与任何特定的推理任务相关联-以及这些句子的结构化语义表示。我们的方法不需要黄金注释的语义表示。相反,它使用自动生成的语义表示,例如来自现成的PropBank和FrameNet语义解析器。我们表明,这种对齐可以通过分类或直接通过三重损失隐式学习。我们的方法产生的语言编码器,表现出更好的预测性能在推理,阅读理解,文本相似性,以及其他语义任务从GLUE,SuperGLUE和SentEval基准。我们在三个流行的基线模型上评估了我们的方法,我们的实验结果和分析得出结论,当前预训练的语言模型可以进一步受益于所提出的中期调整方法的结构化语义框架,因为它们将额外的任务不可知知识注入编码器,改善生成的嵌入以及给定模型的语言属性,这从对流行的句子嵌入工具包和各种探测任务的改进中显而易见。
2021-10-14 cs.CL
On Leveraging Encoder-only Pre-trained Language Models for Effective Keyphrase Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文研究仅编码器预训练语言模型在关键短语生成中的应用,发现前缀语言模型微调策略数据高效且性能优于通用seq2seq模型,并指出参数应向模型深度倾斜。
2024-02-21 cs.CL
Encoder-Decoder or Decoder-Only? Revisiting Encoder-Decoder Large Language Model
Google DeepMind(谷歌DeepMind)
本文重新审视encoder-decoder大语言模型,通过引入decoder-only的最新方法,在多规模下对比发现其具有可比的缩放能力,并在指令微调后展现出更优的推理效率与强劲性能。
2025-10-30 cs.CL
Accurate Retraining-free Pruning for Pretrained Encoder-based Language Models
Seoul National University(首尔大学);Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院)
本文提出K-prune,一种免重训练的结构化剪枝算法,通过知识测量、掩码搜索和权重调整保留预训练知识,在SQuAD上80%压缩率下F1提升高达58.02个百分点。
2024-03-15 cs.CL
E2LLM: Encoder Elongated Large Language Models for Long-Context Understanding and Reasoning
East China Normal University(东华师范大学);Ant Group(蚂蚁集团)
本文提出E2LLM,通过分块压缩和适配器对齐,解决长上下文处理中的性能、效率与兼容性难题,在文档摘要和问答任务中优于现有方法。
2026-04-14 cs.CL
Polar probe linearly decodes semantic structures from LLMs
LSCP, ENS, PSL, EHESS, CNRS(LSCP、ENS、PSL、EHESS、CNRS);Paris Brain Institute(巴黎脑研究所);Earth Species Project(地球物种计划);Meta AI
研究通过极性探针线性恢复LLM中的语义结构,发现其基于嵌入距离和方向表示实体存在与关系类型,且在中层表现更优,能泛化至新实体但随语义结构规模下降。
2026-05-16 cs.CL
Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Tokyo University(东京大学);Tokyo Institute of Technology(东京工业大学)
本研究分析了编码器型预训练语言模型微调中的退化鲁棒性,提出DefinitionEMB方法,利用Wiktionary定义重建各向同性且语义相关的词元嵌入,显著提升了低频词元在GLUE和文本摘要任务上的性能。
2024-10-16 cs.CL
What's in a prompt? Language models encode literary style in prompt embeddings
Cornell University(康奈尔大学);Yale University(耶鲁大学);Imperial College London(伦敦帝国理工学院)
本研究通过文学作品证明,语言模型的深层嵌入编码了无形风格信息,而非仅事实内容,且同一作者的作品嵌入更纠缠,揭示了模型信息处理的复杂性,对作者归属和文学分析有应用价值。
2025-05-19 cs.CL
Generative vs. Encoder Large Language Models for ASR Evaluation: A Comparative Study
Idiap Research Institute(伊迪亚普研究所);Avignon Université(阿维尼翁大学);Le Mans Université(勒芒大学);Nantes Université(南特大学)
该研究对比生成式与编码器大型语言模型在ASR评估中的应用,发现合理配置的BERTScore、SemDist与人类判断相关性强,生成式LLMs可提升评估可解释性。
2026-08-27 cs.CL
Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences(智能信息处理重点实验室,计算技术研究所,中国科学院);State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(人工智能安全国家重点实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出XBridge架构,利用预训练翻译模型实现多语言理解和生成,同时保留LLM作为英语核心处理通用知识,通过轻量级跨模型映射层和最优传输对齐目标,提升多语言生成性能。
2026-04-16 cs.CL
Linearly Decoding Refused Knowledge in Aligned Language Models
University of Chicago(芝加哥大学)
本文通过线性探针研究对齐语言模型中被拒绝的有害信息,发现这些信息仍以线性可解码的方式存在于表征中,并能影响下游行为,说明指令微调只是抑制而非消除有害知识。
2025-06-30 cs.AI cs.CL
Analyzing Encoded Concepts in Transformer Language Models
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(哈马德·本·哈利法大学);Steven Institute of Technology(史蒂文斯理工学院)
我们提出了一个新的框架ConceptX,分析潜在的概念是如何编码的表示内预先训练的语言模型学习。它使用聚类来发现编码的概念,并通过与大量人类定义的概念对齐来解释它们。我们对七个Transformer语言模型的分析揭示了有趣的见解:i)学习表示中的潜在空间在不同程度上与不同的语言概念重叠,ii)模型中的较低层由词汇概念主导(例如,词缀),而核心语言概念(例如,形态或句法关系)在中间层和更高层中得到更好的表示,iii)一些编码概念是多方面的,并且不能使用现有的人类定义的概念来充分解释。
2022-06-27 cs.AI cs.CL
CyrillicQA: The Influence of Phonetically Encoded Secret Language on LLM Performance
Humboldt-Universität zu Berlin(柏林洪堡大学)
该研究探讨大语言模型在处理拉丁字母标准语言时表现优异但对其他语言变体存在劣势的背景下,能否像人类一样解码语音编码的濒危语言,以评估其保护濒危语言的能力。
2026-08-25 cs.AI cs.CL cs.LG
Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?
SB Intuitions
研究翻译增强的语音编码器预训练对语音大语言模型的影响,通过实验证明该方法能改善跨模态整合并提升下游任务性能。
2026-06-25 cs.CL cs.SD eess.AS
Do language models practice what they preach? Examining language ideologies about gendered language reform encoded in LLMs
University of Toronto(多伦多大学)
本研究通过英语性别化语言改革案例,发现LLM在语言使用中存在政治偏见和内部不一致性,揭示了其隐含的语言意识形态,并讨论了对价值对齐的影响。
2024-09-20 cs.AI cs.CL
KILM: Knowledge Injection into Encoder-Decoder Language Models
Amazon Alexa AI(亚马逊Alexa人工智能);Hong Kong University of Science and Technology(香港科技大学)
大型预训练语言模型(PLM)已被证明在其参数内保留隐式知识。为了增强这种隐含的知识,我们提出了知识注入到语言模型(KILM),一种新的方法,注入实体相关的知识到编码器-解码器PLM,通过生成知识填充目标,通过持续的预训练。这是在不对PLM进行架构修改或添加额外参数的情况下完成的。在一套跨越众多数据集的知识密集型任务上的实验结果表明,KILM使模型能够保留更多的知识,减少幻觉,同时保持其在一般NLU和NLG任务上的原始性能。KILM还展示了在实体消歧等任务上改进的zero-shot性能,优于具有30倍以上参数的最先进模型。
2023-02-17 cs.AI cs.CL
Empirical Comparison of Encoder-Based Language Models and Feature-Based Supervised Machine Learning Approaches to Automated Scoring of Long Essays
Southern Methodist University(南卫理公会大学);Princeton University(普林斯顿大学);University of Maryland, College Park(马里兰大学帕克分校);University of Iowa(爱荷华大学)
本研究比较了基于编码器的语言模型与基于特征的监督机器学习方法在长作文自动评分中的表现,发现嵌入集成模型在评分效果上优于单一语言模型。
2026-01-07 cs.CL cs.LG
Machine Translation with Large Language Models: Decoder Only vs. Encoder-Decoder
Calicut University(卡利卡特大学);VIT University(维特大学);National Institute of Technology, Trichy(特里奇国家理工学院)
本项目旨在开发面向印度地区语言的多语言机器翻译模型,通过对比大型语言模型中Decoder-only与Encoder-Decoder架构的有效性,优化翻译质量与效率,推动跨语言交流工具的发展。
2024-09-12 cs.CL cs.ET cs.LG
Do Large Language Models Encode Institutional Experience? Evidence from Cross-Linguistic Moral Reasoning Under Ambiguity
Nanyang Technological University(南洋理工大学)
通过跨语言道德困境实验,研究大型语言模型在模糊情境下是否通过语言编码制度经验,发现隐含制度线索会放大跨语言道德分歧,而明确框架则抑制这种差异。
2026-05-29 cs.AI cs.CL
Breaking the Curse of Multilinguality in Many-to-Many Speech-to-Text Translation via a Resource-Aware Mixture of Speech Encoders
针对多对多语音到文本翻译中的多语言性诅咒问题,提出资源感知型MoSE框架与五阶段课程学习策略,其4B参数模型在45种语言的全方向翻译任务上实现最优性能,显著提升低资源语言表现且不损害高资源性能。
2026-08-07 cs.AI cs.CL
RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达公司)
针对检索增强编码器-解码器语言模型上下文学习的预训练-推理不匹配与上下文长度受限问题,提出结合检索增强掩码语言建模和前缀语言建模的RAVEN模型及融合式上下文学习机制,在少样本场景下以更少参数取得媲美大模型的性能。
2024-08-19 cs.AI cs.CL cs.LG
Compression Represents Intelligence Linearly
Tencent(腾讯);The Hong Kong University of Science and Technology(香港科技大学)
本研究以31个公开大语言模型为对象,验证其压缩外部文本语料的能力与知识、编程、数学推理类智能的基准平均得分几乎线性相关,证实压缩效率可作为评估模型能力的可靠无监督指标。
2024-08-19 cs.AI cs.CL cs.IT
Hierarchical Pre-Training of Vision Encoders with Large Language Model
University of Cincinnati(辛辛那提大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出HIVE框架,通过引入视觉编码器与大语言模型间的分层交叉注意力机制,提升视觉语言对齐,改进特征融合与表征学习,实验表明其在图像分类和多模态任务中表现优异。
2026-08-04 cs.AI cs.CL cs.CV
Probing Linguistic Information For Logical Inference In Pre-trained Language Models
Rose-Hulman Institute of Technology(罗斯-霍曼理工学院)
预先训练的语言模型的进展导致了下游任务自然语言理解的令人印象深刻的结果激增。最近关于探测预先训练的语言模型的工作揭示了编码在其上下文表示中的广泛的语言属性。然而,目前还不清楚它们是否编码了对符号推理方法至关重要的语义知识。我们提出了一种方法来探测语言信息的逻辑推理预训练语言模型表示。我们的探测数据集涵盖了主要符号推理系统所需的语言现象列表。我们发现:(i)预训练的语言模型确实编码了几种类型的语言信息用于推理,但也有一些类型的信息是弱编码的,(ii)语言模型可以通过微调有效地学习缺失的语言信息。总的来说,我们的研究结果提供了关于语言模型及其预训练过程捕获逻辑推理的语言信息的哪些方面的见解。此外,我们已经证明了语言模型的潜在语义和背景知识基础,支持符号推理方法。
2022-03-21 cs.AI cs.CL cs.LG
Unifying Specialized Visual Encoders for Video Language Models
Department of Computer Science, Princeton University, Princeton, NJ, United States(普林斯顿大学计算机科学系);Salesforce Research, Palo Alto, CA, United States(Salesforce研究)
针对当前视频大语言模型依赖单视觉编码器导致视觉信息受限的问题,提出多编码器视频表示方法MERV,通过时空对齐多冻结视觉编码器特征生成统一表示,在多个基准上性能优于现有最优模型,且参数增量小、训练更快。
2025-06-15 cs.CL cs.CV cs.LG
Fresh in memory: Training-order recency is linearly encoded in language model activations
University of Cambridge(剑桥大学);Mila, University of Montreal(蒙特利尔大学米尔研究所)
本文通过按已知顺序微调Llama-3.2-1B模型,发现语言模型激活可线性编码训练顺序,并验证了线性探针和微调模型对实体训练阶段的识别能力,揭示了模型按获取时间区分信息的机制及其对处理冲突数据的意义。
2025-09-22 cs.AI cs.CL cs.LG
Linearly Mapping from Image to Text Space
Brown University(布朗大学)
纯文本语言模型(LM)在多大程度上学习表示非语言世界的特征是一个悬而未决的问题。先前的工作已经表明,当视觉模型的参数被优化以在语言空间中编码图像时,预训练的LM可以被教导为图像添加字幕。我们测试一个更强的假设:由冻结的纯文本模型和纯视觉模型学习的概念表示足够相似,以至于这可以用线性映射来实现。我们表明,从视觉模型的图像表示,可以作为连续的提示,冻结LM通过训练只有一个单一的线性投影。使用这些来提示LM在字幕和视觉问答任务上实现了与调整图像编码器和文本解码器的模型(例如MAGMA模型)相比具有竞争力的性能。我们比较了三种图像编码器,它们在预训练期间具有越来越多的语言监督:BEIT(无语言信息),NF-ResNET(词汇类别信息)和CLIP(完整的自然语言描述)。我们发现所有三个编码器在将视觉属性信息传递到语言模型(例如,动物是大还是小),但是用语言监督预训练的图像编码器更显著地编码类别信息(例如,区分河马和大象),因此在基准语言和视觉任务上表现得更好。我们的研究结果表明,LM编码概念信息的结构类似于基于视觉的模型,即使是那些只在图像上训练。代码可在这里:https://github.com/jmerullo/limber
2023-03-09 cs.CL cs.LG
Signals Are Present, Predictions Fail: Probing Diagram Representations in Large Vision-Language Models
Tohoku University(东大大学);Human Informatics Labs.(人文学信息实验室);NTT, Inc.(NTT公司)
研究发现大规模视觉-语言模型在处理图结构时,节点信息早于边信息被线性编码,导致模型在理解边关系时存在困难。
2026-11-09 cs.CL cs.CV
Transformers Generalize Linearly
Yale University(耶鲁大学)
自然语言表现出等级依赖的模式,其中词之间的关系对句法结构而不是线性排序敏感。虽然回流网络模型通常不能以分层敏感的方式进行概括(McCoy等人,2020)在模糊数据上训练时,较新的Trans-former语言模型(Vaswani等人,2017)在一系列大型数据集上训练的句法基准上(Goldberg,2019; Warstadtet等人,在本文中,我们研究了Transformer序列到序列模型的结构泛化模式,发现Transformers不仅不能在各种语法映射任务中进行层次泛化,而且它们比类似的递归网络更倾向于线性泛化
2021-09-24 cs.CL
Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap 研究院)
在探测(或诊断分类)的方法论支持下,最近的研究表明,Transformers在一定程度上编码句法和语义信息。根据这条研究路线,本文旨在将语义探索推向抽象的极端,其目标是回答以下研究问题:当代基于transformer的模型能否反映底层的基础本体?为此,我们提出了一个系统的基础本体论(FO)探测方法,以调查是否转换器为基础的模型编码抽象的语义信息。在不同的预训练和微调制度,我们提出了一个广泛的评估的一组不同的大规模语言模型在三个不同的和互补的FO标记实验。具体来说,我们提出并讨论了以下结论:(1)探测结果表明,基于transformer的模型在预训练过程中偶然编码了与基础本体相关的信息;(2)利用这些知识可以有效地构建强大的FO标记器(准确率为90%)。
2022-01-25 cs.CL
New Approaches for Natural Language Understanding based on the Idea that Natural Language encodes both Information and its Processing Procedures
我们必须认识到,自然语言是一种信息编码方式,它不仅对信息进行编码,而且对信息如何处理的过程进行编码。理解自然语言,就像构思和设计计算机语言一样,首先要把信息(或数据)和信息(或数据)的处理过程分开。在自然语言中,有些数据处理过程直接编码为结构块和指针块(本文将词汇块重新划分为数据块、结构块和指针块);有些数据处理过程隐含在句子结构中;有些处理过程的请求用信息块表示,由信息接收者处理。对于数据部分,讨论了属性信息的分类编码体系和信息组织结构(包括信息集的组成结构和信息集之间的层次结构)。在第二节中,对第二节中阐述的理论部分进行了实例验证,证明本文的研究达到了使机器能够理解对话中所传达信息的目的。第四部分总结了“理解”的基本条件,对“理解”是什么以及如何理解进行了反思。本文的研究为自然语言理解提供了实践、理论依据和研究方法。在人工智能(AI)领域,它也可以应用于大规模、多类型的信息处理。
2021-01-12 cs.CL
Analysing the Linearity of Linguistic Relations in Language Model Embedding Spaces
ADAPT Research Centre(ADAPT研究中心);Trinity College Dublin(都柏林圣三一大学);Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出框架分析语言模型嵌入中语言关系的线性编码,发现屈折和派生关系近完美线性,词典和百科关系误差大,且RoBERTa和ModernBERT优于GloVe。
2026-09-21 cs.CL cs.LG
Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers
Google(谷歌);University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维)
Transformer模型在各种领域都取得了最先进的成果。然而,对训练注意力机制以学习远距离输入之间的复杂依赖关系的成本的关注继续增长。作为回应,利用学习到的注意力矩阵的结构和稀疏性的解决方案已经蓬勃发展。然而,涉及长序列的实际应用,例如生物序列分析,可能无法满足这些假设,从而排除了对这些模型的探索。为了解决这个问题,我们提出了一个新的Transformer架构,表演者,通过正交随机特征(FAVOR)的基础上快速注意。我们的机制在序列中的令牌数量上线性而不是二次地缩放,其特征在于次二次空间复杂度,并且不包含任何稀疏模式先验。此外,它提供了强有力的理论保证:无偏估计的注意矩阵和一致收敛。它还与预先训练的常规Transformers向后兼容。我们证明了它的有效性的蛋白质序列建模的挑战性任务,并提供详细的理论分析。
2020-10-01 cs.CL cs.LG stat.ML
ParaScopes: What do Language Models Activations Encode About Future Text?
本文提出Residual Stream Decoders框架,通过探测模型激活值解码段落级和文档级规划,发现可提取相当于5+个词元的未来上下文信息,为监测语言模型和理解长期规划奠定基础。
2025-10-31 cs.CL cs.LG
Reducing Language Biases in Visual Question Answering with Visually-Grounded Question Encoder
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最近的研究表明,目前的VQA模型严重偏向于训练集中的语言先验来回答问题,而与图像无关。例如,在一个示例中,绝大多数人把“什么运动”回答为“网球”或把“香蕉什么颜色”回答为“黄色”。“这种行为限制了他们在现实世界的应用场景中的应用。在这项工作中,我们提出了一种新的模型无关的问题编码器,视觉接地问题编码器(VGQE),VQA,减少这种影响。VGQE在编码问题时平等地利用视觉和语言模态。因此,问题表示本身得到了充分的视觉基础,从而减少了模型对语言先验的依赖。我们证明了VGQE对三个最近的VQA模型的影响,并在VQAv 2数据集的偏差敏感分裂上取得了最先进的结果; VQA-CPv 2。此外,与现有的偏差减少技术不同,在标准VQAv 2基准测试中,我们的方法不会降低准确性;相反,它提高了性能。
2020-07-18 cs.CL cs.CV
What Do Vision-Language Models Encode for Personalized Image Aesthetics Assessment?
The University of Tokyo(东京大学);Riken(理化学研究所);Tohoku University(东北大学)
本文分析了视觉-语言模型内部表示中审美属性的分布,利用这些属性实现轻量级个性化图像审美评估,无需微调模型。
2026-04-13 cs.CL cs.CV
How Generative Spoken Language Modeling Encodes Noisy Speech: Investigation from Phonetics to Syntactics
National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
本文通过语音再合成实验研究GSLM在口语与语音层面的编解码效果,发现其错误覆盖音系到句法层,并常生成自然但内容改变的语音。
2023-06-01 cs.AI cs.CL eess.AS
How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?
Cornell University(康奈尔大学)
该研究在线性表示假设下,探讨了语言模型存储特征的理论上限和下限,证明了神经元可存储指数级特征数量,并揭示了线性可访问性比线性表示更强的假设。
2026-02-11 cs.AI cs.CL cs.IT