Towards Opening the Black Box of Neural Machine Translation: Source and Target Interpretations of the Transformer
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Meta AI
在神经机器翻译(NMT)中,每个标记预测都以源句子和目标前缀(先前在解码步骤中已翻译的内容)为条件。然而,以往的工作主要集中在可解释性的NMT源句标记的属性。因此,我们缺乏对每个输入标记(源句子和目标前缀)在模型预测中的影响的充分理解。在这项工作中,我们提出了一个可解释性的方法,跟踪输入令牌的属性为两个上下文。我们的方法可以扩展到任何基于编码器-解码器转换器的模型,使我们能够更好地理解当前NMT模型的内部工作原理。我们将所提出的方法应用于双语和多语言的Transformers,并提出他们的行为的见解。
2022-11-04 cs.CL
Detecting Concrete Visual Tokens for Multimodal Machine Translation
PAR Government Systems Corporation(PAR政府系统公司);Air Force Research Laboratory(空军研究实验室)
针对多模态机器翻译的视觉接地与掩码挑战,提出多种具体视觉标记检测与选择方法,基于GRAM架构在合成多模态数据集上训练,实现了性能与视觉语境利用率的提升。
2024-03-05 cs.CL
NE-BERT: A Multilingual Language Model for Nine Northeast Indian Languages
MWire Labs(MWire实验室)
研究针对印度东北部9种低资源语言的代表性不足问题,提出NE-BERT多语言语言模型,通过加权采样等技术提升性能,解决词汇碎片化,发布资源推动当地NLP研究与数字包容。
2026-08-20 cs.AI cs.CL
Full-Sentence Models Perform Better in Simultaneous Translation Using the Information Enhanced Decoding Strategy
同声翻译是在接收到源句中的几个单词后开始翻译每一个句子,在许多场景中起着至关重要的作用。尽管先前的前缀到前缀框架被认为适合于同时翻译并且实现了良好的性能,但是它仍然具有两个不可避免的缺点:由于需要为每个延迟$k$训练单独的模型而导致的高计算资源成本,以及由于每个目标令牌只能关注特定的源前缀而导致的对信息进行编码的能力不足。我们提出了一个新的框架,采用了一个简单而有效的解码策略,这是专为整句模型。在这个框架内,训练单个整句模型可以实现任意给定的延迟并节省计算资源。此外,利用整句模型对整句进行编码的能力,我们的解码策略可以实时的增强解码状态中保持的信息。实验结果表明,该方法在Zh $\rightarrow$ En、En $\rightarrow$ Ro和En $\leftrightarrow$ De 4个方向上的翻译质量优于基线。
2021-12-30 cs.AI cs.CL
CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training
Beijing Institute of Technology(北京理工大学);Xiaomi AI Lab(小米人工智能实验室)
针对同声传译中因词序差异导致的幻觉问题,提出基于置信度的CBSiMT框架,通过词元级和句子级加权训练缓解干扰,在多语种任务中多数延迟区间提升翻译质量,低延迟下BLEU最高提2分。
2023-11-07 cs.CL
Lightweight Cross-Lingual Sentence Representation Learning
Kyoto University(京都大学);EPFL(洛桑联邦理工学院)
用于学习固定维度跨语言句子表示的大规模模型,如LASER(Artetxe和Schwenk,2019 b),可以显著提高下游任务的性能。然而,由于内存的限制,基于这种大规模模型的进一步增加和修改通常是不切实际的。在这项工作中,我们引入了一个轻量级的双转换器架构,只有2层,用于生成内存高效的跨语言句子表示。我们探索了不同的训练任务,并观察到目前的跨语言训练任务留下了很多需要这个浅架构。为了改善这一点,我们提出了一种新的跨语言的语言模型,它结合了现有的单字屏蔽语言模型与新提出的跨语言的令牌级重建任务。我们通过引入两个计算精简的句子级对比学习任务来进一步增强训练任务,以增强跨语言句子表示空间的对齐,这弥补了轻量级Transformer用于生成任务的学习瓶颈。我们与竞争模型的跨语言句子检索和多语言文档分类的比较证实了新提出的浅层模型训练任务的有效性。
2022-05-27 cs.AI cs.CL
Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents
University of Zurich(苏黎世大学)
本文将识别两篇文档间语义差异(RSD)构建为 token 级回归任务,研究了三种基于掩码语言模型的无监督方法,发现基于词对齐和句子级对比学习的方法与金标准标签相关性稳健,但整体仍有较大改进空间。
2023-10-20 cs.CL
Detecting Fine-Grained Cross-Lingual Semantic Divergences without Supervision by Learning to Rank
University of Maryland(马里兰大学)
检测以不同语言传达的内容中的细粒度差异对于跨语言NLP和多语言语料库分析很重要,但这是一个具有挑战性的机器学习问题,因为注释昂贵且难以扩展。这项工作提高了细粒度语义分歧的预测和注释。我们引入了一种多语言BERT模型的训练策略,通过学习排序不同粒度的合成发散样本。我们评估我们的模型上的语义化的英语-法语语义分歧,一个新的数据集发布的这项工作,由英语-法语的语义分歧类和标记级的理由注释的双。学习排序有助于比强的标记级相似性模型更准确地检测细粒度的标记级分歧,而标记级预测具有进一步区分粗粒度和细粒度分歧的潜力。
2020-10-07 cs.CL
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology(北京理工大学);Microsoft Research(微软研究院)
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中,我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说,该模型首先为平行句子自标记单词对齐。然后,我们随机屏蔽一个bitext对中的标记。给定一个掩码标记,该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明,该方法提高了跨语言的可移植性在各种数据集上,特别是在令牌级的任务,如问答,结构化预测。此外,该模型可以作为一个预先训练的字对齐器,实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Enhancing Document-level Translation of Large Language Model via Translation Mixed-instructions
The Key Laboratory of Linguistic and Cultural Computing of Ministry of Education(教育部语言与文化计算重点实验室);Institute of Artificial Intelligence(人工智能研究所);Northwest Minzu University(西北民族大学);Soochow University(苏州大学)
本文提出翻译混合指令方法,结合不同长度的句子级和文档级指令微调大语言模型,使其在多达2048个token的文档上保持稳定翻译性能,并在10个语言对上显著提升文档级翻译质量与语篇连贯性。
2024-01-16 cs.CL
Token-wise Curriculum Learning for Neural Machine Translation
Georgia Tech(佐治亚理工学院);Microsoft Research(微软研究院);Microsoft Dynamics 365 AI(微软 Dynamics 365 AI)
神经机器翻译(NMT)的现有课程学习方法需要在早期训练阶段从训练数据中采样足够量的“容易”样本。对于训练数据量有限的低资源语言,这并不总是可以实现的。为了解决这种限制,我们提出了一种新的令牌明智的课程学习方法,创建足够数量的简单样本。具体而言,该模型在训练的早期阶段从每个目标句子的开头部分学习预测一个简短的子序列,然后随着训练的进行,子序列逐渐扩展。这样一个新的课程设计的灵感来自于翻译错误的累积效应,这使得后面的标记比开始的标记更难预测。大量的实验表明,我们的方法可以始终优于基线5语言对,特别是低资源的语言。将我们的方法与高级方法相结合,进一步提高了高资源语言的性能。
2021-03-20 cs.CL cs.LG
Encoding Sentence Position in Context-Aware Neural Machine Translation with Concatenation
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Naver Labs Europe(Naver欧洲实验室)
本文研究在基于拼接的上下文感知机器翻译中,通过多种方法将句子位置显式编码至 token 表示,发现特定编码方法在上下文折扣损失下可提升英译俄效果,但英译德未见相同益处。
2023-04-04 cs.CL
POS-tagging to highlight the skeletal structure of sentences
本研究开发了基于BERT迁移学习的词性标注模型,用于提取句子骨架结构,经俄语文本微调验证有效,可助力机器翻译等自然语言处理任务。
2024-11-21 cs.CL
Fine-Grained Reward Optimization for Machine Translation using Error Severity Mappings
Instituto Superior Técnico, Universidade de Lisboa (ELLIS Unit Lisbon)(里斯本大学理工学院(ELLIS单位里斯本));Instituto de Telecomunicações(电信研究所);Carnegie Mellon University(卡内基梅隆大学);TransPerfect Core contributor(TransPerfect核心贡献者)
本文提出利用细粒度词级奖励和误差严重性映射优化,提升机器翻译质量与训练稳定性。
2025-11-21 cs.CL
Sequence Shortening for Context-Aware Machine Translation
Maastricht University(马斯特里赫特大学)
本研究针对上下文感知机器翻译,提出缓存源句潜在表示作为上下文的多编码器特例,并引入潜在分组与潜在选择两种序列缩短方法,在对比数据集上取得更高准确率,同时保持BLEU和COMET分数,提升可解释性并降低内存增长。
2024-02-02 cs.AI cs.CL cs.LG
Token Prepending: A Training-Free Approach for Eliciting Better Sentence Embeddings from LLMs
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室)
本文提出免训练的Token Prepending技术,通过将各层解码的句子嵌入前置到下一层输入开头,缓解因果注意力导致的前序token信息偏差,从而在多种LLMs和任务上显著提升基于提示的句子嵌入性能。
2025-07-03 cs.AI cs.CL
The Importance of Generation Order in Language Modeling
Google Brain(谷歌大脑)
神经语言模型是用于机器翻译、摘要、音频转录和其他任务的最先进系统的关键组件。这些语言模型在本质上几乎是普遍自回归的,从左到右每次生成一个标记的句子。本文通过一种新的两遍语言模型,生成部分填充的句子“模板”,然后填充缺失的令牌,研究令牌生成顺序对模型质量的影响。我们比较了构建这两个通道的各种策略,并观察到模型质量的惊人变化。我们发现最有效的策略是在第一遍生成功能词,然后在第二遍生成内容词。我们相信这些实验结果证明了神经语言模型的生成顺序的更广泛的调查。
2018-08-23 cs.CL cs.LG stat.ML
Rate-Utility Frontiers for Language Encodings: Comparing Tokens, Bytes, and Pixels Under Controlled Linguistic Content
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
研究在内容和下游能力受控时语言编码保留了什么,利用多语言平行句子通过共享瓶颈比较词元、字节和像素以追踪速率-效用前沿,评估三种效用,发现各编码在不同方面表现不同,选择编码需考虑多因素进行速率-效用权衡。
2026-07-20 cs.CL
SentenceVAE: Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context
Northwestern Polytechnical University(西北工业大学);China Telecom(中国电信)
针对大语言模型下一词元推理速度慢的问题,提出集成句子变分自编码器的句子级大语言模型,通过逐句推理实现速度提升、精度提高与内存降低,支持更长上下文处理。
2024-08-14 cs.AI cs.CL
VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning
Alibaba DAMO Academy(阿里巴巴达摩院)
本文提出VECO 2.0跨语言预训练模型,通过句子级和词元级多粒度对比学习对齐双语语料,在XTREME基准上验证了其有效性。
2023-04-17 cs.CL
Zero-shot Sequence Labeling for Transformer-based Sentence Classifiers
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院)
我们研究如何在没有任何直接监督的情况下,在令牌级别将并行级Transformers修改为有效的序列标记器。当应用于基于变换器的架构时,用于zero-shot序列标记的现有方法不能很好地执行。由于Transformers包含多层多头自我注意,句子中的信息会分布在许多标记之间,从而对zero-shot标记级性能产生负面影响。我们发现,一个软的注意力模块,明确鼓励关注权重的锐度可以显着优于现有的方法。
2021-06-08 cs.AI cs.CL
A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);City University of Hong Kong(香港城市大学);Peking University(北京大学)
对比学习在无监督的句子嵌入任务中显示出巨大的潜力,例如,SimCSE。然而,我们发现,这些现有的解决方案是严重影响的表面特征,如句子的长度或句法结构。在本文中,我们提出了一个语义感知的句子嵌入对比学习框架,称为伪令牌BERT(PT-BERT),它能够利用伪令牌空间(即,潜在语义空间)表示,同时消除诸如句子长度和句法的表面特征的影响。具体来说,我们引入了一个独立于BERT编码器的额外的伪令牌嵌入层,以将每个句子映射到固定长度的伪令牌序列中。利用这些伪序列,我们能够基于注意力机制构造相同长度的正对和负对来执行对比学习。此外,我们利用梯度更新和动量更新编码器来编码实例,同时动态地维护一个额外的队列来存储句子嵌入的表示,提高编码器的学习性能的负面的例子。实验表明,我们的模型优于国家的最先进的基线上六个标准的语义文本相似性(STS)的任务。此外,对齐和一致性损失的实验,以及不同句子长度和语法的硬例子,一致验证了我们的方法的有效性。
2022-03-11 cs.CL
Mechanistic Decomposition of Sentence Representations
针对句子嵌入内部结构不可解释的问题,本文提出基于token级字典学习的机制性分解方法,以揭示池化过程及嵌入中的语义、句法潜在特征。
2025-06-10 cs.AI cs.CL
Comparing Variation in Tokenizer Outputs Using a Series of Problematic and Challenging Biomedical Sentences
University of Toronto(多伦多大学);ICES(ICES(临床评估科学研究所));Dalla Lana School of Public Health(达拉拉纳公共卫生学院)
本研究比较了八种分词器在24个挑战性生物医学句子上的输出,发现存在细微差异,尤其影响具有生物医学意义的词汇,如x-ray和IL-10。
2023-05-15 cs.CL
Think in Sentences: Explicit Sentence Boundaries Enhance Language Model's Capabilities
Department of Computer Science and Engineering(计算机科学与工程系)
本文通过在语言模型输入中插入句子边界分隔符,提升其处理能力,实验显示在GSM8k和DROP任务上分别提升7.7%和12.5%。
2026-04-15 cs.AI cs.CL
Perturbations and Subpopulations for Testing Robustness in Token-Based Argument Unit Recognition
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Eindhoven University of Technology(埃因霍温理工大学)
论元单元识别与分类的目的是从文本中识别出论元单元,并将其分类为赞成或反对。在开发用于此任务的系统时,需要做出的设计选择之一是分类单位应该是什么:标记片段或完整句子。先前的研究表明,与直接对句子进行训练相比,在标记级别上微调语言模型可以产生更强大的句子分类结果。我们重现了最初提出这一主张的研究,并进一步研究了与基于令牌的系统相比,基于令牌的系统究竟能更好地学习什么。我们开发了系统的测试,用于分析基于令牌和基于令牌的系统之间的行为差异。我们的研究结果表明,基于令牌的模型通常比基于令牌的模型更强大的手动扰动的例子和特定的子群体的数据。
2022-09-29 cs.CL
Mask the Correct Tokens: An Embarrassingly Simple Approach for Error Correction
Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音)
文本纠错的目的是纠正文本序列中的错误,例如由人类键入或由语音识别模型生成的文本序列。以往的纠错方法通常将源(错误)句子作为编码器输入,通过解码器生成目标(正确)句子。由于不正确句子的出错率通常较低(例如,10%),纠错模型只能学习对有限的错误标记进行纠错,而对大多数标记(正确标记)进行简单的复制,这不利于纠错的有效训练。在本文中,我们认为应该更好地利用正确的标记来促进有效的训练,然后提出一个简单而有效的掩蔽策略来实现这一目标。具体来说,我们随机屏蔽掉源句子中的一部分正确标记,让模型学习不仅纠正原始错误标记,还根据它们的上下文信息预测被屏蔽的标记。我们的方法有几个优点:1)它简化了琐碎的副本; 2)它利用了来自正确令牌的有效训练信号; 3)它是一个即插即用模块,可以应用于不同的模型和任务。在汉语数据集上的拼写错误纠正和语音识别错误纠正以及英语数据集上的语法错误纠正实验表明,该方法在自回归和非自回归生成模型下均能提高纠正精度。
2022-11-23 cs.AI cs.CL
A Token-wise CNN-based Method for Sentence Compression
The Australian National University(澳大利亚国立大学);Data61/CSIRO(澳大利亚联邦科学与工业研究组织数据61中心);University of Turku(图尔库大学)
句子压缩是一项自然语言处理(NLP)任务,旨在缩短原始句子并保留其关键信息。它的应用可以使许多领域受益,例如可以构建语言教育工具。然而,目前的方法主要是基于递归神经网络(RNN)模型,其具有较差的处理速度。为了解决这个问题,在本文中,我们提出了一个令牌式卷积神经网络,一个基于CNN的模型,以及预训练的双向编码器表示Transformers(BERT)功能,用于基于删除的句子压缩。我们还将我们的模型与基于RNN的模型和微调的BERT进行了比较。虽然其中一个基于RNN的模型在相同输入下的性能略优于其他模型,但我们基于CNN的模型比基于RNN的方法快十倍。
2020-09-23 cs.CL
Contextual trajectory and incremental contextual displacement: Towards using LLMs to understand dynamic, utterance-specific meaning construction
University of Vermont(佛蒙特大学);Vermont Complex Systems Institute(佛蒙特复杂系统研究所)
本文提出逐标记增量轨迹方法,通过反复计算上下文词嵌入来追踪话语展开过程,在花园路径句上验证其能区分歧义句并揭示话语级信息分布,为利用LLM研究动态意义构建提供了新框架。
2026-10-02 cs.AI cs.CL
Rethinking the Understanding Ability across LLMs through Mutual Information
Department of Industrial and Systems Engineering(工业与系统工程系);University of Houston(休斯敦大学);Bakar Computational Health Sciences Institute(巴卡计算健康科学研究所);UCSF
提出基于互信息(MI)的框架评估大语言模型理解能力,通过token级可恢复性任务发现编码器模型信息保真度更高,并证明最大化可恢复性可提升模型理解能力。
2025-05-25 cs.AI cs.CL
Narrative Incoherence Detection
The Chinese University of Hong Kong(香港中文大学);Microsoft Research, Redmond(微软研究院(雷德蒙德));Center for Theoretical Physics, Massachusetts Institute of Technology(麻省理工学院理论物理中心)
我们提出了叙事不连贯检测的任务,作为一个新的领域间语义理解:给定一个多句子的叙事,判断是否存在任何语义差异的叙事流。具体来说,我们专注于缺句和不一致句的检测。尽管设置简单,但这项任务具有挑战性,因为模型需要理解和分析多句叙述,并预测句子层面的不连贯。作为完成这项任务的第一步,我们实现了几个基线,无论是直接分析原始文本(\textit{token-level})还是分析学习的句子表示(\textit{sentence-level})。我们观察到,当输入包含较少的句子时,令牌级建模具有更好的性能,而话语级建模在较长的叙述中表现更好,并且在效率和灵活性方面具有优势。大规模数据的预训练和辅助句子预测训练目标进一步提高了句子级模型的检测性能。
2021-04-15 cs.AI cs.CL
Memory Tokens: Large Language Models Can Generate Reversible Sentence Embeddings
Instituto de Computación, Facultad de Ingeniería, Universidad de la República(计算机研究所,工程学院,乌拉圭共和国大学)
本研究通过引入记忆令牌,使大语言模型能够生成可逆的句子嵌入,实现对原始文本的精确重建,展示了LLM在记忆检索与文本生成中的新能力。
2025-06-17 cs.AI cs.CL cs.LG
Sentence-Level or Token-Level? A Comprehensive Study on Knowledge Distillation
Shenyang Institute of Computing Technology, Chinese Academy of Sciences(中国科学院沈阳计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学)
本研究通过改变模型大小、文本复杂度等系统分析句子级与词元级知识蒸馏的适用场景,并提出基于门控机制的混合方法,显著提升了蒸馏性能。
2024-04-23 cs.CL
Zero-shot Sequence Labeling: Transferring Knowledge from Sentences to Tokens
The ALTA Institute(ALTA研究所);Computer Laboratory(计算机实验室);University of Cambridge(剑桥大学);United Kingdom(英国);CoAStaL DIKU(CoAStaL DIKU(此处“DIKU”为丹麦哥本哈根大学计算机科学系缩写,按原文保留));Department of Computer Science(计算机科学系);University of Copenhagen(哥本哈根大学);Denmark(丹麦)
基于注意力或梯度的可视化技术是否可以用于推断二进制序列标记问题的标记级别标签,使用仅在标记级别标签上训练的网络?我们构建了一个基于软注意力的神经网络架构,训练它作为一个二元句子分类器,并在四个不同的数据集上对标记级注释进行评估。从网络中推断令牌标签提供了一种方法,用于定量评估模型正在学习的内容,以及在辅助系统中生成有用的反馈。我们的研究结果表明,与基于梯度的方法相比,基于注意力的方法能够更准确地预测标记级别的标签,有时甚至可以与有监督的Oracle网络相媲美。
2018-05-06 cs.CL cs.LG cs.NE
SentenceKV: Efficient LLM Inference via Sentence-Level Semantic KV Caching
Department of Computer Science Rensselaer Polytechnic Institute(计算机科学系,罗切斯特理工学院);Department of Computer Science University of Waterloo(计算机科学系,滑铁卢大学)
针对长上下文 LLM 的 KV 缓存开销问题,提出 SentenceKV,以句子级语义向量驻留 GPU、KV 对卸载 CPU 并按需检索,实现更低内存与更稳延迟。
2025-09-29 cs.AI cs.CL cs.LG
Modeling Language as a Sequence of Thoughts
Stanford University(斯坦福大学)
TG模型通过递归变换器在token和句子级抽象建模语言,提升数据和参数效率,减少关系方向泛化错误。
2026-01-12 cs.AI cs.CL
Open Information Extraction via Chunks
Nanyang Technological University(南洋理工大学);A*STAR Centre for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心)
针对现有开放信息抽取(OIE)基于词元的范式局限,提出将句子视为组块序列(SaC)的思路,结合基于BERT的组块模型构建Chunk-OIE,在多个数据集上取得SOTA结果,验证了组块范式对OIE任务的有效性。
2023-05-05 cs.AI cs.CL
Jointly Learning to Label Sentences and Tokens
The ALTA Institute(阿尔塔研究所);University of Cambridge(剑桥大学);CoAStaL DIKU(哥本哈根大学计算语言学与自然语言处理中心);University of Copenhagen(哥本哈根大学)
学习在端到端系统中构建文本表示可能很困难,因为自然语言是高度组合的,并且特定于任务的注释数据集通常大小有限。直接监督语言组成的方法可以让我们根据现有知识指导模型,将它们规则化,使其更健壮和可解释的表示。在本文中,我们研究了如何使用不同粒度的目标来学习更好的语言表示,并提出了一种用于联合学习标记句子和标记的架构。每个级别的预测都使用注意力机制组合在一起,标记级别的标签也作为组成标记级别表示的显式监督。我们的实验表明,通过学习在多个级别上联合执行这些任务,该模型在句子分类和序列标记方面都取得了实质性的改进。
2018-11-14 cs.CL cs.LG cs.NE
Sentence-Level Contextual Entrainment in Large Language Models
Kyoto University(京都大学)
研究大型语言模型中句子级上下文嵌入现象,发现提示中的句子(包括反事实陈述)会显著增加其推理概率,且该现象随模型增大而减弱,通过关闭2%-4%的注意力头可缓解而不影响性能。
2026-06-24 cs.CL
Sticking to the Mean: Detecting Sticky Tokens in Text Embedding Models
Zhejiang University(浙江大学);Quantstamp;Huzhou Institute of Industrial Control Technology(湖州工业控制技术研究院)
本文定义并检测文本嵌入模型中的粘性 token,提出 STD 方法,在 14 个模型系列的 40 个检查点中发现 868 个异常 token,并揭示其来源、注意力主导机制及对聚类和检索最高 50% 的性能损害。
2025-07-24 cs.AI cs.CL
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology(华南理工大学);School of Computer Science and Engineering(计算机科学与工程学院)
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题,提出SARCSE框架,通过自编码器重构全部词元并引入自适应重构损失,在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
Enhancing Uncertainty Modeling with Semantic Graph for Hallucination Detection
Xiaohongshu Inc.(小红书科技有限公司)
本文提出一种利用语义图增强不确定性建模的幻觉检测方法,通过构建实体与句子关系图进行不确定性传播与校准,在段落级幻觉检测上提升19.78%。
2025-04-05 cs.AI cs.CL
On Isotropy, Contextualization and Learning Dynamics of Contrastive-based Sentence Representation Learning
Durham University(杜伦大学)
本文从各向同性、语境化和学习动态角度分析对比学习在句子表示学习中的作用机制,揭示其促进表示各向同性、提高句内相似性并缓解虚假语境化,为未来方法设计提供依据。
2023-05-26 cs.AI cs.CL
Latent Reasoning via Sentence Embedding Prediction
KAIST(韩国科学技术院);Carnegie Mellon University(卡内基梅隆大学);University College London(伦敦大学学院);LG AI Research(LG人工智能研究)
本研究提出一种通过自回归预测下一句连续嵌入使预训练语言模型在句子空间进行潜在推理的框架,实验表明连续推理下的上下文嵌入性能媲美CoT且推理时FLOPs减半。
2025-10-11 cs.AI cs.CL
Pre-trained Token-replaced Detection Model as Few-shot Learner
Soochow University(苏州大学)
预训练的掩蔽语言模型已经证明了作为Few-Shot学习者的卓越能力。在本文中,作为一种替代方案,我们提出了一种新的方法来少样本学习与预先训练的令牌替换检测模型,如ELECTRA。在这种方法中,我们将分类或回归任务重新表述为标记替换检测问题。具体来说,我们首先为每个任务定义一个模板和标签描述词,并将它们放入输入中,形成一个自然语言提示。然后,我们采用预先训练的标记替换检测模型来预测哪个标签描述词是最原始的(即,最少替换)。在16个数据集上的系统评估表明,我们的方法在单句和两句学习任务中的性能优于使用预先训练的掩蔽语言模型的Few-Shot学习者。
2023-03-21 cs.AI cs.CL
Detecting Label Errors in Token Classification Data
Cleanlab;MIT(麻省理工学院)
错误标记的示例是真实世界数据中的常见问题,特别是对于像令牌分类这样的任务,其中必须在细粒度的基础上选择许多标签。在这里,我们考虑在标记分类数据集中找到包含标签错误的句子的任务。我们研究了11种不同的直接方法,这些方法基于(任何)令牌分类模型(通过任何程序训练)输出的预测类概率对令牌/句子进行评分。在精确召回评估的基础上,在现实世界中的标签错误的实体识别数据从CoNLL-2003,我们确定了一个简单而有效的方法,一贯检测这些句子时,应用不同的标记分类模型包含标签错误。
2022-10-08 cs.CL cs.LG
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool(利物浦大学);Amazon(亚马逊)
在NLP社区中已经提出了各种上下文化的语言模型,这些模型在不同的语料库上训练以产生许多神经语言模型(NLM)。然而,不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法,该方法采用独立训练的上下文化词嵌入模型,并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的,并且不与特定的下游任务绑定,这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说,我们首先投影由各个NLM获得的令牌级嵌入,并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来,我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明,我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
FusionBrain Lab, AXXX(融合大脑实验室,AXXX);T-Tech;MSU(莫斯科大学);DS-NLP Group, AXXX(自然语言处理组,AXXX)
提出SONAR-LLM,一种在连续SONAR嵌入空间“思考”但通过令牌级交叉熵监督的解码器-only Transformer,融合语义抽象与似然训练信号,在39M至1.3B参数规模上取得有竞争力的生成质量。
2026-05-25 cs.CL
Exploring the Role of BERT Token Representations to Explain Sentence Probing Results
Tehran Institute for Advanced Studies(德黑兰高级研究所);Khatam University(哈塔姆大学);Iran University of Science and Technology(伊朗科技大学)
关于BERT所捕捉的语言特征的研究已经展开。这通常通过在从BERT的不同层获得的表示上训练诊断分类器来实现。随后的分类精度被解释为模型编码相应语言属性的能力。尽管这些研究提供了一些见解,但它们忽略了符号表征的潜在作用。在本文中,我们提供了一个更深入的分析BERT在搜索不同的和有意义的子空间,可以解释这些探测结果背后的原因的表示空间。基于一组探测任务和归因方法的帮助下,我们表明,BERT倾向于编码有意义的知识在特定的令牌表示(这往往被忽略在标准的分类设置),允许该模型检测句法和语义异常,并区分语法数和时态子空间。
2021-09-11 cs.CL
Tiny Transformers Excel at Sentence Compression
ETH Zurich(苏黎世联邦理工学院)
本研究针对大语言模型token存储开销大的问题,验证了1-3层小型Transformer可将标准英语句子编解码为单个3千字节的token,证明小型网络能构建有效英语句子,为大模型优化提供了转向更大文本片段嵌入的新思路。
2024-10-30 cs.CL cs.LG
Testing the assumptions about the geometry of sentence embedding spaces: the cosine measure need not apply
Idiap Research Institute(Idiap研究机构);University of Geneva(日内瓦大学)
本研究通过三种方式生成句子嵌入并开展实验,发现句子嵌入空间的几何结构(如余弦相似度)无法预测其任务表现,语言信息实际编码在维度加权组合中,打破了嵌入邻近性对应语义相似的默认假设。
2025-09-01 cs.CL
Improved Sentence Modeling using Suffix Bidirectional LSTM
IBM Research AI(IBM研究院人工智能部门)
递归神经网络在计算序列数据的表示中已经变得无处不在,特别是在自然语言处理中的文本数据。特别是,双向LSTM是几个神经模型的核心,在NLP的各种任务中实现了最先进的性能。然而,BiLSTM被称为遭受顺序偏差-令牌的上下文表示受到句子中接近它的令牌的严重影响。我们对BiLSTM模型提出了一种通用且有效的改进,该模型在正向和反向方向上对令牌序列的每个后缀和前缀进行编码。我们称这个模型为Suffix Bidirectional LSTM或SubiLSTM。这引入了有利于长范围依赖性的替代偏差。我们将SubiLSTM应用于几个需要句子建模的任务。我们证明了在现有模型中使用SubiLSTM而不是BiLSTM可以提高学习一般句子表示,文本分类,文本蕴涵和释义检测的性能。使用SuBiLSTM,我们实现了细粒度情感分类和问题分类的最新结果。
2018-09-10 cs.AI cs.CL cs.LG
Template-assisted Contrastive Learning of Task-oriented Dialogue Sentence Embeddings
Stanford University(斯坦福大学);Zhejiang University(浙江大学);Alibaba Qwen Pilot(阿里巴巴Qwen Pilot)
本文提出TaDSE方法,利用模板信息通过自监督对比学习学习对话句嵌入,通过合成数据集增强效果,并在五个对话基准数据集上验证了其有效性。
2026-04-12 cs.AI cs.CL
BERT4SO: Neural Sentence Ordering by Fine-tuning BERT
Université de Montréal(蒙特利尔大学);School of Information, Renmin University of China(中国人民大学信息学院);Mila - Québec Artificial Intelligence Institute(米拉-魁北克人工智能研究所)
句子排序的目的是将给定文本的句子以正确的顺序排列。最近的工作将其视为一个排名问题,并将深度神经网络应用于其中。在这项工作中,我们提出了一种名为BERT 4SO的新方法,通过微调BERT进行句子排序。我们连接所有句子并通过使用多个特殊标记和精心设计的段(区间)嵌入来计算它们的表示。跨多个句子的标记可以相互关注,这大大增强了它们的交互。我们还提出了一个基于边际的列表排序损失的基础上ListMLE,以促进优化过程。在五个基准数据集上的实验结果证明了该方法的有效性。
2021-05-12 cs.CL