Classifying Dominant Temporal Orientation without Pretrained Text Embeddings: A Novel Morphosyntactic Inventory Vector Approach
Interdisciplinary Center for Innovative Theory and Empirics, Columbia University（哥伦比亚大学创新理论与实证跨学科中心）；Department of Sociology, Columbia University（哥伦比亚大学社会学系）
提出一种无需预训练嵌入的形态句法库存向量方法，通过词性、依存和将来模式计数编码句子，在1799个复杂句上实现92%的多类时态分类准确率。
2026-09-29 cs.CL
ConvFiT: Conversational Fine-Tuning of Pretrained Language Models
基于转换器的语言模型（LM）在大型文本集合上进行预训练，已被证明可以存储大量的语义知识。然而，1）当现成使用时，它们作为句子编码器不是有效的，并且2）因此通常落后于会话预训练（例如，经由响应选择）编码器对诸如意图检测（ID）之类的会话任务进行编码。在这项工作中，我们提出了ConvFiT，一个简单而有效的两阶段过程，将任何预先训练的LM变成通用的会话编码器（第1阶段ConvFiT-ing之后）和任务专用的句子编码器（第2阶段之后）。我们证明了：1）不需要全面的会话预训练，LM可以快速转换为有效的会话编码器，只需少量的未注释数据; 2）预训练的LM可以微调为任务专用的句子编码器，针对特定任务的细粒度语义进行优化。因此，这种专门的句子编码器允许将ID视为基于可解释的最近邻检索的简单语义相似性任务。我们通过对标准ID评估集进行基于相似性的推断来验证ConvFiT框架的鲁棒性和多功能性：ConvFiT的LM全面实现了最先进的ID性能，在最具挑战性的Few-Shot设置中具有特别的增益。
2021-09-21 cs.CL
Extracting Latent Steering Vectors from Pretrained Language Models
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Arrive Bio（Arrive Bio（阿里夫生物））
关于可控文本生成的先前工作集中于学习如何通过可训练解码、智能提示设计或基于期望目标的微调来控制语言模型。我们假设引导模型生成目标句子所需的信息已经编码在模型中。因此，我们探索了一种完全不同的方法：直接从预训练的语言模型解码器中提取潜在向量，而无需微调。实验表明，存在导向向量，当将其添加到语言模型的隐藏状态时，为来自各种领域的英语句子几乎完美地（> 99 BLEU）生成目标句子。我们表明，向量算法可用于Yelp情感基准的无监督情感转移，其性能与针对此任务定制的模型相当。我们发现，导向向量之间的距离反映句子的相似性时，评估的文本相似性基准（STS-B），优于合并隐藏状态的模型。最后，我们提出了一个分析的内在属性的导向矢量。综上所述，我们的研究结果表明，冻结LM可以有效地控制通过其潜在的转向空间。
2022-05-10 cs.AI cs.CL cs.LG
Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo（滑铁卢大学）
在英语语义相似性任务中，经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念，而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中，我们假设，引入一个明确的，受约束的成对词的相互作用机制，预训练的语言模型，提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设，在语义文本相似性和答案句子选择。我们表现出一致的质量改进，通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement
Idiap Research Institute（伊迪亚普研究所）；University of Geneva（日内瓦大学）
本文通过新的多项选择任务和Blackbird Language Matrices数据集，采用两级架构研究多语言预训练语言模型的句法表征，发现其存在语言特异性差异，句法结构在密切相关语言间也不共享。
2024-11-29 cs.CL
Active Sentence Learning by Adversarial Uncertainty Sampling in Discrete Space
ByteDance AI Lab（字节跳动人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
句子理解的主动学习旨在发现信息丰富的未标记数据进行注释，从而减少对标记数据的需求。我们认为，典型的主动学习的不确定性抽样方法是耗时的，很难实时工作，这可能会导致无效的样本选择。我们提出了离散空间中的对抗性不确定性采样（AUSDS），以更有效地检索信息丰富的未标记样本。AUSDS将句子映射到由流行的预训练语言模型生成的潜在空间中，并通过对抗攻击发现信息丰富的未标记文本样本进行注释。与传统的不确定性采样方法相比，该方法具有超过10倍的加速比。在五个数据集上的实验结果表明，AUSDS的有效性优于强基线。
2020-10-28 cs.CL cs.LG
Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出了TGEA，首个针对预训练语言模型生成文本的全面错误标注数据集，涵盖24种错误类型，并基于此构建了错误检测、分类等基准任务以促进自动错误诊断与纠正研究。
2025-03-06 cs.CL
ParaLS: Lexical Substitution via Pretrained Paraphraser
Yangzhou University（扬州大学）
ParaLS提出利用预训练释义器生成词汇替换候选，通过两种解码策略保持句子意义，在三个基准上超越现有最先进方法。
2023-05-14 cs.AI cs.CL
Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models
Columbia University（哥伦比亚大学）；Intel Labs（英特尔实验室）；MIT-IBM Watson AI（MIT-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
虽然来自预训练语言模型的基于向量的语言表示为许多NLP任务设定了新标准，但尚未对其内部工作原理进行完整的解释。特别是，我们还不完全清楚这些表示捕捉了哪些方面的语法，也不清楚它们是如何（如果有的话）沿着网络的堆叠层构建的。在本文中，我们的目标是解决这样的问题与一般类的干预，输入扰动为基础的分析表示从预训练的语言模型。从计算和认知神经科学的表征不变性的概念，我们进行了一系列的探测器设计，以测试这些表征的几种结构的句子的敏感性。每一个探测都涉及交换句子中的单词，并将扰动句子的表征与原始句子进行比较。我们用三种不同的扰动进行实验：（1）随机排列不同宽度的n-gram，以测试表征对单词位置敏感的程度;（2）交换两个跨度，它们形成或不形成句法短语，以测试对全局短语结构的敏感性;以及（3）交换两个相邻的词，它们分开或不分开句法短语，以测试对局部短语结构的敏感性。这些探测的结果共同表明，Transformers沿着它们的层建立对句子较大部分的敏感性，并且层次短语结构在这个过程中起着作用。更广泛地说，我们的研究结果还表明，结构化输入扰动扩大了可以在通常不透明的深度学习系统上执行的分析范围，并且可以作为现有工具（如监督线性探针）的补充，用于解释复杂的黑盒模型。
2021-04-15 cs.CL
CERT: Contrastive Self-supervised Learning for Language Understanding
UC San Diego（加州大学圣迭戈分校）；VMware（威睿公司）
预训练的语言模型如BERT、GPT在语言理解中表现出很好的效果。现有的预训练方法中的辅助预测任务大多定义在令牌上，因此可能无法很好地捕获事件级语义。为了解决这个问题，我们提出了CERT：来自Transformers的对比自监督编码器表示，它使用句子级别的对比自监督学习来预训练语言表示模型。CERT使用回译创建原始句子的扩充。然后，它微调预训练的语言编码器（例如，BERT）通过预测两个增强的句子是否源自同一个句子。CERT使用简单，可以灵活地插入任何预训练-微调NLP管道。我们在GLUE基准测试中对CERT在11个自然语言理解任务上进行了评估，其中CERT在7个任务上优于BERT，在2个任务上达到了与BERT相同的性能，在2个任务上表现不如BERT。在11个任务的平均得分上，CERT优于BERT。数据和代码可在https://github.com/UCSD-AI4H/CERT上获得
2020-06-18 cs.CL cs.LG stat.ML
UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction
University Politehnica of Bucharest（布加勒斯特理工大学）
这项工作介绍了我们在SemEval-2020的第六个任务的背景下的贡献：从教科书中的自由文本中提取定义（DeftEval）。该竞赛由三个具有不同粒度水平的子任务组成：（1）将句子分类为定义性或非定义性，（2）标记定义性句子，以及（3）关系分类。我们使用各种预训练的语言模型（即，BERT、XLNet、RoBERTa、Sci BERT和AL BERT）来解决竞赛的三个子任务中的每一个。具体来说，对于每个语言模型变体，我们通过冻结其权重并对其进行微调来进行实验。我们还探索了一个多任务架构，该架构经过训练，可以联合预测第二和第三个子任务的输出。我们在DeftEval数据集上评估的表现最好的模型获得了第一个子任务的第32位和第二子任务的第37位。该代码可在https://github.com/avramandrei/DeftEval上进行进一步研究。
2020-09-16 cs.AI cs.CL cs.IR
General Cross-Architecture Distillation of Pretrained Language Models into Matrix Embeddings
Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；University of Ulm（乌尔姆大学）
大型预训练语言模型（PreLM）正在所有基准测试中彻底改变自然语言处理。然而，它们的庞大规模对于小型实验室或在移动设备上的部署来说是令人望而却步的。修剪和蒸馏等方法可以减小模型大小，但通常保留相同的模型架构。相比之下，我们探索将PreLM提取到一个不同的，更有效的架构中，即连续字乘法（CMOW），它将每个字嵌入为矩阵，并使用矩阵乘法来编码序列。我们扩展了CMOW架构及其CMOW/CBOW-Hybrid变体，其中包含双向组件以获得更强的表达能力，预训练期间用于一般（任务不可知）蒸馏的每个令牌表示，以及促进句子对下游任务的双序列编码方案，例如句子相似性和自然语言推理。我们的基于矩阵的双向CMOW/CBOW-Hybrid模型在问题相似度和识别文本蕴涵方面与DistilBERT具有竞争力，但仅使用一半的参数，并且在推理速度方面快三倍。除了情感分析任务SST-2和语言可接受性任务CoLA之外，我们匹配或超过了GLUE基准的所有任务的ELMo分数。然而，与以前的跨架构蒸馏方法相比，我们在检测语言可接受性方面的得分增加了一倍。这表明基于矩阵的嵌入可以用于将大型PreLM提取为竞争模型，并激励在此方向上进行进一步的研究。
2022-07-28 cs.CL cs.LG
Unsupervised Domain Clusters in Pretrained Language Models
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
在NLP中，“域内数据”的概念往往过于简单和模糊，因为文本数据在许多细微的语言方面（如主题，风格或正式程度）都有所不同。此外，域标签在很多时候是不可用的，这使得构建特定于域的系统具有挑战性。我们表明，大规模预训练的语言模型在没有监督的情况下隐式学习按域聚集的句子表示--这表明文本数据中的域的简单数据驱动定义。我们利用这个属性，并提出域数据选择方法的基础上，这样的模型，只需要一个小的一组域单语数据。我们在五个不同的领域评估了我们的神经机器翻译数据选择方法，在这些领域中，它们的表现优于通过BLEU以及相对于Oracle的句子选择的精确度和召回率来衡量的既定方法。
2020-05-01 cs.CL
Latent Reasoning via Sentence Embedding Prediction
KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；University College London（伦敦大学学院）；LG AI Research（LG人工智能研究）
本研究提出一种通过自回归预测下一句连续嵌入使预训练语言模型在句子空间进行潜在推理的框架，实验表明连续推理下的上下文嵌入性能媲美CoT且推理时FLOPs减半。
2025-10-11 cs.AI cs.CL
Discourse Probing of Pretrained Language Models
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
现有的预训练语言模型（LM）的探测工作主要集中在句子级别的句法任务。在本文中，我们引入文档级话语探测来评估预先训练的LM捕捉文档级关系的能力。我们用7种预训练的LM、4种语言和7种话语探测任务进行了实验，发现BART是捕捉话语的最佳模型--但仅在编码器方面，BERT的表现令人惊讶地好于基线模型。在不同的模型中，哪一层最好地捕捉话语信息存在很大差异，模型之间存在很大差异。
2021-04-13 cs.CL
Quantitative Measurement of Language Distance among Closely Related Indo-European Languages Using Pretrained Language Models: A Case Study on the North Germanic Branch
Guangdong Haiqixing Marine Technology Co., Ltd.（广东海启星海洋科技有限公司）
本文提出基于预训练语言模型的三种度量框架，定量测量丹麦语、挪威语和瑞典语的语言距离，结果与历史语言学结论一致，为近亲语言距离研究提供可复现计算框架。
2026-09-29 cs.CL
Long Document Summarization in a Low Resource Setting using Pretrained Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Goldman Sachs（高盛）
摘要是将长文档压缩成连贯的短文档，同时保留显著信息的任务。现代抽象摘要方法基于深度神经网络，其通常需要大的训练数据集。由于收集摘要数据集是一项昂贵且耗时的任务，因此实际的工业环境通常资源较少。在本文中，我们研究了一个具有挑战性的低资源设置，总结长的法律摘要，平均源文件长度为4268字，只有120个可用（文件，摘要）对。为了解释数据稀缺性，我们使用了一个现代的预先训练的抽象摘要器BART（Lewis等人，2020年），它只达到17.9 ROUGE-L，因为它与长文档作斗争。因此，我们尝试通过使用基于GPT-2的新颖算法（Radford等人，2019）语言模型困惑分数，其在低资源范围内操作。在将压缩文档馈送到BART时，我们观察到6.0 ROUGE-L的改进。我们的方法还击败了几个竞争性的显着性检测基线。此外，所识别的突出句子往往同意由领域专家的独立的人类标记。
2021-03-01 cs.CL
SciBERT: A Pretrained Language Model for Scientific Text
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
为科学领域的NLP任务获取大规模注释数据是具有挑战性和昂贵的。我们发布了SciBERT，一种基于BERT的预训练语言模型（Devlin et al.，2018年），以解决缺乏高质量，大规模的标记科学数据。SciBERT利用大型多领域科学出版物语料库的无监督预训练来提高下游科学NLP任务的性能。我们评估了一套任务，包括序列标记，句子分类和依存句法分析，从各种科学领域的数据集。我们证明了统计上显着的改进，超过BERT，并实现了新的国家的最先进的结果，这些任务。代码和预训练模型可在https://github.com/allenai/scibert/上获得。
2019-09-10 cs.CL
CDAE: Enhancing Perturbation Robustness in Pretrained Language Models with Contrastive Denoising
Institude for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）
本研究针对预训练语言模型词嵌入对保留语义的文本扰动敏感的问题，提出CDAE模型，经多强度扰动策略对比实验，证实其能提升扰动下的嵌入相似度与表示稳定性。
2026-10-19 cs.AI cs.CL
Multilingual Lexical Simplification via Paraphrase Generation
Yangzhou University（扬州大学）；University of South Florida（南佛罗里达大学）
本文提出一种基于复述生成的多语言词汇简化方法，将复述视为零样本翻译任务，通过仅关注复杂词词汇变化的新颖解码策略生成替代词，在英语、西班牙语和葡萄牙语上显著优于BERT和零样本GPT3方法。
2023-07-28 cs.CL
Evaluating Document Coherence Modelling
The University of Melbourne（墨尔本大学）；AI Lab at ByteDance（字节跳动AI实验室）
虽然预训练的语言模型（“LM”）在形态句法和语义任务上取得了令人印象深刻的进展，但它们对话语和语用现象建模的能力却不太清楚。作为更好地了解他们的话语建模能力的一步，我们提出了一个句子入侵检测任务。我们研究了广泛的预训练LM在英语检测任务上的表现。由于缺乏用于该任务的数据集，我们引入了INSteD，这是一种新颖的入侵者句子检测数据集，包含从英文维基百科和CNN新闻文章构建的170，000多个文档。我们的实验表明，预训练的LM在域内评估中表现令人印象深刻，但在跨域设置中出现大幅下降，表明泛化能力有限。在一个新的语言探针数据集上的进一步结果表明，有很大的改进空间，特别是在跨域设置。
2021-03-18 cs.AI cs.CL
Reweighting Strategy based on Synthetic Data Identification for Sentence Similarity
KAIST AI（韩国科学技术院人工智能学院）；Letsur
语义上有意义的句子嵌入对于自然语言处理中的许多任务都很重要。为了获得这样的嵌入，最近的研究探索了利用从预训练的语言模型（PLM）作为训练语料库的综合生成的数据的想法。然而，PLM生成的句子往往与人写的句子大不相同。我们假设，在训练深度神经网络时，平等地对待所有这些合成示例可能会对学习语义上有意义的嵌入产生不利影响。为了分析这一点，我们首先训练一个识别机器写的句子的分类器，并观察到被识别为机器写的句子的语言特征与人类写的句子的语言特征显著不同。基于此，我们提出了一种新的方法，首先训练分类器来衡量每个句子的重要性。然后，从分类器提取的信息用于训练可靠的句子嵌入模型。通过对四个真实世界数据集的广泛评估，我们证明了我们在合成数据上训练的模型具有良好的泛化能力，并且优于现有的基线。我们的实现可以在https://github.com/ddehun/coling2022_reweighting_sts上公开获得。
2022-08-30 cs.CL
BottleSum: Unsupervised and Self-supervised Sentence Summarization using the Information Bottleneck Principle
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
信息瓶颈（Tishby et al. 1999）的原理是产生一个信息X的摘要，以预测其他一些相关信息Y。在本文中，我们提出了一种新的无监督句子摘要方法，通过将信息瓶颈原则映射到条件语言建模目标：给定一个句子，我们的方法寻求一个压缩的句子，可以最好地预测下一个句子。我们的迭代算法下的信息瓶颈目标搜索逐渐较短的连续性给定的句子，同时最大限度地提高下一个句子的概率条件下的摘要。只使用预训练的语言模型，没有直接的监督，我们的方法可以有效地执行提取句子摘要在一个大的语料库。在我们的无监督提取摘要（BottleSumEx）的基础上，我们提出了一种新的自监督抽象摘要方法（BottleSumSelf），其中基于transformer的语言模型在我们的无监督方法的输出摘要上进行训练。实证结果表明，我们的提取方法优于其他无监督模型的多个自动度量。此外，我们发现我们的自监督抽象模型在多个属性上的人类评估优于无监督基线（包括我们自己的）。
2019-09-20 cs.CL
SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression
National Technical University of Athens（雅典国立技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；Heriot-Watt University（赫瑞-瓦特大学）
神经序列到序列模型是目前在几个自然语言处理任务中占主导地位的方法，但需要大型并行语料库。我们提出了一个序列到序列到序列的自动编码器（SEQ ^3），由两个链式编码器-解码器对组成，单词用作离散潜在变量的序列。我们将该模型应用于无监督抽象句压缩，其中第一个和最后一个序列分别是输入和重构的句子，而中间序列是压缩的句子。限制潜在单词序列的长度迫使模型从输入中提取重要信息。预先训练的语言模型作为潜在序列的先验，鼓励压缩的句子是人类可读的。连续松弛使我们能够从分类分布中采样，允许基于梯度的优化，而不像依赖于强化学习的替代方案。该模型不需要并行的文本摘要对，在基准数据集上的无监督句子压缩中取得了令人满意的结果。
2019-06-09 cs.CL
Exploring Italian sentence embeddings properties through multi-tasking
Idiap Research Institute（伊迪亚普研究所）；University of Geneva（日内瓦大学）
该研究在多任务设置下探究现有大型语言模型对意大利语句向量中抽象语言信息的编码程度，利用意大利语黑鸟语言矩阵合成数据，通过两级架构分析句法语义编码特性，发现不同任务线索编码方式存在差异。
2024-11-29 cs.CL
Pretrained Language Models for Document-Level Neural Machine Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
以前的工作文档级NMT通常集中在有限的上下文，因为性能下降较大的上下文。本文主要研究了在大规模文本中使用语言模型的问题，主要有三个方面的贡献：（1）与以往在大规模并行语料库上使用预训练语言模型不同，本文使用了基于单语文档的预训练语言模型，特别是BERT;（2）我们提出了上下文操作方法来控制大上下文的影响，这导致了使用小上下文和大上下文的系统上的可比结果;（3）我们引入了用于正则化的多任务训练，以避免模型过度拟合我们的训练语料库，这进一步改进了我们的系统以及更深的编码器。实验在广泛使用的IWITOS数据集上进行，有三种语言对，中文-英文、法文-英文和西班牙文-英文。结果表明，我们的系统是显着优于三个以前报道的文档级系统。
2019-11-08 cs.CL
Pretrained language model transfer on neural named entity recognition in Indonesian conversational texts
命名实体识别（NER）是自然语言处理中的一项重要任务，但由于会话领域的噪声特征，其研究更具挑战性。此外，会话文本通常数量有限，使得监督任务不可行。要从小数据中学习，需要强归纳偏差。以前的工作依赖于手工制作的功能来编码这些偏见，直到迁移学习出现。在这里，我们探索了一种迁移学习方法，即语言模型预训练，在印尼语会话文本的NER任务。我们利用大型未标记数据（通用域）转移到会话文本，从而实现对有限域内数据的监督训练。我们报告了两种迁移学习变体，即监督模型微调和无监督预训练LM微调。我们的实验表明，当在小数据（100个句子）上训练时，这两种变体的性能都优于基线神经模型，测试F1得分绝对提高了32分。此外，我们发现预训练的LM编码的部分语音信息，这是一个强大的预测NER。
2019-02-21 cs.CL
Integrating Knowledge Graph embedding and pretrained Language Models in Hypercomplex Spaces
University of Stuttgart（斯图加特大学）；University of Bonn（波恩大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；TU Dresden（德累斯顿工业大学）；Amazon（亚马逊）；University of Southampton（南安普顿大学）
本文提出用 4D Dihedron 与 Quaternion 超复数表示统一知识图谱结构嵌入及词、句、文档级文本表示，并通过相应乘积建模模态交互，从而提升链接预测性能。
2023-08-16 cs.AI cs.CL
Multilingual Sentence Transformer as A Multilingual Word Aligner
Shanghai University of Finance and Economics（上海财经大学）；Southern University of Science and Technology（南方科技大学）
多语言预训练语言模型（mPLM）在多语言词对齐归纳中表现出了其有效性。然而，这些方法通常从mBERT或XLM-R开始。在本文中，我们调查是否多语言句子Transformer LaBSE是一个强大的多语言词对齐。这个想法是不平凡的，因为LaBSE被训练来学习语言不可知的单词级嵌入，而对齐提取任务需要更细粒度的单词级嵌入是语言不可知的。我们证明了香草LaBSE优于其他mPLM目前使用的对齐任务，然后提出微调LaBSE并行语料库进一步改进。七个语言对的实验结果表明，我们最好的对齐优于以前的国家的最先进的模型的所有品种。此外，我们的对齐器在单个模型中支持不同的语言对，甚至在微调过程中不会出现的zero-shot语言对上实现了新的最先进技术。
2023-01-28 cs.CL
Reanalyzing L2 Preposition Learning with Bayesian Mixed Effects and a Pretrained Language Model
Hong Kong Polytechnic University（香港理工大学）；Hong Kong Shue Yan University（香港树仁大学）
本文利用贝叶斯和神经模型分析中文学习者在两项测试中的介词理解表现，发现学生能力、任务类型和刺激句子间存在关键交互作用。
2023-05-23 cs.AI cs.CL
Language Models for Lexical Inference in Context
LMU Munich（慕尼黑大学）
语境中的词汇推理（LIiC）是识别两个非常相似的句子之间的文本蕴涵的任务，即，只有一个表达方式不同的句子。因此，它可以被看作是一个变种的自然语言推理任务，侧重于词汇语义。我们制定和评估的第一种方法的基础上预训练的语言模型（LM）为这项任务：（i）一个Few-Shot NLI分类器，（ii）关系归纳方法的基础上手工制作的模式表达的语义词汇推理，（iii）（ii）与模式的变体，自动从语料库中提取。我们所有的方法都超过了以前的最先进水平，显示了LIiC预训练LM的潜力。在一个广泛的分析中，我们调查了我们三种方法的成功和失败的因素。
2021-04-27 cs.AI cs.CL
MirrorWiC: On Eliciting Word-in-Context Representations from Pretrained Language Models
University of Cambridge（剑桥大学）
最近的研究表明，预训练的语言模型（PLM），如BERT和RoBERTa，甚至可以通过简单的自监督技术转换为有效的句子和单词编码器。受这一系列工作的启发，在本文中，我们提出了一种完全无监督的方法来改善PLM中的词上下文（WiC）表示，通过一个简单而有效的WiC目标微调过程实现：WiC WiC。所提出的方法仅利用从维基百科采样的原始文本，假设没有意义注释的数据，并在标准的对比学习设置中学习上下文感知的单词表示。我们实验了一系列跨多种语言的标准和全面的WiC基准测试。我们提出的完全无监督的MPLWiC模型在所有单语，多语言和跨语言设置中获得了比现成PLM更大的收益。此外，在一些标准的WiC基准测试中，WiC甚至可以与使用任务内数据和感觉标签进行微调的监督模型相提并论。
2021-09-19 cs.CL
Intent-based Product Collections for E-commerce using Pretrained Language Models
NAVER CLOVA；NAVER AI LAB；LBox Co., Ltd.（LBox有限公司）
建立购物产品系列主要是人类的工作。通过手工制作的努力，专家们收集了具有共同购物意图的相关但不同的产品，这些产品在一起展示时是有效的，例如，背包，笔记本电脑包，和信使袋新生袋礼物。自动构建集合需要ML系统学习客户意图和产品属性之间的复杂关系。但也出现了挑战点，比如1）长而复杂的意图语句，2）丰富多样的产品属性，3）它们之间存在巨大的语义鸿沟，使问题变得困难。在本文中，我们使用预训练的语言模型（PLM），利用Web规模的产品的文本属性，使基于意图的产品集合。具体来说，我们通过将意图句子设置为锚并将相应的产品设置为正例来训练具有三重损失的BERT。此外，我们还通过基于搜索的负采样和分类正对增强来提高模型的性能。我们的模型显着优于基于搜索的基线模型，在离线评估的基于意图的产品匹配。此外，在我们的电子商业平台上的在线实验结果表明，基于PLM的方法可以构建产品的集合，与专家精心制作的集合相比，具有更高的CTR，CVR和订单多样性。
2021-10-15 cs.CL cs.IR
Discovering Protagonist of Sentiment with Aspect Reconstructed Capsule Network
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Electronic Science and Technology of China（电子科技大学）；Shandong Normal University（山东师范大学）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Microsoft Research Asia（微软亚洲研究院）
最近现有的方面-术语级情感分析（ATSA）方法将各种神经网络模型与基于给定方面和上下文的精细刻画的注意力机制相结合，以生成精炼的句子表示，从而进行更好的预测。在这些方法中，方面的条款总是提供在训练和测试过程中，这可能会降低方面级的分析，到业务级的预测。然而，注释的方面术语在现实世界的场景中可能是不可用的，这可能会挑战现有方法的适用性。在本文中，我们的目标是通过发现潜在的方面预测的情感极性时，测试句子的方面条款是未知的，以改善ATSA。我们通过提出一个名为CAPSAR的基于胶囊网络的模型来实现这一目标。在CAPSAR中，情感类别由胶囊表示，并且在训练期间通过情感方面重建过程将方面术语信息注入情感胶囊。因此，方面和情感表达之间的连贯模式被这些情感胶囊封装。在三个广泛使用的基准测试上的实验表明，这些模式在只将测试句子输入模型时，可以从测试句子中发现体词。同时，建议CAPSAR可以明显优于SOTA方法在标准ATSA任务。
2020-01-20 cs.CL cs.LG
GenEOL: Harnessing the Generative Power of LLMs for Training-Free Sentence Embeddings
Duke University（杜克大学）
针对免训练句嵌入忽视LLM生成能力的问题，提出GenEOL方法，通过生成句子的语义保留变换并聚合其嵌入，在STS基准上平均提升2.85个百分点，在MTEB任务中表现优异且鲁棒性强。
2025-02-09 cs.AI cs.CL
Sentence Embeddings using Supervised Contrastive Learning
Princeton University（普林斯顿大学）
句子嵌入将句子编码在固定的密集向量中，并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习（如Quick-Thoughts）和监督学习（如Infersent）。随着预训练的NLP模型的成功，最近的研究表明，在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入，在各种评估基准上优于以前的句子嵌入方法。在本文中，我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说，我们的方法在SNLI数据上微调预训练的BERT，同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比，我们的监督对比方法在语义文本相似性（STS）基准测试中平均提高了2.8%，在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
EgyBERT: A Large Language Model Pretrained on Egyptian Dialect Corpora
College of Computer Science and Engineering, Taibah University（塔伊巴大学计算机科学与工程学院）
本文提出在最大埃及方言语料库上预训练的阿拉伯语模型 EgyBERT，在 10 个数据集上以 84.25% F1 分数超越五种多方言模型，证明方言专用预训练的有效性。
2024-08-07 cs.CL
SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
FusionBrain Lab, AXXX（融合大脑实验室，AXXX）；T-Tech；MSU（莫斯科大学）；DS-NLP Group, AXXX（自然语言处理组，AXXX）
提出SONAR-LLM，一种在连续SONAR嵌入空间“思考”但通过令牌级交叉熵监督的解码器-only Transformer，融合语义抽象与似然训练信号，在39M至1.3B参数规模上取得有竞争力的生成质量。
2026-05-25 cs.CL
SLING: Sino Linguistic Evaluation of Large Language Models
UMass Amherst（马萨诸塞大学阿默斯特分校）
为了了解预训练的汉语语言模型（LM）编码了哪些语言知识，我们引入了汉语语言学（SLING）基准，它由38 K最小句子对组成，分为9个高级语言现象。每一对都展示了特定句法或语义现象的可接受性对比（例如，关键字丢失vs.关键字丢失），LM应该为可接受的句子分配较低的困惑度。与CLiMP数据集（Xiang et al.，2021），其中也包含中文最小对，并通过翻译英语BLiMP数据集的词汇创建，SLING中的最小对主要是通过对中文树库9.0中自然发生的语言学家注释的句子应用句法和词汇转换来获得的，从而解决了CLiMP数据生成过程中的严重问题。我们测试了18个公开的预训练单语（例如，BERT-base-zh，CPM）和多语言（例如，mT5，XLM）SLING上的语言模型。我们的实验表明，LM的平均准确率远远低于人类的表现（69.7%对97.1%），而BERT-base-zh在所有测试的LM中达到了最高的准确率（84.8%），甚至更大。此外，我们发现，大多数LM有很强的性别和数量（单/复数）的偏见，他们表现得更好的地方比层次的现象。
2022-10-21 cs.CL
Let the Pretrained Language Models "Imagine" for Short Texts Topic Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出利用预训练语言模型将短文本扩展为长序列并结合神经主题模型减少噪声，有效解决短文本主题建模中的数据稀疏问题，生成高质量主题。
2023-10-24 cs.CL
Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon（俄勒冈大学）
我们介绍Trankit，一个轻量级的基于transformer的多语言自然语言处理（NLP）工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道，并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上，在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道，同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer，我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的，其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在：http://nlp.uoregon.edu/trankit。最后，我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
M-BRe: Discovering Training Samples for Relation Extraction from Unlabeled Texts with Large Language Models
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（人工智能学院，南京航空航天大学）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（信息产业部模式分析与机器智能重点实验室）；The Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education（脑机智能技术重点实验室，教育部）
针对关系抽取训练数据标注昂贵且目标句子稀少的问题，本文提出M-BRe框架，结合关系分组、抽取与标签决策三个模块，利用大型语言模型从无标注文本中自动发现高质量训练样本，实验验证其有效性。
2025-09-10 cs.CL
Video-Grounded Dialogues with Pretrained Generation Language Models
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
预训练的语言模型在改进各种下游NLP任务方面取得了显着的成功，因为它们能够捕获文本数据中的依赖关系并生成自然响应。在本文中，我们利用预训练的语言模型的力量来改进基于视频的对话，这是非常具有挑战性的，涉及不同动态的复杂特征：（1）可以跨越空间和时间维度的视频特征;（2）涉及多个对话回合的语义依赖的对话特征。我们提出了一个框架，通过扩展GPT-2模型来解决这些挑战，将视频对话任务制定为序列到序列任务，将视觉和文本表示结合到结构化序列中，并微调大型预训练的GPT-2网络。我们的框架允许微调语言模型，以捕获依赖性跨多个模态在不同层次的信息：时空水平的视频和令牌的句子水平的对话上下文。我们在DSTC 7的视听场景感知对话（AVSD）基准测试上取得了可喜的进步，这支持了这一研究方向的潜在方向。
2020-06-27 cs.CL cs.CV cs.LG
StereoSet: Measuring stereotypical bias in pretrained language models
Massachusetts Institute of Technology（麻省理工学院）；Intel AI（英特尔人工智能）；Mila；McGill University（麦吉尔大学）
刻板印象是对特定人群的过度概括的信念，例如，亚洲人擅长数学，或者亚洲人是糟糕的司机。众所周知，这种信念（偏见）会伤害目标群体。由于预训练的语言模型是在大量的真实世界数据上训练的，因此它们被称为捕获刻板偏见。为了评估这些模型的不利影响，重要的是要量化其中的偏差。现有的量化偏见的文献评估预训练的语言模型上的一小组人工构建的偏见评估句子。我们提出了StereoSet，一个大规模的英语自然数据集来衡量四个领域的刻板偏见：性别，职业，种族和宗教。我们在我们的数据集上评估了流行的模型，如BERT，GPT-2，RoBERTa和XLNet，并表明这些模型表现出强烈的刻板偏见。我们还在https://stereoset.mit.edu上提供了一个带有隐藏测试集的排行榜，用于跟踪未来语言模型的偏差
2020-04-20 cs.AI cs.CL cs.CY
Towards Linguistic Neural Representation Learning and Sentence Retrieval from Electroencephalogram Recordings
针对生成式EEG句子解码中编码器语义学习不足和LLM依赖记忆的问题，提出掩码对比Conformer词级编码与免训练句子检索的两步流水线。
2024-08-08 cs.AI cs.CL cs.LG
FairFil: Contrastive Neural Debiasing Method for Pretrained Text Encoders
Duke University（杜克大学）
预训练的文本编码器，如BERT，已越来越多地应用于各种自然语言处理（NLP）任务，并在最近表现出显着的性能增益。然而，最近的研究表明，这些预训练的NLP模型中存在社会偏见。虽然之前的工作已经在单词级去偏方面取得了进展，但预训练编码器的改进的重复级公平性仍然缺乏探索。在本文中，我们提出了第一种用于预训练句子编码器的神经去偏方法，该方法通过公平过滤器（FairFil）网络将预训练编码器输出转换为去偏表示。为了学习FairFil，我们引入了一个对比学习框架，该框架不仅最大限度地减少了过滤嵌入和偏见词之间的相关性，而且保留了原始句子的丰富语义信息。在真实世界的数据集上，我们的FairFil有效地降低了预训练文本编码器的偏差程度，同时在下游任务上持续表现出理想的性能。此外，我们的事后方法不需要对文本编码器进行任何重新训练，进一步扩大了FairFil的应用空间。
2021-03-11 cs.CL cs.LG
Multilingual LAMA: Investigating Knowledge in Multilingual Pretrained Language Models
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
近年来，人们发现单语英语语言模型可以作为知识库。代替结构化知识库查询，使用诸如“Paris is the capital of [MASK]”之类的掩码语句作为探测。我们将已建立的基准TREx和GoogleRE翻译成53种语言。通过与mBERT合作，我们研究了三个问题。(i)mBERT可以用作多语言知识库吗？大多数以前的工作只考虑英语。将研究扩展到多种语言对于多样性和可访问性非常重要。(ii)mBERT作为知识库的性能是独立于语言的，还是因语言而异？(iii)多语言模型在更多文本上训练，例如，mBERT在104个维基百科上训练。mBERT能利用这一点来提高性能吗？我们发现，使用mBERT作为知识库会产生不同的语言和语言之间的池预测性能提高不同的性能。相反，mBERT表现出语言偏见;例如，当用意大利语查询时，它倾向于预测意大利是原产国。
2021-02-01 cs.CL
Unsupervised and Few-shot Parsing from Pretrained Language Models
Tianjin University（天津大学）
预训练的语言模型通常被认为能够编码语法[Tenney等人，2019年，Jawahar等人，2019，Hewitt and Manning，2019].在这篇文章中，我们提出了UPOA，一个无监督的成分分析模型，它仅基于在预训练的语言模型中学习的自我注意力权重矩阵来计算Out Association得分，作为跨度分割的句法距离。我们进一步提出了一个增强版本，UPIO，它利用内部关联和外部关联分数估计跨度的可能性。通过UPOA和UPIO的实验表明，自注意力机制中查询和关键字的线性投影矩阵在句法分析中起着重要的作用。因此，我们将无监督模型扩展到Few-Shot解析模型（FPOA，FPIO），这些模型使用一些注释树来学习更好的线性投影矩阵进行解析。在Penn Treebank上的实验表明，我们的无监督句法分析模型UPIO在短句（长度<= 10）上取得了与现有技术相当的结果。我们的Few-Shot解析模型FPIO训练只有20个注释树优于以前的Few-Shot解析方法训练50注释树。跨语言解析的实验表明，无监督和Few-Shot解析方法在SPMRL的大多数语言上都优于以前的方法[Seddah等人，2013年]。
2022-06-10 cs.CL
Efficient and Flexible Topic Modeling using Pretrained Embeddings and Bag of Sentences
University of Liechtenstein（列支敦士登大学）
提出基于句子袋和预训练句子嵌入的主题建模推断算法，结合生成模型与聚类，通过期望最大化等方法实现高效灵活且达到最优性能的主题建模。
2024-02-10 cs.CL cs.LG
Holistic Sentence Embeddings for Better Out-of-Distribution Detection
Peking University（北京大学）
检测分发外（OOD）实例对于NLP模型的安全部署具有重要意义。在最近基于预训练语言模型（PLM）的文本OOD检测工作中，基于距离的方法表现出优越的性能。然而，他们估计样本距离得分在最后一层CLS嵌入空间，因此没有充分利用语言信息的PLM。为了解决这个问题，我们建议通过导出更全面的句子嵌入来提高OOD检测。在观察到令牌平均和层组合有助于提高OOD检测的基础上，我们提出了一种简单的嵌入方法，称为平均，平均所有的令牌表示从每个中间层的句子嵌入，并显着超过了国家的最先进的一套全面的基准测试的9.33% FAR95保证金。此外，我们的分析表明，它确实有助于保存一般的语言知识，微调PLM和大大有利于检测背景变化。简单而有效的嵌入方法可以应用于微调PLM，可以忽略不计的额外成本，在OOD检测中提供免费的增益。我们的代码可在https://github.com/lancopku/Avg-Avg上获得。
2022-10-14 cs.AI cs.CL
An Efficient Self-Supervised Cross-View Training For Sentence Embedding
School of Information Science and Technology, VISTEC（VISTEC 信息科学与技术学院）；Department of Computer Engineering, Chulalongkorn University（朱拉隆功大学计算机工程系）
针对小参数量预训练语言模型句子表示学习性能下降的问题，提出自监督跨视图训练框架SCT，在多基准测试中显著提升小模型的语义文本相似度表现。
2023-11-06 cs.AI cs.CL
D2CSE: Difference-aware Deep continuous prompts for Contrastive Sentence Embeddings
Samsung SDS（三星SDS）
D2CSE 通过自引导的对比学习和条件替换词元检测优化单个 PLM 上的连续提示，以约 1% 的训练参数在七个 STS 基准上提升句嵌入质量并有效区分细微语义差异。
2023-04-18 cs.AI cs.CL
OpBerg: Discovering causal sentences using optimal alignments
UCLA（加州大学洛杉矶分校）；Mayo Clinic（梅奥诊所）
生物学文献中有很多描述因果关系的句子。自动提取这些句子的方法可以帮助生物学家综合文献，甚至发现尚未明确表达的潜在关系。当前用于提取因果语句的方法基于机器学习或因果术语的预定义数据库。机器学习方法需要大量标记的训练数据，并且容易受到噪声的影响。基于预定义数据库的方法受到其策展质量的限制，并且无法捕获输入中的新概念或错误。我们通过调整和改进一种为一个看似无关的问题设计的方法来解决这些挑战：寻找基因组序列之间的比对。本文提出了一种新颖的和优于文本的因果关系提取方法对齐的词性表示的输入集与已知的因果句子。我们的实验表明，当应用到生物文献中寻找因果句子的任务时，我们的方法以计算效率高的方式提高了其他方法的准确性。
2019-04-03 cs.CL cs.IR
SBERT studies Meaning Representations: Decomposing Sentence Embeddings into Explainable Semantic Features
Heidelberg University（海德堡大学）
本研究提出S$^3$BERT，通过逼近AMR图度量将SBERT句子嵌入分解为可解释的语义子嵌入，同时保持原嵌入的相似度性能，兼顾可解释性与效率。
2022-10-28 cs.AI cs.CL
