Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出了TGEA，首个针对预训练语言模型生成文本的全面错误标注数据集，涵盖24种错误类型，并基于此构建了错误检测、分类等基准任务以促进自动错误诊断与纠正研究。
2025-03-06 cs.CL
Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models
Columbia University（哥伦比亚大学）；Intel Labs（英特尔实验室）；MIT-IBM Watson AI（MIT-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
虽然来自预训练语言模型的基于向量的语言表示为许多NLP任务设定了新标准，但尚未对其内部工作原理进行完整的解释。特别是，我们还不完全清楚这些表示捕捉了哪些方面的语法，也不清楚它们是如何（如果有的话）沿着网络的堆叠层构建的。在本文中，我们的目标是解决这样的问题与一般类的干预，输入扰动为基础的分析表示从预训练的语言模型。从计算和认知神经科学的表征不变性的概念，我们进行了一系列的探测器设计，以测试这些表征的几种结构的句子的敏感性。每一个探测都涉及交换句子中的单词，并将扰动句子的表征与原始句子进行比较。我们用三种不同的扰动进行实验：（1）随机排列不同宽度的n-gram，以测试表征对单词位置敏感的程度;（2）交换两个跨度，它们形成或不形成句法短语，以测试对全局短语结构的敏感性;以及（3）交换两个相邻的词，它们分开或不分开句法短语，以测试对局部短语结构的敏感性。这些探测的结果共同表明，Transformers沿着它们的层建立对句子较大部分的敏感性，并且层次短语结构在这个过程中起着作用。更广泛地说，我们的研究结果还表明，结构化输入扰动扩大了可以在通常不透明的深度学习系统上执行的分析范围，并且可以作为现有工具（如监督线性探针）的补充，用于解释复杂的黑盒模型。
2021-04-15 cs.CL
Unsupervised Domain Clusters in Pretrained Language Models
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
在NLP中，“域内数据”的概念往往过于简单和模糊，因为文本数据在许多细微的语言方面（如主题，风格或正式程度）都有所不同。此外，域标签在很多时候是不可用的，这使得构建特定于域的系统具有挑战性。我们表明，大规模预训练的语言模型在没有监督的情况下隐式学习按域聚集的句子表示--这表明文本数据中的域的简单数据驱动定义。我们利用这个属性，并提出域数据选择方法的基础上，这样的模型，只需要一个小的一组域单语数据。我们在五个不同的领域评估了我们的神经机器翻译数据选择方法，在这些领域中，它们的表现优于通过BLEU以及相对于Oracle的句子选择的精确度和召回率来衡量的既定方法。
2020-05-01 cs.CL
Multi-label Sequential Sentence Classification via Large Language Model
School of Information Sciences（信息科学学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对当前序列句子分类方法受模型规模、序列长度和单标签限制的问题，提出基于大语言模型的LLM-SSC框架，通过设计提示和多标签对比学习损失支持单/多标签任务，发布biorc800数据集，在两种设置下性能优异。
2024-11-29 cs.CL
ParaLS: Lexical Substitution via Pretrained Paraphraser
Yangzhou University（扬州大学）
ParaLS提出利用预训练释义器生成词汇替换候选，通过两种解码策略保持句子意义，在三个基准上超越现有最先进方法。
2023-05-14 cs.AI cs.CL
Discourse Probing of Pretrained Language Models
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
现有的预训练语言模型（LM）的探测工作主要集中在句子级别的句法任务。在本文中，我们引入文档级话语探测来评估预先训练的LM捕捉文档级关系的能力。我们用7种预训练的LM、4种语言和7种话语探测任务进行了实验，发现BART是捕捉话语的最佳模型--但仅在编码器方面，BERT的表现令人惊讶地好于基线模型。在不同的模型中，哪一层最好地捕捉话语信息存在很大差异，模型之间存在很大差异。
2021-04-13 cs.CL
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology（华南理工大学）；School of Computer Science and Engineering（计算机科学与工程学院）
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题，提出SARCSE框架，通过自编码器重构全部词元并引入自适应重构损失，在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
Quantitative Measurement of Language Distance among Closely Related Indo-European Languages Using Pretrained Language Models: A Case Study on the North Germanic Branch
Guangdong Haiqixing Marine Technology Co., Ltd.（广东海启星海洋科技有限公司）
本文提出基于预训练语言模型的三种度量框架，定量测量丹麦语、挪威语和瑞典语的语言距离，结果与历史语言学结论一致，为近亲语言距离研究提供可复现计算框架。
2026-09-29 cs.CL
Generating Datasets with Pretrained Language Models
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
为了从预训练的语言模型（PLM）中获得高质量的句子嵌入，它们必须使用额外的预训练目标进行增强，或者在大量标记文本对上进行微调。虽然后一种方法通常优于前者，但它需要大量的人力来生成足够大小的合适数据集。在本文中，我们展示了如何利用PLM来获得高质量的句子嵌入，而不需要标记数据，微调或修改预训练目标：我们利用大型和高性能PLM的生成能力从头开始生成标记文本对的整个数据集，然后我们使用这些数据集来微调更小，更有效的模型。我们的完全无监督方法在几个语义文本相似性数据集上的表现优于强基线。
2021-10-04 cs.CL cs.LG
Long Document Summarization in a Low Resource Setting using Pretrained Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Goldman Sachs（高盛）
摘要是将长文档压缩成连贯的短文档，同时保留显著信息的任务。现代抽象摘要方法基于深度神经网络，其通常需要大的训练数据集。由于收集摘要数据集是一项昂贵且耗时的任务，因此实际的工业环境通常资源较少。在本文中，我们研究了一个具有挑战性的低资源设置，总结长的法律摘要，平均源文件长度为4268字，只有120个可用（文件，摘要）对。为了解释数据稀缺性，我们使用了一个现代的预先训练的抽象摘要器BART（Lewis等人，2020年），它只达到17.9 ROUGE-L，因为它与长文档作斗争。因此，我们尝试通过使用基于GPT-2的新颖算法（Radford等人，2019）语言模型困惑分数，其在低资源范围内操作。在将压缩文档馈送到BART时，我们观察到6.0 ROUGE-L的改进。我们的方法还击败了几个竞争性的显着性检测基线。此外，所识别的突出句子往往同意由领域专家的独立的人类标记。
2021-03-01 cs.CL
SciBERT: A Pretrained Language Model for Scientific Text
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
为科学领域的NLP任务获取大规模注释数据是具有挑战性和昂贵的。我们发布了SciBERT，一种基于BERT的预训练语言模型（Devlin et al.，2018年），以解决缺乏高质量，大规模的标记科学数据。SciBERT利用大型多领域科学出版物语料库的无监督预训练来提高下游科学NLP任务的性能。我们评估了一套任务，包括序列标记，句子分类和依存句法分析，从各种科学领域的数据集。我们证明了统计上显着的改进，超过BERT，并实现了新的国家的最先进的结果，这些任务。代码和预训练模型可在https://github.com/allenai/scibert/上获得。
2019-09-10 cs.CL
Extracting Latent Steering Vectors from Pretrained Language Models
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Arrive Bio（Arrive Bio（阿里夫生物））
关于可控文本生成的先前工作集中于学习如何通过可训练解码、智能提示设计或基于期望目标的微调来控制语言模型。我们假设引导模型生成目标句子所需的信息已经编码在模型中。因此，我们探索了一种完全不同的方法：直接从预训练的语言模型解码器中提取潜在向量，而无需微调。实验表明，存在导向向量，当将其添加到语言模型的隐藏状态时，为来自各种领域的英语句子几乎完美地（> 99 BLEU）生成目标句子。我们表明，向量算法可用于Yelp情感基准的无监督情感转移，其性能与针对此任务定制的模型相当。我们发现，导向向量之间的距离反映句子的相似性时，评估的文本相似性基准（STS-B），优于合并隐藏状态的模型。最后，我们提出了一个分析的内在属性的导向矢量。综上所述，我们的研究结果表明，冻结LM可以有效地控制通过其潜在的转向空间。
2022-05-10 cs.AI cs.CL cs.LG
Latent Reasoning via Sentence Embedding Prediction
KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；University College London（伦敦大学学院）；LG AI Research（LG人工智能研究）
本研究提出一种通过自回归预测下一句连续嵌入使预训练语言模型在句子空间进行潜在推理的框架，实验表明连续推理下的上下文嵌入性能媲美CoT且推理时FLOPs减半。
2025-10-11 cs.AI cs.CL
Multilingual Lexical Simplification via Paraphrase Generation
Yangzhou University（扬州大学）；University of South Florida（南佛罗里达大学）
本文提出一种基于复述生成的多语言词汇简化方法，将复述视为零样本翻译任务，通过仅关注复杂词词汇变化的新颖解码策略生成替代词，在英语、西班牙语和葡萄牙语上显著优于BERT和零样本GPT3方法。
2023-07-28 cs.CL
Reweighting Strategy based on Synthetic Data Identification for Sentence Similarity
KAIST AI（韩国科学技术院人工智能学院）；Letsur
语义上有意义的句子嵌入对于自然语言处理中的许多任务都很重要。为了获得这样的嵌入，最近的研究探索了利用从预训练的语言模型（PLM）作为训练语料库的综合生成的数据的想法。然而，PLM生成的句子往往与人写的句子大不相同。我们假设，在训练深度神经网络时，平等地对待所有这些合成示例可能会对学习语义上有意义的嵌入产生不利影响。为了分析这一点，我们首先训练一个识别机器写的句子的分类器，并观察到被识别为机器写的句子的语言特征与人类写的句子的语言特征显著不同。基于此，我们提出了一种新的方法，首先训练分类器来衡量每个句子的重要性。然后，从分类器提取的信息用于训练可靠的句子嵌入模型。通过对四个真实世界数据集的广泛评估，我们证明了我们在合成数据上训练的模型具有良好的泛化能力，并且优于现有的基线。我们的实现可以在https://github.com/ddehun/coling2022_reweighting_sts上公开获得。
2022-08-30 cs.CL
BottleSum: Unsupervised and Self-supervised Sentence Summarization using the Information Bottleneck Principle
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
信息瓶颈（Tishby et al. 1999）的原理是产生一个信息X的摘要，以预测其他一些相关信息Y。在本文中，我们提出了一种新的无监督句子摘要方法，通过将信息瓶颈原则映射到条件语言建模目标：给定一个句子，我们的方法寻求一个压缩的句子，可以最好地预测下一个句子。我们的迭代算法下的信息瓶颈目标搜索逐渐较短的连续性给定的句子，同时最大限度地提高下一个句子的概率条件下的摘要。只使用预训练的语言模型，没有直接的监督，我们的方法可以有效地执行提取句子摘要在一个大的语料库。在我们的无监督提取摘要（BottleSumEx）的基础上，我们提出了一种新的自监督抽象摘要方法（BottleSumSelf），其中基于transformer的语言模型在我们的无监督方法的输出摘要上进行训练。实证结果表明，我们的提取方法优于其他无监督模型的多个自动度量。此外，我们发现我们的自监督抽象模型在多个属性上的人类评估优于无监督基线（包括我们自己的）。
2019-09-20 cs.CL
SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression
National Technical University of Athens（雅典国立技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；Heriot-Watt University（赫瑞-瓦特大学）
神经序列到序列模型是目前在几个自然语言处理任务中占主导地位的方法，但需要大型并行语料库。我们提出了一个序列到序列到序列的自动编码器（SEQ ^3），由两个链式编码器-解码器对组成，单词用作离散潜在变量的序列。我们将该模型应用于无监督抽象句压缩，其中第一个和最后一个序列分别是输入和重构的句子，而中间序列是压缩的句子。限制潜在单词序列的长度迫使模型从输入中提取重要信息。预先训练的语言模型作为潜在序列的先验，鼓励压缩的句子是人类可读的。连续松弛使我们能够从分类分布中采样，允许基于梯度的优化，而不像依赖于强化学习的替代方案。该模型不需要并行的文本摘要对，在基准数据集上的无监督句子压缩中取得了令人满意的结果。
2019-06-09 cs.CL
Exploring Italian sentence embeddings properties through multi-tasking
Idiap Research Institute（伊迪亚普研究所）；University of Geneva（日内瓦大学）
该研究在多任务设置下探究现有大型语言模型对意大利语句向量中抽象语言信息的编码程度，利用意大利语黑鸟语言矩阵合成数据，通过两级架构分析句法语义编码特性，发现不同任务线索编码方式存在差异。
2024-11-29 cs.CL
Pretrained Language Models for Document-Level Neural Machine Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
以前的工作文档级NMT通常集中在有限的上下文，因为性能下降较大的上下文。本文主要研究了在大规模文本中使用语言模型的问题，主要有三个方面的贡献：（1）与以往在大规模并行语料库上使用预训练语言模型不同，本文使用了基于单语文档的预训练语言模型，特别是BERT;（2）我们提出了上下文操作方法来控制大上下文的影响，这导致了使用小上下文和大上下文的系统上的可比结果;（3）我们引入了用于正则化的多任务训练，以避免模型过度拟合我们的训练语料库，这进一步改进了我们的系统以及更深的编码器。实验在广泛使用的IWITOS数据集上进行，有三种语言对，中文-英文、法文-英文和西班牙文-英文。结果表明，我们的系统是显着优于三个以前报道的文档级系统。
2019-11-08 cs.CL
Pretrained language model transfer on neural named entity recognition in Indonesian conversational texts
命名实体识别（NER）是自然语言处理中的一项重要任务，但由于会话领域的噪声特征，其研究更具挑战性。此外，会话文本通常数量有限，使得监督任务不可行。要从小数据中学习，需要强归纳偏差。以前的工作依赖于手工制作的功能来编码这些偏见，直到迁移学习出现。在这里，我们探索了一种迁移学习方法，即语言模型预训练，在印尼语会话文本的NER任务。我们利用大型未标记数据（通用域）转移到会话文本，从而实现对有限域内数据的监督训练。我们报告了两种迁移学习变体，即监督模型微调和无监督预训练LM微调。我们的实验表明，当在小数据（100个句子）上训练时，这两种变体的性能都优于基线神经模型，测试F1得分绝对提高了32分。此外，我们发现预训练的LM编码的部分语音信息，这是一个强大的预测NER。
2019-02-21 cs.CL
Multilingual Sentence Transformer as A Multilingual Word Aligner
Shanghai University of Finance and Economics（上海财经大学）；Southern University of Science and Technology（南方科技大学）
多语言预训练语言模型（mPLM）在多语言词对齐归纳中表现出了其有效性。然而，这些方法通常从mBERT或XLM-R开始。在本文中，我们调查是否多语言句子Transformer LaBSE是一个强大的多语言词对齐。这个想法是不平凡的，因为LaBSE被训练来学习语言不可知的单词级嵌入，而对齐提取任务需要更细粒度的单词级嵌入是语言不可知的。我们证明了香草LaBSE优于其他mPLM目前使用的对齐任务，然后提出微调LaBSE并行语料库进一步改进。七个语言对的实验结果表明，我们最好的对齐优于以前的国家的最先进的模型的所有品种。此外，我们的对齐器在单个模型中支持不同的语言对，甚至在微调过程中不会出现的zero-shot语言对上实现了新的最先进技术。
2023-01-28 cs.CL
MirrorWiC: On Eliciting Word-in-Context Representations from Pretrained Language Models
University of Cambridge（剑桥大学）
最近的研究表明，预训练的语言模型（PLM），如BERT和RoBERTa，甚至可以通过简单的自监督技术转换为有效的句子和单词编码器。受这一系列工作的启发，在本文中，我们提出了一种完全无监督的方法来改善PLM中的词上下文（WiC）表示，通过一个简单而有效的WiC目标微调过程实现：WiC WiC。所提出的方法仅利用从维基百科采样的原始文本，假设没有意义注释的数据，并在标准的对比学习设置中学习上下文感知的单词表示。我们实验了一系列跨多种语言的标准和全面的WiC基准测试。我们提出的完全无监督的MPLWiC模型在所有单语，多语言和跨语言设置中获得了比现成PLM更大的收益。此外，在一些标准的WiC基准测试中，WiC甚至可以与使用任务内数据和感觉标签进行微调的监督模型相提并论。
2021-09-19 cs.CL
Context is Enough: Empirical Validation of $\textit{Sequentiality}$ on Essays
IIIT-Hyderabad（IIIT-海得拉巴）
本文通过ASAP++和ELLIPSE数据集实证验证，仅用上下文词的序列性指标与人类对作文组织性、连贯性等语篇特征的评估更对齐，结合标准语言特征时预测价值超其他版本，且优于零样本LLM预测，可作为自动化作文评分的有效特征。
2025-11-12 cs.CL
CDAE: Enhancing Perturbation Robustness in Pretrained Language Models with Contrastive Denoising
Institude for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）
本研究针对预训练语言模型词嵌入对保留语义的文本扰动敏感的问题，提出CDAE模型，经多强度扰动策略对比实验，证实其能提升扰动下的嵌入相似度与表示稳定性。
2026-10-19 cs.AI cs.CL
UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction
University Politehnica of Bucharest（布加勒斯特理工大学）
这项工作介绍了我们在SemEval-2020的第六个任务的背景下的贡献：从教科书中的自由文本中提取定义（DeftEval）。该竞赛由三个具有不同粒度水平的子任务组成：（1）将句子分类为定义性或非定义性，（2）标记定义性句子，以及（3）关系分类。我们使用各种预训练的语言模型（即，BERT、XLNet、RoBERTa、Sci BERT和AL BERT）来解决竞赛的三个子任务中的每一个。具体来说，对于每个语言模型变体，我们通过冻结其权重并对其进行微调来进行实验。我们还探索了一个多任务架构，该架构经过训练，可以联合预测第二和第三个子任务的输出。我们在DeftEval数据集上评估的表现最好的模型获得了第一个子任务的第32位和第二子任务的第37位。该代码可在https://github.com/avramandrei/DeftEval上进行进一步研究。
2020-09-16 cs.AI cs.CL cs.IR
Evaluating Document Coherence Modelling
The University of Melbourne（墨尔本大学）；AI Lab at ByteDance（字节跳动AI实验室）
虽然预训练的语言模型（“LM”）在形态句法和语义任务上取得了令人印象深刻的进展，但它们对话语和语用现象建模的能力却不太清楚。作为更好地了解他们的话语建模能力的一步，我们提出了一个句子入侵检测任务。我们研究了广泛的预训练LM在英语检测任务上的表现。由于缺乏用于该任务的数据集，我们引入了INSteD，这是一种新颖的入侵者句子检测数据集，包含从英文维基百科和CNN新闻文章构建的170，000多个文档。我们的实验表明，预训练的LM在域内评估中表现令人印象深刻，但在跨域设置中出现大幅下降，表明泛化能力有限。在一个新的语言探针数据集上的进一步结果表明，有很大的改进空间，特别是在跨域设置。
2021-03-18 cs.AI cs.CL
CERT: Contrastive Self-supervised Learning for Language Understanding
UC San Diego（加州大学圣迭戈分校）；VMware（威睿公司）
预训练的语言模型如BERT、GPT在语言理解中表现出很好的效果。现有的预训练方法中的辅助预测任务大多定义在令牌上，因此可能无法很好地捕获事件级语义。为了解决这个问题，我们提出了CERT：来自Transformers的对比自监督编码器表示，它使用句子级别的对比自监督学习来预训练语言表示模型。CERT使用回译创建原始句子的扩充。然后，它微调预训练的语言编码器（例如，BERT）通过预测两个增强的句子是否源自同一个句子。CERT使用简单，可以灵活地插入任何预训练-微调NLP管道。我们在GLUE基准测试中对CERT在11个自然语言理解任务上进行了评估，其中CERT在7个任务上优于BERT，在2个任务上达到了与BERT相同的性能，在2个任务上表现不如BERT。在11个任务的平均得分上，CERT优于BERT。数据和代码可在https://github.com/UCSD-AI4H/CERT上获得
2020-06-18 cs.CL cs.LG stat.ML
EgyBERT: A Large Language Model Pretrained on Egyptian Dialect Corpora
College of Computer Science and Engineering, Taibah University（塔伊巴大学计算机科学与工程学院）
本文提出在最大埃及方言语料库上预训练的阿拉伯语模型 EgyBERT，在 10 个数据集上以 84.25% F1 分数超越五种多方言模型，证明方言专用预训练的有效性。
2024-08-07 cs.CL
SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
FusionBrain Lab, AXXX（融合大脑实验室，AXXX）；T-Tech；MSU（莫斯科大学）；DS-NLP Group, AXXX（自然语言处理组，AXXX）
提出SONAR-LLM，一种在连续SONAR嵌入空间“思考”但通过令牌级交叉熵监督的解码器-only Transformer，融合语义抽象与似然训练信号，在39M至1.3B参数规模上取得有竞争力的生成质量。
2026-05-25 cs.CL
SLING: Sino Linguistic Evaluation of Large Language Models
UMass Amherst（马萨诸塞大学阿默斯特分校）
为了了解预训练的汉语语言模型（LM）编码了哪些语言知识，我们引入了汉语语言学（SLING）基准，它由38 K最小句子对组成，分为9个高级语言现象。每一对都展示了特定句法或语义现象的可接受性对比（例如，关键字丢失vs.关键字丢失），LM应该为可接受的句子分配较低的困惑度。与CLiMP数据集（Xiang et al.，2021），其中也包含中文最小对，并通过翻译英语BLiMP数据集的词汇创建，SLING中的最小对主要是通过对中文树库9.0中自然发生的语言学家注释的句子应用句法和词汇转换来获得的，从而解决了CLiMP数据生成过程中的严重问题。我们测试了18个公开的预训练单语（例如，BERT-base-zh，CPM）和多语言（例如，mT5，XLM）SLING上的语言模型。我们的实验表明，LM的平均准确率远远低于人类的表现（69.7%对97.1%），而BERT-base-zh在所有测试的LM中达到了最高的准确率（84.8%），甚至更大。此外，我们发现，大多数LM有很强的性别和数量（单/复数）的偏见，他们表现得更好的地方比层次的现象。
2022-10-21 cs.CL
Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon（俄勒冈大学）
我们介绍Trankit，一个轻量级的基于transformer的多语言自然语言处理（NLP）工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道，并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上，在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道，同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer，我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的，其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在：http://nlp.uoregon.edu/trankit。最后，我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
Integrating Knowledge Graph embedding and pretrained Language Models in Hypercomplex Spaces
University of Stuttgart（斯图加特大学）；University of Bonn（波恩大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；TU Dresden（德累斯顿工业大学）；Amazon（亚马逊）；University of Southampton（南安普顿大学）
本文提出用 4D Dihedron 与 Quaternion 超复数表示统一知识图谱结构嵌入及词、句、文档级文本表示，并通过相应乘积建模模态交互，从而提升链接预测性能。
2023-08-16 cs.AI cs.CL
Reanalyzing L2 Preposition Learning with Bayesian Mixed Effects and a Pretrained Language Model
Hong Kong Polytechnic University（香港理工大学）；Hong Kong Shue Yan University（香港树仁大学）
本文利用贝叶斯和神经模型分析中文学习者在两项测试中的介词理解表现，发现学生能力、任务类型和刺激句子间存在关键交互作用。
2023-05-23 cs.AI cs.CL
Language Models for Lexical Inference in Context
LMU Munich（慕尼黑大学）
语境中的词汇推理（LIiC）是识别两个非常相似的句子之间的文本蕴涵的任务，即，只有一个表达方式不同的句子。因此，它可以被看作是一个变种的自然语言推理任务，侧重于词汇语义。我们制定和评估的第一种方法的基础上预训练的语言模型（LM）为这项任务：（i）一个Few-Shot NLI分类器，（ii）关系归纳方法的基础上手工制作的模式表达的语义词汇推理，（iii）（ii）与模式的变体，自动从语料库中提取。我们所有的方法都超过了以前的最先进水平，显示了LIiC预训练LM的潜力。在一个广泛的分析中，我们调查了我们三种方法的成功和失败的因素。
2021-04-27 cs.AI cs.CL
Intent-based Product Collections for E-commerce using Pretrained Language Models
NAVER CLOVA；NAVER AI LAB；LBox Co., Ltd.（LBox有限公司）
建立购物产品系列主要是人类的工作。通过手工制作的努力，专家们收集了具有共同购物意图的相关但不同的产品，这些产品在一起展示时是有效的，例如，背包，笔记本电脑包，和信使袋新生袋礼物。自动构建集合需要ML系统学习客户意图和产品属性之间的复杂关系。但也出现了挑战点，比如1）长而复杂的意图语句，2）丰富多样的产品属性，3）它们之间存在巨大的语义鸿沟，使问题变得困难。在本文中，我们使用预训练的语言模型（PLM），利用Web规模的产品的文本属性，使基于意图的产品集合。具体来说，我们通过将意图句子设置为锚并将相应的产品设置为正例来训练具有三重损失的BERT。此外，我们还通过基于搜索的负采样和分类正对增强来提高模型的性能。我们的模型显着优于基于搜索的基线模型，在离线评估的基于意图的产品匹配。此外，在我们的电子商业平台上的在线实验结果表明，基于PLM的方法可以构建产品的集合，与专家精心制作的集合相比，具有更高的CTR，CVR和订单多样性。
2021-10-15 cs.CL cs.IR
General Cross-Architecture Distillation of Pretrained Language Models into Matrix Embeddings
Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；University of Ulm（乌尔姆大学）
大型预训练语言模型（PreLM）正在所有基准测试中彻底改变自然语言处理。然而，它们的庞大规模对于小型实验室或在移动设备上的部署来说是令人望而却步的。修剪和蒸馏等方法可以减小模型大小，但通常保留相同的模型架构。相比之下，我们探索将PreLM提取到一个不同的，更有效的架构中，即连续字乘法（CMOW），它将每个字嵌入为矩阵，并使用矩阵乘法来编码序列。我们扩展了CMOW架构及其CMOW/CBOW-Hybrid变体，其中包含双向组件以获得更强的表达能力，预训练期间用于一般（任务不可知）蒸馏的每个令牌表示，以及促进句子对下游任务的双序列编码方案，例如句子相似性和自然语言推理。我们的基于矩阵的双向CMOW/CBOW-Hybrid模型在问题相似度和识别文本蕴涵方面与DistilBERT具有竞争力，但仅使用一半的参数，并且在推理速度方面快三倍。除了情感分析任务SST-2和语言可接受性任务CoLA之外，我们匹配或超过了GLUE基准的所有任务的ELMo分数。然而，与以前的跨架构蒸馏方法相比，我们在检测语言可接受性方面的得分增加了一倍。这表明基于矩阵的嵌入可以用于将大型PreLM提取为竞争模型，并激励在此方向上进行进一步的研究。
2022-07-28 cs.CL cs.LG
GenEOL: Harnessing the Generative Power of LLMs for Training-Free Sentence Embeddings
Duke University（杜克大学）
针对免训练句嵌入忽视LLM生成能力的问题，提出GenEOL方法，通过生成句子的语义保留变换并聚合其嵌入，在STS基准上平均提升2.85个百分点，在MTEB任务中表现优异且鲁棒性强。
2025-02-09 cs.AI cs.CL
Hierarchical Neural Networks for Sequential Sentence Classification in Medical Scientific Abstracts
MIT（麻省理工学院）
基于人工神经网络（ANN）的句子分类模型通常孤立地对句子进行分类，而不考虑句子出现的上下文。这阻碍了传统的句子分类方法的顺序句子分类的问题，需要结构化的预测更好的整体分类性能。在这项工作中，我们提出了一个层次顺序标记网络，利用周围的句子中的上下文信息，以帮助分类当前的句子。我们的模型在两个基准数据集上的表现优于最先进的结果2%-3%，用于医学科学摘要中的顺序句子分类。
2018-08-19 cs.CL
Linguistic Analysis of Pretrained Sentence Encoders with Acceptability Judgments
New York University（纽约大学）
最近在预训练句子编码器中评估语法知识的工作给出了少量现象的细粒度视图。我们引入了一个新的分析数据集，它也广泛覆盖了语言现象。我们注释了语言可接受性语料库的开发集（CoLA; Warstadt等人，2018年）的存在13类句法现象，包括各种形式的参数交替，运动和修改。我们使用该分析集来调查三个预训练编码器的语法知识：BERT（Devlin等人，2018）、GPT（Radford等人，我们发现这些模型对复杂或非规范的论点结构有很强的控制力，比如双及物动词（Sue gave Dan a book）和被动语态（The book was read）。具有长距离依赖关系的句子，如疑问句（你认为我吃了什么？）挑战所有模型，但对于这些模型，BERT和GPT相对于基线具有明显的优势。我们的结论是，最近的句子编码器，尽管表现出接近人类的性能上的可接受性分类的整体，仍然未能细粒度的语法区分许多复杂的句法结构。
2020-05-22 cs.CL
Evaluation Benchmarks and Learning Criteria for Discourse-Aware Sentence Representations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Chicago（芝加哥大学）
先前关于预训练的句子嵌入和基准的工作集中在独立句子的能力上。我们提出了DiscoEval，一个测试套件的任务，以评估句子表示是否包括更广泛的上下文信息。我们还提出了各种训练目标，利用维基百科的自然注释来构建能够对话语进行建模的句子编码器。我们对使用我们提出的训练目标进行预训练的句子编码器以及其他流行的预训练句子编码器在DiscoEval和其他句子评估任务上进行了基准测试。从经验上讲，我们表明，这些培训目标有助于编码不同方面的信息在文档结构。此外，BERT和ELMo表现出较强的性能与DiscoEval的个人隐藏层显示不同的特点。
2019-11-07 cs.CL
Holistic Sentence Embeddings for Better Out-of-Distribution Detection
Peking University（北京大学）
检测分发外（OOD）实例对于NLP模型的安全部署具有重要意义。在最近基于预训练语言模型（PLM）的文本OOD检测工作中，基于距离的方法表现出优越的性能。然而，他们估计样本距离得分在最后一层CLS嵌入空间，因此没有充分利用语言信息的PLM。为了解决这个问题，我们建议通过导出更全面的句子嵌入来提高OOD检测。在观察到令牌平均和层组合有助于提高OOD检测的基础上，我们提出了一种简单的嵌入方法，称为平均，平均所有的令牌表示从每个中间层的句子嵌入，并显着超过了国家的最先进的一套全面的基准测试的9.33% FAR95保证金。此外，我们的分析表明，它确实有助于保存一般的语言知识，微调PLM和大大有利于检测背景变化。简单而有效的嵌入方法可以应用于微调PLM，可以忽略不计的额外成本，在OOD检测中提供免费的增益。我们的代码可在https://github.com/lancopku/Avg-Avg上获得。
2022-10-14 cs.AI cs.CL
An Efficient Self-Supervised Cross-View Training For Sentence Embedding
School of Information Science and Technology, VISTEC（VISTEC 信息科学与技术学院）；Department of Computer Engineering, Chulalongkorn University（朱拉隆功大学计算机工程系）
针对小参数量预训练语言模型句子表示学习性能下降的问题，提出自监督跨视图训练框架SCT，在多基准测试中显著提升小模型的语义文本相似度表现。
2023-11-06 cs.AI cs.CL
D2CSE: Difference-aware Deep continuous prompts for Contrastive Sentence Embeddings
Samsung SDS（三星SDS）
D2CSE 通过自引导的对比学习和条件替换词元检测优化单个 PLM 上的连续提示，以约 1% 的训练参数在七个 STS 基准上提升句嵌入质量并有效区分细微语义差异。
2023-04-18 cs.AI cs.CL
StereoSet: Measuring stereotypical bias in pretrained language models
Massachusetts Institute of Technology（麻省理工学院）；Intel AI（英特尔人工智能）；Mila；McGill University（麦吉尔大学）
刻板印象是对特定人群的过度概括的信念，例如，亚洲人擅长数学，或者亚洲人是糟糕的司机。众所周知，这种信念（偏见）会伤害目标群体。由于预训练的语言模型是在大量的真实世界数据上训练的，因此它们被称为捕获刻板偏见。为了评估这些模型的不利影响，重要的是要量化其中的偏差。现有的量化偏见的文献评估预训练的语言模型上的一小组人工构建的偏见评估句子。我们提出了StereoSet，一个大规模的英语自然数据集来衡量四个领域的刻板偏见：性别，职业，种族和宗教。我们在我们的数据集上评估了流行的模型，如BERT，GPT-2，RoBERTa和XLNet，并表明这些模型表现出强烈的刻板偏见。我们还在https://stereoset.mit.edu上提供了一个带有隐藏测试集的排行榜，用于跟踪未来语言模型的偏差
2020-04-20 cs.AI cs.CL cs.CY
SBERT studies Meaning Representations: Decomposing Sentence Embeddings into Explainable Semantic Features
Heidelberg University（海德堡大学）
本研究提出S$^3$BERT，通过逼近AMR图度量将SBERT句子嵌入分解为可解释的语义子嵌入，同时保持原嵌入的相似度性能，兼顾可解释性与效率。
2022-10-28 cs.AI cs.CL
Character-based Neural Networks for Sentence Pair Modeling
Department of Computer Science and Engineering（计算机科学与工程系）；Ohio State University（俄亥俄州立大学）
句子对建模对于许多NLP任务至关重要，例如释义识别，语义文本相似性和自然语言推理。这些任务的大多数最先进的神经模型都依赖于预训练的词嵌入，并以各种方式组成语义级语义;然而，很少有工作试图验证我们是否真的需要在这些任务中预训练的嵌入。在本文中，我们研究如何有效的子词级（字符和字符n-gram）表示在句子对建模。虽然众所周知，子词模型在单句输入的任务中是有效的，包括语言建模和机器翻译，但它们在句子对建模任务中没有系统地研究，其中文本之间的语义和字符串相似性很重要。我们的实验表明，没有任何预训练的词嵌入的子词模型可以在两个社交媒体数据集上获得新的最先进的结果，并在新闻数据上获得具有竞争力的结果，用于释义识别。
2018-05-21 cs.CL
Sentence Bottleneck Autoencoders from Transformer Language Models
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
通过在大型语料库上预训练语言模型来进行文本的表示学习已经成为构建NLP系统的标准起点。这种方法与自动编码器相反，自动编码器也是在原始文本上训练的，但其目标是学习将每个输入编码为允许完全重建的向量。自编码器是有吸引力的，因为他们的潜在空间结构和生成属性。因此，我们探索从预训练的冻结的Transformer语言模型构建一个并行级自动编码器。我们将掩蔽语言建模目标调整为生成的去噪目标，同时只训练句子瓶颈和单层修改的Transformer解码器。我们证明，我们的模型发现的句子表示比以前的方法获得更好的质量，这些方法在文本相似性任务，风格转换（控制生成的一个例子）和GLUE基准中的单句分类任务上从预训练的Transformers中提取表示，同时使用比大型预训练模型更少的参数。
2021-09-10 cs.CL
Extending the Subwording Model of Multilingual Pretrained Models for New Languages
National Institute of Information and Communications Technology（信息通信技术研究所）
多语言预训练模型对于机器翻译和跨语言处理是有效的，因为它们在一个模型中包含多种语言。然而，它们是在它们的标记器固定之后进行预训练的;因此，在预训练之后很难改变词汇。当我们将预训练模型扩展到新语言时，我们必须同时修改标记器。在本文中，我们将新的子词添加到SentencePiece标记器中，以将多语言预训练模型应用于新语言（本文中的Inuktitut）。在我们的实验中，我们将因纽特语句子分割成子词，而不改变已经预训练的语言的分割，并将mBART-50预训练模型应用于英语-因纽特语翻译。
2022-11-29 cs.CL
Book Success Prediction with Pretrained Sentence Embeddings and Readability Scores
The University of Michigan（密歇根大学）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）
提前预测一本书的潜在成功在许多应用中至关重要。这可以帮助出版商和读者分别决定一本书是否值得出版和阅读。在本文中，我们提出了一个模型，该模型利用预训练的句子嵌入以及各种可读性分数来预测书籍的成功。与以前的方法不同，所提出的方法不需要计数为基础的，词汇，或句法功能。相反，我们在预训练的句子嵌入上使用卷积神经网络，并通过简单的连接操作利用不同的可读性分数。我们提出的模型优于强大的基线为这个任务高达6.4\%F1分数点。此外，我们的实验表明，根据我们的模型，只有前1K个句子足以预测书籍的潜在成功。
2021-10-05 cs.AI cs.CL
LSTM-based Deep Neural Network With A Focus on Sentence Representation for Sequential Sentence Classification in Medical Scientific Abstracts
Austrian Institute of Technology（奥地利技术研究院）；FPT University（FPT大学）；HCM University of Technology（胡志明市理工大学）
本文提出一种基于LSTM的深度网络以构建全面的句子表示，结合C-RNN与MLP处理医学摘要的序列化句子分类任务，在多个基准上显著提升了F1分数。
2024-05-31 cs.CL
WhiteningBERT: An Easy Unsupervised Sentence Embedding Approach
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；Sun Yat-sen University（中山大学）；Peking University（北京大学）；Microsoft STC Asia（微软亚太研发集团）
以无监督的方式产生句子的嵌入对于自然语言匹配和检索问题在实践中是有价值的。在这项工作中，我们对基于预训练模型的无监督句子嵌入进行了彻底的检查。我们研究了四个预训练模型，并在七个关于句子语义的数据集上进行了大量实验。我们有主要的发现。首先，平均所有令牌比只使用[CLS]向量更好。第二，将顶层和底层结合起来比只使用顶层要好。最后，一个简单的基于白化的向量归一化策略，不到10行代码，始终提高了性能。
2021-04-09 cs.CL
CALRec: Contrastive Alignment of Generative LLMs for Sequential Recommendation
University of Cambridge（剑桥大学）；Google（谷歌公司）
提出CALRec两阶段LLM微调框架，结合对比损失与语言建模损失，显著提升序列推荐性能并超越基线。
2024-08-23 cs.AI cs.CL cs.IR
A Sequential Neural Encoder with Latent Structured Description for Modeling Sentences
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个序列神经编码器与潜在结构化描述（SNELSD）建模的句子。该模型将潜在的块级表示引入到传统的顺序神经编码器中，即，具有长短期记忆（LSTM）单元的递归神经网络（RNN），以在语义建模中考虑语言的组合性。SNELSD模型具有包括检测层和描述层的分层结构。检测层预测输入句子中潜在词块的边界，并为每个词导出块级向量。描述层利用修改后的LSTM单元以递归方式处理这些块级向量，并产生顺序编码输出。这些输出向量进一步与词向量或链式LSTM编码器的输出连接，以获得最终的句子表示。所有的模型参数都是以端到端的方式学习的，而不依赖于额外的文本分块或语法解析。一个自然语言推理（NLI）任务和一个情感分析（SA）任务被用来评估我们提出的模型的性能。实验结果表明，所提出的SNELSD模型的有效性，探索任务相关的组块模式在语义建模的句子。此外，所提出的方法实现了更好的性能比传统的链LSTM和树结构的LSTM在这两个任务。
2017-11-15 cs.CL
Knowledge Representation via Joint Learning of Sequential Text and Knowledge Graphs
Tsinghua University（清华大学）
文本信息被认为是知识表示学习的重要补充。从纯文本中构造知识表示面临两个主要挑战：（1）如何充分利用纯文本中实体的顺序上下文进行知识学习。(2)如何动态地为KRL选择对应实体的信息句。在本文中，我们提出了顺序文本体现知识表示学习建立知识表示从多个句子。给定一个实体的每一个参考句子，我们首先利用循环神经网络与池或长短期记忆网络编码的句子相对于实体的语义信息。然后，我们进一步设计了一个注意力模型来衡量每个句子的信息量，并建立基于文本的实体表示。我们评估我们的方法上的两个任务，包括三重分类和链接预测。实验结果表明，我们的方法优于其他基线上的两个任务，这表明我们的方法是能够选择信息的句子和编码的文本信息很好地到知识表示。
2016-09-22 cs.CL
