Calculating the similarity between words and sentences using a lexical database and corpus statistics
Lakehead University（湖首大学）
计算句子之间的语义相似度是自然语言处理领域中一个长期存在的问题。语义分析领域在文本分析的相关研究中起着至关重要的作用。语义相似度随着操作域的不同而不同。在本文中，我们提出了一种方法，处理这个问题，将语义相似性和语料库统计。为了计算单词和句子之间的语义相似度，所提出的方法遵循基于边缘的方法使用词汇数据库。该方法可以应用于各种领域。该方法已测试的基准标准和平均人类相似性数据集。当在这两个数据集上进行测试时，它为单词和句子相似度提供了最高的相关值，优于其他类似的模型。对于单词相似度，我们得到的皮尔逊相关系数为0.8753，对于句子相似度，得到的相关系数为0.8794。
2018-02-20 cs.CL
Enhancing Pre-trained Language Model with Lexical Simplification
Shanghai Jiao Tong University（上海交通大学）
对于人类读者和预训练的语言模型（PrLM），词汇多样性可能会导致理解给定句子的潜在语义时的混乱和不准确。通过用简单的替代词代替复杂的词，词汇简化（LS）是一种公认的减少词汇多样性的方法，从而提高句子的可理解性。在本文中，我们利用LS，并提出了一种新的方法，可以有效地提高性能的PrLM在文本分类。基于规则的简化过程应用于给定的句子。PrLM被鼓励预测的真实标签与辅助输入的简化版本的给定的句子。使用强PrLM（BERT和ELECTRA）作为基线，我们的方法仍然可以进一步提高各种文本分类任务的性能。
2020-12-30 cs.CL
Segmenting Natural Language Sentences via Lexical Unit Analysis
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了词汇单元分析（LUA），一般序列分割任务的框架。给定一个自然语言句子，LUA评分的所有有效的分割候选人，并利用动态规划（DP），以提取最大的得分。LUA具有许多吸引人的特性，例如内在地保证预测的分割是有效的，并促进全局最优的训练和推理。此外，LUA的实际时间复杂度可以降低到线性时间，这是非常有效的。我们在15个数据集上对句法组块、命名实体识别、槽填充、汉语分词和汉语词性标注等5个任务进行了广泛的实验。我们的模特已经在其中13个项目上取得了最先进的表现。结果还表明，识别长片段的F1得分显著提高。
2021-04-16 cs.CL
Learning semantic sentence representations from visually grounded language without lexical knowledge
Centre for Language Studies（语言研究中心）；Radboud University（拉德堡德大学）
当前学习句子语义表示的方法通常使用先前的词级知识。目前的研究旨在利用视觉信息，以捕捉句子层次的语义，而不需要词嵌入。我们使用一个多模态句子编码器训练的语料库的图像与匹配的文本标题，以产生视觉接地句子嵌入。训练深度神经网络以将两种模态映射到公共嵌入空间，使得对于图像，可以检索对应的字幕，反之亦然。我们证明了我们的模型在两个流行的图像标题检索基准数据集：MSCOCO和Flickr8k上取得了与当前最先进的结果相当的结果。我们使用语义文本相似性基准任务的数据评估所得到的句子嵌入的语义内容，并表明多模态嵌入与人类语义相似性判断相关。该系统在这些基准测试中的几个上实现了最先进的结果，这表明仅在多模态数据上训练的系统，而不假设任何单词表示，能够捕获句子级别的语义。重要的是，这一结果表明，我们不需要先验知识的词汇级语义模型的句子级语义。这些发现表明视觉信息在语义学中的重要性。
2019-03-27 cs.CL
Generalization through Lexical Abstraction in Transformer Models: The Case of Functional Words
Idiap Research Institute（Idiap 研究所）；University of Geneva（日内瓦大学）
本研究探究预训练Transformer模型如何编码功能词及其在平行句中的泛化能力，发现混合训练可揭示共享句法语义结构。
2026-09-18 cs.CL
Lexical Substitution is not Synonym Substitution: On the Importance of Producing Contextually Relevant Word Substitutes
Technical University of Munich（慕尼黑工业大学）
本文提出 ConCat 方法，通过利用原始句子增强上下文信息来改进词汇替换任务，实验表明其优于现有方法，并揭示了 CoInCo 基准的评估缺陷。
2025-02-06 cs.CL
Statistical Analysis of Sentence Structures through ASCII, Lexical Alignment and PCA
New Jersey Institute of Technology（新泽西理工学院）
本研究通过ASCII、词性对齐和PCA分析句子结构的平衡，提出一种资源高效的统计方法，用于评估文本平衡并补充传统语法工具。
2025-12-11 cs.CL
Sentence-level Aggregation of Lexical Metrics Correlates Stronger with Human Judgements than Corpus-level Aggregation
IBM Research（IBM研究院）；PUC-Rio（里约天主教大学）
本文证明词汇指标采用句子级聚合（对片段得分取平均）比语料库级聚合与人类判断相关性更强，且更接近神经指标，有助于提升低资源语言MT评估的可信度。
2025-01-23 cs.CL
Multilingual Lexical Simplification via Paraphrase Generation
Yangzhou University（扬州大学）；University of South Florida（南佛罗里达大学）
本文提出一种基于复述生成的多语言词汇简化方法，将复述视为零样本翻译任务，通过仅关注复杂词词汇变化的新颖解码策略生成替代词，在英语、西班牙语和葡萄牙语上显著优于BERT和零样本GPT3方法。
2023-07-28 cs.CL
Fusing Semantic, Lexical, and Domain Perspectives for Recipe Similarity Estimation
Jožef Stefan Institute（乔塞夫·斯塔芬研究所）；S.Cyril and Methodius University（斯·西里尔和梅多蒂乌大学）；Biotechnical Faculty（生物技术系）
本研究通过融合语义、词汇和领域视角，提出了一种食谱相似性估计方法，并通过专家评估验证了不同相似性因素的影响。
2026-03-11 cs.CL
Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection
Carnegie Mellon University（卡内基梅隆大学）；Bosch Research（博世研究院）
条件文本生成一直是一项具有挑战性的任务，尚未看到最先进模型的人类水平性能。在这项工作中，我们特别关注Commongen基准，其目的是为给定的一组输入概念生成一个合理的句子。尽管在其他任务中取得了进展，但在此数据集上进行微调的大型预训练语言模型通常会产生语法正确但在质量上偏离人类对常识的理解的句子。此外，生成的序列无法满足匹配的词性和完整的概念覆盖等词汇要求。在本文中，我们探讨常识知识图谱如何提高模型性能，关于常识推理和词汇约束解码。我们提出的策略，以提高所生成的文本，我们完成的语义正确性，通过：从概念网提取常识关系，注入这些关系到统一语言模型（UniLM）通过注意力机制，并通过输出约束执行上述词汇的要求。通过执行几个消融，我们发现，常识注入使生成的句子更符合人类的理解，同时保持符合词汇的要求。
2020-12-19 cs.CL
Fast, Effective, and Self-Supervised: Transforming Masked Language Models into Universal Lexical and Sentence Encoders
University of Cambridge（剑桥大学）
近年来，预训练的掩蔽语言模型（MLMs）已经彻底改变了NLP。然而，以前的工作表明，现成的MLMs是不是有效的通用词汇或句子编码器，没有进一步的任务特定的微调NLI，句子相似性，或释义任务，使用注释的任务数据。在这项工作中，我们证明，它是可以把MLMs有效的通用词汇和句子编码器，即使没有任何额外的数据，没有任何监督。我们提出了一种非常简单，快速和有效的对比学习技术，称为BPERT，它转换MLMs（例如，BERT和RoBERTa）在20-30秒内转换成这样的编码器，而无需任何额外的外部知识。BERT-BERT依赖于完全相同或稍微修改的字符串对作为正（即，同义）微调的例子，并旨在最大限度地提高他们的相似性，在身份微调。我们报告了在不同领域和不同语言的词汇级和词汇级任务中，与使用E-BERT的现成MLMs相比的巨大收益。值得注意的是，在标准句子语义相似性（STS）任务中，我们的自监督Sentence-BERT模型甚至与先前工作中任务调整的Sentence-BERT模型的性能相匹配。最后，我们深入研究了MLMs的内部工作原理，并提出了一些证据，说明为什么这种简单的方法可以产生有效的通用词汇和句子编码器。
2021-09-09 cs.AI cs.CL cs.LG
An improved parser for data-oriented lexical-functional analysis
我们提出了一个LFG-DOP解析器，它使用片段从LFG注释的句子来解析新的句子。在Verbmobil和Homecentre语料库上的实验表明：（1）Viterbi n best搜索比MonteCarlo搜索快100倍，而两者都达到了相同的精度;（2）对于LFG-DOP，DOP假设的分析精度随着片段大小的增加而增加;（3）LFG-DOP的相对频率估计比折扣频率估计性能差;（4）LFG-DOP的性能明显优于Tree-DOP，仅在树结构上进行评价。
2000-09-27 cs.CL
Syntactic Belief Update as the Driver of Garden Path Processing Difficulty
Johns Hopkins University（约翰霍普金斯大学）；University College London（伦敦大学学院）
针对词汇惊异度无法预测花园路径句处理难度的问题，提出基于广义Rényi散度的句法信念更新度量，在关键单词处衡量信念更新幅度，更好地拟合人类阅读时间数据。
2026-09-01 cs.CL
Universal Neural Machine Translation for Extremely Low Resource Languages
The University of Hong Kong（香港大学）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在本文中，我们提出了一种新的通用机器翻译方法，专注于语言的并行数据量有限。我们提出的方法利用迁移学习的方法来共享词汇和句子级别的表示在多个源语言到一个目标语言。词汇部分通过通用词汇表示共享，以支持多语言单词级共享。由来自与所有其它语言共享源编码器的所有源语言的专家的模型来表示中间级共享。这使得低资源语言能够利用高资源语言的词汇和句子表示。我们的方法能够使用6k句子的小型并行语料库在罗马尼亚语-英语WMT 2016上实现23个BLEU，而使用多语言训练和反向翻译的强基线系统的BLEU为18个。此外，我们表明，所提出的方法可以通过在zero-shot设置中微调预训练的多语言系统，在同一数据集上实现近20个BLEU。
2018-04-17 cs.CL
LexRank: Graph-based Lexical Centrality as Salience in Text Summarization
University of Michigan（密歇根大学）；School of Information（信息学院）
介绍了一种基于随机图的文本单元相对重要性计算方法，用于自然语言处理。我们测试的问题上的文本摘要（TS）的技术。提取TS依赖于句子显著性的概念来识别文档或文档集合中最重要的句子。显著性通常根据特定重要词的存在或根据与质心伪句子的相似性来定义。我们考虑一种新的方法，LexRank，用于计算句子的重要性的概念的基础上的特征向量中心的图形表示的句子。该模型采用基于句内余弦相似度的连接矩阵作为句子图形表示的邻接矩阵。我们的系统，基于LexRank排名第一位，在一个以上的任务在最近的DUC 2004年的评估。在本文中，我们提出了一个详细的分析，我们的方法，并将其应用到一个更大的数据集，包括早期DUC评估的数据。我们讨论了几种使用相似图计算中心度的方法。结果表明，在大多数情况下，基于度的方法（包括LexRank）优于基于质心的方法和其他参与DUC的系统。此外，与阈值方法的LexRank优于其他度为基础的技术，包括连续的LexRank。我们还表明，我们的方法是相当不敏感的数据，可能会导致从一个不完美的主题聚类的文件中的噪声。
2011-09-26 cs.CL
Unsupervised Candidate Ranking for Lexical Substitution via Holistic Sentence Semantics
University of Science and Technology of China（中国科学技术大学）
针对词汇替换候选词排序中难以建模双向影响的问题，提出基于注意力权重和积分梯度的无监督方法，结合语义相似度有效提升了排序性能。
2025-09-15 cs.AI cs.CL
Novel Ranking-Based Lexical Similarity Measure for Word Embedding
Politechnika Poznańska（波兹南理工大学）
分布语义模型从上下文中的语言项推导出词空间。通过定义对应于词汇实体的向量之间的距离度量来获得意义。这种载体存在几个问题。在本文中，我们提供了一个指导方针后处理改进的基线向量。我们专注于细化的相似性方面，解决不完善的模型，通过应用枢纽减少方法，实现关系知识的模型，并提供了一个新的排名相似性定义，给予最大的权重的前1个组件值。这种特征排序类似于信息检索中使用的特征排序。所有这些丰富的联合ESL和TOEF集比较优于目前的文献结果。由于单个词嵌入是任何语义任务的基本元素，因此可以预期这些任务的结果会有显着改善。此外，我们改进的文本处理方法可以转化为生物序列的连续分布式表示，用于深度蛋白质组学和基因组学。
2017-12-22 cs.CL
Revealing the Blind Spot of Sentence Encoder Evaluation by HEROS
National Taiwan University（国立台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
该研究针对传统句子文本相似度基准的评估盲区，构建高词汇重叠最小对诊断数据集HEROS，测试发现多数无监督句子编码器对否定不敏感，训练数据集是编码器相似度判断的主要决定因素。
2023-06-13 cs.CL
An LLM-Enhanced Adversarial Editing System for Lexical Simplification
East China Normal University（华东师范大学）
提出一种无需平行语料的LLM增强对抗编辑系统用于词汇简化，通过混淆和不变性损失引导预测编辑，并利用LLM增强损失蒸馏知识至小规模系统，结合难度感知填充模块替换复杂词，在三个基准数据集上验证了有效性。
2024-03-22 cs.CL
As Good as New. How to Successfully Recycle English GPT-2 to Make Models for Other Languages
University of Groningen（格罗宁根大学）
大型生成语言模型在英语中非常成功，但其他语言落后，部分原因是数据和计算限制。我们提出了一种方法，可以克服这些问题，通过调整现有的预训练模型，以新的语言。具体来说，我们描述了适应英语GPT-2的意大利语和荷兰语的再培训词汇嵌入没有调整的Transformer层。因此，我们获得的词汇嵌入意大利语和荷兰语与原来的英语词汇嵌入。此外，我们通过将GPT-2小的重新学习的词汇嵌入转换到GPT-2中等嵌入空间来扩展复杂性。这种方法最大限度地减少了训练量，并防止在GPT-2学习的自适应过程中丢失信息。重新学习词汇嵌入的英语GPT-2模型可以生成意大利语和荷兰语的真实句子。虽然平均而言，这些句子仍然可以被人类识别为人工句子，但它们的评估结果与完全从头开始训练的GPT-2模型生成的句子相当。
2021-06-09 cs.CL
Rethinking Text Attribute Transfer: A Lexical Analysis
Columbia University（哥伦比亚大学）；Bytedance AI Lab（字节跳动人工智能实验室）
文本属性迁移是指对某些语言属性（如情感、风格、作者等）的修改。并将它们从一种类型转换为另一种类型。在本文中，我们的目的是分析和解释在转移过程中发生了什么变化。我们首先观察到，在许多现有的模型和数据集中，句子中的某些单词在确定句子属性类方面发挥着重要作用。这些单词称为\textit{the Pivot Words}。基于这些主元词，我们提出了一个词汇分析框架\textit{the Pivot Analysis}，定量分析这些词在文本属性分类和迁移中的作用。我们将此框架应用于现有的数据集和模型，并表明：（1）主元词是句子属性分类的强特征;（2）要改变句子的属性，许多数据集只需要改变某些主元词;（3）因此，许多迁移模型只执行词汇级别的修改，而不改变更高级别的句子结构。我们的工作提供了一个深入的了解语言属性转移，并进一步确定了未来的要求和挑战，这项任务\footnote{Our code can be found at https://github.com/FranxYao/pivot_analysis}。
2019-09-26 cs.CL cs.LG
Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual Lexical Semantic Similarity
University of Cambridge（剑桥大学）；Technion, IIT（以色列理工学院）；CNRS（法国国家科学研究中心）；ENS/PSL（巴黎高等师范学院/巴黎文理研究大学）；Univ. Sorbonne nouvelle/USPC（新索邦大学/巴黎索邦西岱大学）
我们介绍了Multi-SimLex，这是一个大规模的词汇资源和评估基准，涵盖了12种类型不同的语言的数据集，包括主要语言（例如，普通话、西班牙语、俄语）以及资源较少的语言（例如，威尔士语、斯瓦希里语）。每个语言数据集都注释了语义相似性的词汇关系，包含1，888个语义对齐的概念对，提供了词类（名词，动词，形容词，副词），频率等级，相似性间隔，词汇字段和具体性水平的代表性覆盖范围。此外，由于跨语言的概念对齐，我们提供了一套66跨语言语义相似性数据集。由于其广泛的规模和语言覆盖范围，Multi-SimLex为实验评估和分析提供了全新的机会。在其单语和跨语言基准测试中，我们评估和分析了各种最新的单语和跨语言表示模型，包括静态和上下文词嵌入（如fastText，M-BERT和XLM），外部通知的词汇表示，以及完全无监督和（弱）监督的跨语言词嵌入。我们还提供了一个逐步的数据集创建协议，用于为其他语言创建一致的多Simlex风格的资源。我们通过一个网站做出了这些贡献--公开发布Multi-SimLex数据集，它们的创建协议，强大的基线结果，以及有助于指导多语言词汇语义和表示学习未来发展的深入分析--这将鼓励社区努力将Multi-Simlex进一步扩展到更多语言。如此大规模的语义资源可以激发跨语言NLP的进一步发展。
2020-03-10 cs.CL
Towards Arabic Sentence Simplification via Classification and Generative Approaches
University of Leeds（利兹大学）；Alexandria University（亚历山大大学）
本文试图建立一个现代标准阿拉伯语（MSA）的词典级简化系统。我们使用两种方法进行了句子简化实验：（i）一种分类方法，使用Arabic-BERT，一种预先训练的上下文模型以及一种fastText词嵌入模型来实现词汇简化管道;（ii）一种生成方法，通过应用多语言文本到文本传输Transformer mT5的Seq 2Seq技术。我们通过对齐国际知名阿拉伯小说《Saaq al-Bambuu》中的原始句子和简化句子来开发我们的训练语料库。我们评估这些方法的有效性，通过比较生成的简单句子的目标简单句子使用BERTScore评价指标。通过BERTScore，mT5模型产生的简单句子达到P 0.72，R 0.68和F-1 0.70，而结合Arabic-BERT和fastText达到P 0.97，R 0.97和F-1 0.97。此外，我们报告了这些实验的手动误差分析。\url{https://github.com/Nouran-Khallaf/Lexical_Simplification}
2022-04-20 cs.CL
When a Good Translation is Wrong in Context: Context-Aware Machine Translation Improves on Deixis, Ellipsis, and Lexical Cohesion
Yandex（扬达克斯）；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
虽然机器翻译错误是由于缺少句子以外的上下文而引起的，但上下文感知的NMT系统的发展受到一些问题的阻碍。首先，标准度量对文档级翻译一致性的改进不敏感。其次，以前的工作上下文感知的NMT假设，对齐的并行数据包括完整的文件，而在大多数实际情况下，这样的文档级数据构成的可用并行数据的一小部分。为了解决第一个问题，我们进行了一项人类研究的英语-俄语字幕数据集，并确定指示，省略和词汇衔接的三个主要来源的不一致。然后，我们创建针对这些现象的测试集。为了解决第二个缺点，我们考虑了一个设置，其中与文档级对齐的数据相比，有大量的文档级数据可用。我们引入了一个模型，适合这种情况下，并证明了我们的新基准测试的上下文无关的基线上的主要收益，而不会牺牲性能与BLEU测量。
2019-06-07 cs.CL
New Evaluation Paradigm for Lexical Simplification
School of Information and Engineering, Yangzhou University（扬州大学信息工程学院）；China Academy of Electronic and Information Technology（中国电子信息产业发展研究院）
针对大语言模型直接简化句子而传统数据集无法评估的问题，提出人机协作构建一体化LS数据集的新标注方法，并引入多LLM协作方法模拟LS任务各步骤，实验证明其显著优于现有基线。
2025-01-25 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Lexical Coupling in GUI Element Grounding: Sentence Embeddings Track Labels across Mobile and Web
University of Helsinki（赫尔辛基大学）
该研究针对GUI定位评估中嵌入相似度与语义定位的混淆问题，对比编码器与词汇基线，提出需报告词汇基线等诊断指标以区分标签恢复与语义定位。
2026-08-25 cs.AI cs.CL cs.HC
Lexical representation explains cortical entrainment during speech comprehension
Radboud University（拉德堡德大学）；NYU Shanghai（上海纽约大学）
最近的一项关于口语句子理解的神经影像学研究的结果被解释为皮层夹带到层次句法结构的证据。我们提出了一个简单的计算模型，预测功率谱从这项研究中，即使该模型的语言知识仅限于词汇水平，和词级表示不结合到更高级别的单位（短语或句子）。因此，皮层夹带的结果也可以解释从词汇性质的刺激，而不求助于层次句法。
2018-01-10 cs.CL q-bio.NC
Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity
Johns Hopkins University（约翰斯·霍普金斯大学）
最近的研究表明，多语言神经机器翻译（NMT）模型可以用来判断一个句子对同一语言中另一个句子的释义程度（Thompson and Post，2020）;然而，试图使用标准束搜索从这样的模型中生成释义会产生微不足道的副本或近似副本。我们引入了一个简单的释义生成算法，该算法不鼓励在输入中产生n元语法。我们的方法可以从一个单一的多语言NMT模型中生成多种语言的释义。此外，输入和输出之间的词汇多样性的量可以在生成时控制。我们进行了一次人工评估，将我们的方法与在大型英语合成释义数据库ParaBank 2上训练的释义器进行比较（Hu等人，2019 c），并发现我们的方法产生的释义，更好地保留意义，更符合语法，为同一水平的词汇多样性。其他较小的人类评估表明，我们的方法也适用于两种非英语语言。
2020-10-28 cs.CL
Patterns of Lexical Ambiguity in Contextualised Language Models
Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）
语境化的语言模型的一个核心方面是，它们应该能够通过上下文来区分词汇歧义词的含义。在本文中，我们探讨在何种程度上的语境嵌入的词的形式，显示多重意义反映了传统的区分多义词和同音异义词。为此，我们引入了一个扩展的，人类注释的数据集的分级词义相似性和共同预测的可接受性，并评估嵌入的相似性如何预测相似的意义。这两种人类判断表明，多义词解释的相似性属于意义同一性和同音异义之间的连续体。然而，我们也观察到显着差异的相似性评级的多义词，形成一致的模式，不同类型的多义词的意义交替。因此，我们的数据集似乎捕捉了词汇歧义的复杂性的相当大的一部分，并可以提供一个现实的测试床上下文嵌入。在测试的模型中，BERT Large显示出与收集的词义相似性评级最强的相关性，但难以始终如一地复制观察到的相似性模式。当聚类模糊的词的形式，其嵌入的基础上，该模型在辨别同音异义词和某些类型的多义词的变化，但一直失败的其他显示高的信心。
2021-09-29 cs.CL
Utilizing Lexical Similarity between Related, Low-resource Languages for Pivot-based SMT
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们研究了在一个低资源，基于短语的SMT设置相关语言之间的翻译。我们发现，一个子词级的基于主元的SMT模型使用相关的枢轴语言是大大优于单词和词素级的枢轴模型。它与最好的直接翻译模型也具有很强的竞争力，这是令人鼓舞的，因为没有使用直接的源-目标训练语料库。我们还表明，结合多个相关的语言枢纽模型可以媲美直接翻译模型。因此，使用子词作为翻译单元，再加上多个相关的枢纽语言，可以弥补缺乏直接的平行语料库。
2017-10-04 cs.CL
CharSpan: Utilizing Lexical Similarity to Enable Zero-Shot Machine Translation for Extremely Low-resource Languages
IIT Hyderabad（印度理工学院海得拉巴分校）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Microsoft（微软公司）
本文提出CharSpan方法，通过字符跨度噪声增强利用高资源语言与极低资源语言的词汇相似性，实现零样本机器翻译，在多个语系上达到最先进性能。
2024-02-04 cs.CL
Exploring Dowker Homology for Sentence Similarity
University of Zürich（苏黎世大学）
本研究将句子对的词元嵌入视为Transformer潜空间的点云，探究Dowker同调捕捉句子相似度的能力，发现其可用于相似度评估与可视化，推导的单值摘要表现尚可但未优于标准度量。
2026-08-25 cs.CL
A Graph Diffusion Algorithm for Lexical Similarity Evaluation
Slovak University of Technology（斯洛伐克技术大学）；Faculty of Civil Engineering（土木工程学院）
本文提出一种基于加权有向图和狄利克雷边界条件图扩散方程的词汇相似度评估算法，利用音标转写和改进的Damerau-Levenshtein距离计算翻译间距离，并通过欧洲语言案例验证其在多语言关系分析中的有效性。
2025-04-09 cs.CL
Neobility at SemEval-2017 Task 1: An Attention-based Sentence Similarity Model
Shan-Si Elementary School（山寺小学）；University of Washington（华盛顿大学）
本文描述了一种神经网络模型，该模型在SemEval 2017跨语言语义文本相似性（STS）任务中表现出色（前6名）。我们的系统采用了基于注意力的递归神经网络模型，优化了句子相似度。在本文中，我们描述了我们参与的多语言STS任务，跨英语，西班牙语和阿拉伯语的相似性措施。
2017-03-16 cs.CL
Deep Learning Approaches to Lexical Simplification: A Survey
George Mason University（乔治梅森大学）；Aston University（阿斯顿大学）；Manchester Metropolitan University（曼彻斯特城市大学）
本文综述了2017至2023年间深度学习在词汇简化（LS）及其子任务中的最新进展，并提供了基准数据集以促进未来LS系统开发。
2023-05-19 cs.CL
GLIMMER: Incorporating Graph and Lexical Features in Unsupervised Multi-Document Summarization
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Information Technology, Deakin University（迪肯大学信息技术学院）；Department of Computer Science, Beijing Technology and Business University（北京工商大学计算机学院）
针对预训练多文档摘要模型依赖大规模语料、领域受限，传统无监督方法易丢失信息的问题，提出融合图与词汇特征的轻量无监督方法GLIMMER，在多个数据集上性能优于现有无监督方法，零样本下ROUGE得分超越主流预训练模型。
2024-08-19 cs.CL
Direct Network Transfer: Transfer Learning of Sentence Embeddings for Semantic Similarity
University of Michigan（密歇根大学）
句子编码器使用神经网络产生句子嵌入，通常通过它们如何很好地传输到下游任务来评估。这包括语义相似性，这是自然语言理解中的一项重要任务。尽管已经有很多工作致力于构建句子编码器，但伴随的迁移学习技术却相对较少受到关注。在本文中，我们提出了一个专门用于语义相似性的迁移学习设置，我们称之为直接网络迁移。通过在几个标准文本相似性数据集上的实验，我们表明，将直接网络传输应用于现有编码器可以获得最先进的性能。此外，我们比较了几种将句子编码器转移到语义相似性任务的方法，表明迁移学习设置的选择在许多情况下会极大地影响性能，并且因编码器和数据集而异。
2018-10-31 cs.CL
Discovering Lexical Similarity Through Articulatory Feature-based Phonetic Edit Distance
Mohammad Ali Jinnah University（穆罕默德·阿里·真纳大学）；FAST NUCES（巴基斯坦国家计算机与新兴科学大学）
两种语言之间的词汇相似性揭示了许多有趣的语言学见解，如遗传关系，相互理解，以及一个人的词汇对另一个人的使用。有多种方法可用于评估一次总付。在同样的方面，本文提出了一种方法的语音编辑距离（PED），使用软比较的字母，使用与它们相关的发音功能。该系统将单词转换为相应的国际音标（IPA），然后将IPA转换为其发音特征集。之后，使用所提出的方法比较发音特征集的列表。例如，PED给出德语单词vater和波斯语单词pidar的编辑距离为0.82;类似地，希伯来语单词shalom和阿拉伯语单词salaam的编辑距离为0.93，而对于并置比较，它们基于IPA的编辑距离分别为4和2。实验用六种语言（阿拉伯语、印地语、马拉地语、波斯语、梵语和乌尔都语）进行。在这方面，我们提取了部分的语音明智的单词列表从通用Departments语料库和评估LS的每一对语言。因此，与所提出的方法，我们发现的遗传亲和力，相似性，和借用/外来词，尽管这些语言之间的脚本差异和声音的变化现象。
2020-08-16 cs.CL
Chinese Sentences Similarity via Cross-Attention Based Siamese Network
Delft University of Technology（代尔夫特理工大学）
测量句子相似性是当今的一个关键研究领域，因为它可以让机器更好地理解人类语言。本文提出了一种交叉注意连体网络（CATsNet）来完成汉语句子语义学习和句子相似度比较的任务。这种新的模型能够捕捉非局部特征。此外，我们还尝试在模型中应用长短期记忆（LSTM）网络来提高其性能。在LCQMC数据集上进行了实验，结果表明，我们的模型可以达到更高的精度比以前的工作。
2021-05-06 cs.CL
LSBert: A Simple Framework for Lexical Simplification
Hefei University of Technology（合肥工业大学）；Mininglamp Academy of Sciences（明略科学院）
词汇简化（LS）的目的是将句子中的复杂词替换为意义相同的简单词，以简化句子。目前的无监督词汇简化方法只依赖于复杂词本身而不考虑给定的句子来生成候选替换，这将不可避免地产生大量的虚假候选。本文提出了一个基于预训练表示模型BERT的词汇简化框架LSBert，它能够（1）在检测需要简化的词和生成替代候选词时利用更广泛的上下文，（2）考虑五个高质量的特征来对候选词进行排序，包括BERT预测顺序，基于Bert的语言模型和释义数据库PPDB，除了在其他LS方法中常用的词频和词相似度之外。我们表明，我们的系统输出语法正确和语义适当的词汇简化，并获得了明显的改善与这些基线相比，在三个著名的基准测试中，超过了29.8的准确度点的最先进的。
2020-06-25 cs.CL cs.IR
Specializing Unsupervised Pretraining Models for Word-Level Semantic Similarity
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
无监督预训练模型已被证明可以促进广泛的下游NLP应用。然而，这些模型保留了传统静态词嵌入的一些局限性。特别是，它们只编码原始文本语料库中可用的分布知识，通过语言建模目标合并。在这项工作中，我们补充这样的分布知识与外部词汇知识，也就是说，我们集成的离散知识词级语义相似度的预训练。为此，我们将标准的BERT模型推广到多任务学习环境中，在该环境中，我们将BERT的掩蔽语言建模和下一个句子预测目标与二进制词关系分类的辅助任务相结合。我们的实验表明，我们的“词汇知情”BERT（LIBERT），专门为词级语义相似性，产生更好的性能比词汇盲“香草”BERT在几个语言理解任务。具体地说，LIBERT在GLUE基准测试的10个任务中有9个优于BERT，在剩下的一个任务中与BERT不相上下。此外，我们在词汇简化的3个基准上显示出一致的收益，这是一项关于单词级语义相似性的知识至关重要的任务。
2020-04-20 cs.CL
Redefining Simplicity: Benchmarking Large Language Models from Lexical to Document Simplification
School of Information and Engineering, Yangzhou University（扬州大学信息工程学院）；School of Computer Science and Information Technology, Hefei University of Technology（合肥工业大学计算机与信息学院）
针对现有研究仅验证大语言模型（LLMs）在句子简化任务优势的局限，首次全面分析其在词汇、句法、句子和文档简化四个文本简化任务的性能，对比多种LLMs与传统方法，发现LLMs在所有任务中均更优且输出质量常超人类参考，为TS研究提供新基准。
2025-02-12 cs.CL
How Can BERT Help Lexical Semantics Tasks?
Westlake University（西湖大学）
诸如BERT之类的上下文化嵌入可以作为NLP任务的强输入表示，优于诸如skip-gram、CBOW和GloVe之类的静态嵌入。然而，这样的嵌入是动态的，根据一个词汇级上下文计算，这限制了它们在词汇语义任务中的使用。我们通过使用动态嵌入作为训练静态嵌入的单词表示来解决这个问题，从而利用它们强大的表示能力来消除上下文信息的歧义。结果表明，该方法导致改进传统的静态嵌入的词汇语义任务的范围内，获得最好的报告结果在七个数据集。
2020-04-05 cs.CL
Lexical Simplification with Pretrained Encoders
Yangzhou University（扬州大学）；Hefei University of Technology（合肥工业大学）；Mininglamp Academy of Sciences（明略科学院）；Minininglamp Technology（明略科技）
词汇简化（LS）的目的是将句子中的复杂词替换为意义相同的简单词。目前的无监督词汇简化方法只依赖于复杂词本身而不考虑给定的句子来生成候选替换，这将不可避免地产生大量的虚假候选。我们提出了一个简单的LS方法，利用双向编码器表示从Transformers（BERT），它可以同时考虑给定的句子和复杂的词在生成候选替换的复杂的词。具体来说，我们屏蔽原始句子的复杂单词，以输入到BERT中来预测屏蔽的标记。预测结果将用作候选替换。尽管是完全无监督的，实验结果表明，我们的方法获得了明显的改善相比，这些基线利用语言数据库和平行语料库，超过了国家的最先进的超过12个精度点上三个著名的基准。
2020-10-29 cs.AI cs.CL cs.IR
GraphLSS: Integrating Lexical, Structural, and Semantic Features for Long Document Extractive Summarization
Hasso Plattner Institute (HPI)（哈索·普拉特纳研究所（HPI））；University of Potsdam（波茨坦大学）
针对现有异构图神经网络长文档摘要模型依赖外部工具、结构复杂的问题，提出融合词汇、结构、语义特征的GraphLSS异构图构建方法，无需辅助模型，在两个基准数据集上性能比肩顶尖图方法、优于近期非图模型，且已开源代码。
2024-10-25 cs.AI cs.CL
Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Siemens AG（西门子股份公司）
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性（STS）的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法，包括降维（Yin和Schütze，2016）、广义典型相关分析（Rastogi等人，2015）和交叉视图自动编码器（Bollegala和Bao，2018）。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平（SoTA），与单源系统相比，Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
Lexical semantics enhanced neural word embeddings
Shandong Jianzhu University（山东建筑大学）
当前自然语言处理的突破极大地受益于神经语言模型，通过该模型，分布式语义可以利用神经数据表示来促进下游应用。由于神经嵌入使用上下文预测来产生密集向量，因此它们不可避免地倾向于捕获比语义相似性更多的语义关联。为了改进向量空间模型在推导语义相似度方面的性能，我们通过深度度量学习对神经词嵌入进行后处理，通过深度度量学习，我们可以将包括同义/反义和上下义关系在内的词汇语义关系注入到分布空间中。我们引入层次拟合，一种新的语义专业化的方法来建模语义相似性的细微差别固有地存储在IS-A层次结构。层次拟合在常用词和稀有词基准数据集上获得了最先进的结果，用于从神经词嵌入中获得语义相似性。它还采用了一个不对称的距离函数来明确地专门化上位词的方向性，通过它显着提高香草嵌入在多个评价任务中检测上位词和方向性，而不会对语义相似性判断产生负面影响。结果表明，层次拟合在后期融合中专门化具有语义关系的神经嵌入的有效性，潜在地扩展了其适用性，以聚合异构数据和各种知识资源，用于学习多模态语义空间。
2022-10-03 cs.CL
LEA: Improving Sentence Similarity Robustness to Typos Using Lexical Attention Bias
NielsenIQ Innovation（尼尔森IQ创新部）
本文提出词汇感知注意力模块 LEA，通过融合句子间词语的原始文本相似度来缓解拼写错误引起的词元分布偏移，从而提升交叉编码器在句子相似度任务中的鲁棒性，并在多个数据集上验证了其有效性。
2023-07-06 cs.AI cs.CL
Automatic classification of bengali sentences based on sense definitions present in bengali wordnet
College of Engineering and Management, Kolaghat（科拉加特工程与管理学院）；Jadavpur University, Kolkata（加尔各答贾达夫普尔大学）；Indian Statistical Institute, Kolkata（加尔各答印度统计研究所）
基于孟加拉语WordNet中可用的词的意义定义，尝试将孟加拉语句子根据其潜在的意义自动分类为不同的组。输入的句子收集从50个不同类别的孟加拉语文本语料库中开发的TDIL项目的印度政府，而信息的不同意义上的特定的歧义词汇项收集从孟加拉语WordNet。在实验的基础上，我们使用朴素贝叶斯概率模型作为一个有用的句子分类。我们已经应用该算法超过1747个句子，其中包含一个特定的孟加拉语词汇，由于其模糊的性质，能够触发不同的意义，使句子在不同的意义。在我们的实验中，我们已经取得了约84%的准确率的结果，对总的输入句子的意义分类。我们分析了那些不符合我们的实验，并影响结果的剩余句子，注意到在许多情况下，错误的句法结构和语义信息少的句子语义分类的主要障碍。本研究在自动文本分类、机器学习、信息抽取、词义消歧等方面具有一定的应用价值。
2015-08-06 cs.CL
When classifying grammatical role, BERT doesn't care about word order... except when it matters
Stanford University（斯坦福大学）；University of California, Irvine（加州大学欧文分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
因为意义通常可以单独从词汇语义中推断出来，所以词序在自然语言中通常是一个多余的线索。例如，单词chopped、chef和onion更有可能用来表达“The chef chopped the onion”，而不是“The onion chopped the chef”。“最近的工作表明，大语言模型是令人惊讶的词序不变，但至关重要的是，它在很大程度上考虑了自然的原型输入，其中组合意义大多与词汇预期相匹配。为了克服这种混淆，我们探讨语法角色表示在英语BERT和GPT-2，在词汇的期望是不够的情况下，词序知识是必要的正确分类。这种非原型的例子是自然出现的英语句子，有无生命的主体或有生命的物体，或者是我们系统地交换论点来组成像“洋葱切碎了厨师”这样的句子。我们发现，虽然早期层嵌入主要是词汇，词序实际上是至关重要的，在定义后一层表示的单词在语义上的非原型的位置。我们的实验隔离了词序对语境化过程的影响，并强调了模型如何在不常见但关键的情况下使用语境。
2022-03-11 cs.CL
Distance-to-Distance Ratio: A Similarity Measure for Sentences Based on Rate of Change in LLM Embeddings
DataKnife；Roosevelt University（罗思希尔大学）
本文提出距离比（DDR）作为衡量句子相似性的新方法，通过分析LLM嵌入变化率来评估上下文对语义的影响，实验表明其在区分语义相似与不相似文本方面表现更优。
2026-01-25 cs.CL
Scoring Lexical Entailment with a Supervised Directional Similarity Network
University of Cambridge（剑桥大学）
我们提出了监督方向相似性网络（SDSN），一种新的神经架构，用于在通用词嵌入之上学习特定于任务的转换函数。依赖于从特定任务的分数上的词汇子集的监督只有有限的量，我们的架构是能够概括和转换一个通用的分布式向量空间来建模的词汇蕴涵的关系。实验表明，分级词汇蕴涵的评分表现出色，将HyperLex数据集的最新水平提高了约25%。
2018-05-23 cs.CL cs.LG cs.NE
