Microsoft AI Challenge India 2018: Learning to Rank Passages for Web Question Answering with Deep Attention Networks
IIIT-Hyderabad（海得拉巴国际信息技术学院）
本文介绍了我们的系统为微软人工智能挑战赛印度2018：排名网页问答通道。该系统使用biLSTM网络，在查询和段落表示之间具有协同注意力机制。此外，我们使用自我注意嵌入，以增加词汇覆盖率，允许系统采取工会在不同的嵌入。我们还结合了手工制作的功能，以提高系统性能。我们的系统在eval-1数据集上实现了0.67的平均倒数秩（MRR）。
2019-06-14 cs.CL
Frame-Based Continuous Lexical Semantics through Exponential Family Tensor Factorization and Semantic Proto-Roles
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究如何不同的框架注释相互补充，学习连续词汇语义。我们从张量化的skip-gram模型中学习表示，该模型始终更好地编码语法语义内容，比基线提高了10%。
2017-06-29 cs.CL
A Word-Complexity Lexicon and A Neural Readability Ranking Model for Lexical Simplification
The Ohio State University（俄亥俄州立大学）
目前的词汇简化方法严重依赖于语法和语料库水平的功能，并不总是符合人类的判断。我们创建了一个包含15，000个英语单词的人类评级单词复杂度词典，并提出了一种新的神经可读性排名模型，该模型具有基于高斯的特征向量化层，该层利用这些人类评级来衡量任何给定单词或短语的复杂度。对于不同的词汇简化任务和评估数据集，我们的模型比最先进的系统表现得更好。此外，我们还产生SimplePPDB++，超过1000万简化释义规则的词汇资源，通过将我们的模型应用到释义数据库（PPDB）。
2018-10-12 cs.CL
Unsupervised Candidate Ranking for Lexical Substitution via Holistic Sentence Semantics
University of Science and Technology of China（中国科学技术大学）
针对词汇替换候选词排序中难以建模双向影响的问题，提出基于注意力权重和积分梯度的无监督方法，结合语义相似度有效提升了排序性能。
2026-11-13 cs.AI cs.CL
Resolving Lexical Ambiguity in Tensor Regression Models of Meaning
University of Oxford（牛津大学）；Queen Mary Univ. of London（伦敦大学玛丽女王学院）
本文提供了一种改进基于张量的成分分布模型的意义，通过增加一个明确的消歧步骤之前的组合。与以前的研究相比，这个假设已经成功地在相对简单的组成模型中进行了测试，在我们的工作中，我们使用了一个用线性回归训练的鲁棒模型。两个实验的结果表明了先验消歧方法的优越性，并表明该方法的有效性是与模型无关的。
2014-08-26 cs.CL
Lexical Coupling in GUI Element Grounding: Sentence Embeddings Track Labels across Mobile and Web
University of Helsinki（赫尔辛基大学）
该研究针对GUI定位评估中嵌入相似度与语义定位的混淆问题，对比编码器与词汇基线，提出需报告词汇基线等诊断指标以区分标签恢复与语义定位。
2026-08-25 cs.AI cs.CL cs.HC
GloVeInit at SemEval-2020 Task 1: Using GloVe Vector Initialization for Unsupervised Lexical Semantic Change Detection
Delhi Technological University（德里理工大学）
本文介绍了SemEval2020任务1：无监督词汇语义变化检测的向量初始化方法。给定两个属于不同时间段的语料库和一组目标词，该任务要求我们分类一个词是否随着时间的推移获得或失去了一个意义（子任务1），并根据词义的变化对它们进行排名（子任务2）。所提出的方法是基于使用矢量映射方法来对齐GloVe嵌入。我们的想法是连续训练两个语料库的GloVe嵌入，同时使用第一个模型来初始化第二个。本文基于GloVe嵌入比SGNS嵌入更适合于向量插值方法的假设。它给出了这一假设背后的直观推理，并讨论了各种因素和超参数对所提出方法性能的影响。我们的模型在这两个子任务中在33个团队中排名第13和第10。已公开分享实施情况。
2020-07-10 cs.CL cs.LG
How Lexical is Bilingual Lexicon Induction?
The Ohio State University（俄亥俄州立大学）；Amazon（亚马逊公司）
针对低资源双语词典归纳难题，本文在检索并排序框架中引入额外词汇信息，并在 XLING 上实现较此前最优方法平均 2% 的提升。
2024-04-05 cs.CL
UWB at SemEval-2020 Task 1: Lexical Semantic Change Detection
University of West Bohemia（西波希米亚大学）；NTIS – New Technologies for the Information Society（NTIS——信息社会新技术研究中心）
在本文中，我们描述了我们的方法检测词汇语义变化，即，词义随着时间的推移而变化。我们研究了两个语料库中的特定单词之间的语义差异，从不同的时间段，英语，德语，拉丁语和瑞典语。我们的方法是为SemEval 2020任务1创建的：\textit{Unsupervised Lexical Semantic Change Detection.}我们在子任务1：二进制变化检测中对$1^{st}$进行排名，在子任务2：排名变化检测中对$4^{th}$进行排名。我们的方法是完全无监督和语言独立的。它包括为每个语料库（较早和较晚）准备一个语义向量空间;使用典型相关分析和正交变换计算较早和较晚空间之间的线性变换;以及测量来自较早语料库的目标词的变换向量之间的余弦和稍后语料库中目标词的向量。
2020-11-30 cs.CL
Leveraging Lexical Resources for Learning Entity Embeddings in Multi-Relational Data
McGill University（麦吉尔大学）
最近的工作在学习向量空间嵌入多关系数据集中在结合关系信息来自知识库与分布式信息来自大型文本语料库。我们提出了一个简单的方法，利用实体或短语的描述，在词汇资源，结合分布式语义，以获得一个更好的初始化训练关系模型。将此初始化应用于TransE模型会在WordNet数据集上产生显著的新的最先进性能，将平均排名从之前的212降至51。它还导致实体表示的更快收敛。我们发现，有一个权衡提高平均排名和hits@10与这种方法。这表明，在关系模型中，关于性能改进还有很多需要理解的地方。
2016-05-18 cs.CL
RiTUAL-UH at TRAC 2018 Shared Task: Aggression Identification
University of Houston（休斯顿大学）
本文介绍了我们的“TRAC 2018攻击识别共享任务”系统。我们针对英语数据集的最佳系统使用词汇和语义特征的组合。然而，对于印地语数据，仅使用词汇特征给了我们最好的结果。我们获得了英语Facebook任务（排名第12）的加权F1测量值为0.5921，英语社交媒体任务（排名第6）为0.5663，印地语Facebook任务（排名第1）为0.6292，印地语社交媒体任务（排名第2）为0.4853。
2018-07-31 cs.CL
Application of Lexical Features Towards Improvement of Filipino Readability Identification of Children's Literature
De La Salle University（德拉萨大学）；National University（国立大学）
正确识别儿童阅读材料的年级是有效学习的重要一步。最近的英语领域可读性评估研究应用了自然语言处理（NLP）中的现代方法，如机器学习（ML）技术来自动化该过程。在对可读性公式建模时，还需要提取正确的语言特征。在菲律宾语的背景下，有限的工作已经完成[1，2]，特别是在考虑语言的词汇复杂性作为主要特征。在本文中，我们探讨使用词汇的特点，对提高儿童的可读性识别的发展写在菲律宾语的书籍。结果表明，结合词汇特征（LEX），包括类型标记比，词汇密度，词汇变化，外国单词计数与传统的功能（TRAD），如句子长度，平均音节长度，多音节词，单词，句子和短语计数增加了近5%的利润率（从42%到47.2%）的可读性模型的性能。进一步的分析和排名的最重要的功能，以确定哪些功能贡献最大的阅读复杂性。
2021-01-22 cs.CL cs.LG
UWB @ DIACR-Ita: Lexical Semantic Change Detection with CCA and Orthogonal Transformation
University of West Bohemia（西波希米亚大学）；NTIS – New Technologies for the Information Society（NTIS——信息社会新技术中心）
在本文中，我们描述了我们的方法检测词汇语义变化（即，词义随时间变化），其中我们对$1^{st}$进行排名。我们研究了两个意大利语语料库，从不同的时间段选择特定的单词之间的语义差异。我们的方法是完全无监督和语言独立的。它包括为每个语料库准备一个语义向量空间，之前和之后。然后我们使用CCA和正交变换计算先前空间和稍后空间之间的线性变换。最后，我们测量变换向量之间的余弦。
2020-11-30 cs.CL
IMS at SemEval-2020 Task 1: How low can you go? Dimensionality in Lexical Semantic Change Detection
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
我们展示了SemEval-2020任务1的系统结果，该系统利用了一种常用的基于Skip-Gram负采样的词汇语义变化检测模型。我们的系统专注于向量向量（VI）对齐，将VI与当前子任务2的顶级模型进行比较，并证明如果我们优化VI维度，这些模型可以优于VI。我们证明，性能的差异在很大程度上可以归因于特定于模型的噪声源，我们揭示了维度和频率引起的噪声VI对齐之间的密切关系。我们的研究结果表明，词汇语义变化模型整合向量空间对齐应该更多地关注的维度参数的作用。
2020-08-07 cs.CL
NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora
Instituto Politécnico Nacional（国家理工学院）；Instituto Caro y Cuervo（卡罗-奎尔沃研究所）
我们在EVALITA 2020的DIACR-Ita共享任务中展示了我们关于意大利语无监督词汇语义变化的系统和发现。该任务是确定目标词是否随着时间的推移而演变其含义，仅依赖于来自两个特定时间数据集的原始文本。我们提出了两个模型，代表目标词的各个时期预测变化的话，使用阈值和投票计划。我们的第一个模型仅仅依赖于词性的使用和距离测量的集合。第二个模型使用词嵌入表示法提取相邻词在空间上的相对距离，并提出“绝对差平均值”来估计词汇语义变化。我们的模型取得了令人满意的结果，在DIACR-Ita竞赛中排名第三。此外，我们使用第二个模型的k_neighbor参数进行实验，以比较使用“绝对差的平均值”与Hamilton et al.（2016）中使用的余弦距离的影响。
2020-11-07 cs.AI cs.CL
Lexical Simplification using multi level and modular approach
文本简化是自然语言处理中的一个重要问题，其解决方案具有多种含义。结合TSAR-2022研讨会@ EMNLP 2022词汇简化是通过用更容易阅读（或理解）的表达替换困难的单词，同时保留原始信息和含义，从而降低文本词汇复杂性的过程。本文介绍了我们的团队“teamPN”为英语子任务所做的工作。我们创建了一个模块化管道，将现代基于Transformers的模型与传统的NLP方法（如释义和动词词义消歧）相结合。我们创建了一个多层次和模块化的管道，根据其语义（词性标签）处理目标文本。流水线是多层次的，因为我们利用多个源模型来寻找潜在的替代候选者，它是模块化的，因为我们可以在最终的重新排名中切换源模型及其权重年龄。
2023-02-03 cs.CL
QMUL-SDS @ DIACR-Ita: Evaluating Unsupervised Diachronic Lexical Semantics Classification in Italian
Queen Mary University of London（伦敦玛丽女王大学）；Imam Abdulrahman bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·费萨尔大学）；Alan Turing Institute（艾伦·图灵研究所）
在本文中，我们介绍了我们的系统的结果和主要发现的DIACR-ITA 2020任务。我们的系统专注于使用不同的训练集和不同的语义检测方法。该任务涉及训练，对齐和预测一个词的向量变化从两个历时意大利语语料库。我们证明了使用时间词嵌入与指南针C-BOW模型相比，不同的方法，包括逻辑回归和前馈神经网络使用精度更有效。我们的模型排名第三，准确率为83.3%。
2020-11-06 cs.CL
OCHADAI-KYOTO at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction
Ochanomizu University（御茶水女子大学）；Kyoto University（京都大学）
我们提出了一个集成模型来预测词汇和多词表达式（MWE）的词汇复杂度。该模型接收带有目标词或MWE的句子作为输入，并输出其复杂性得分。考虑到这项任务的一个关键挑战是注释数据的大小有限，我们的模型依赖于来自不同的最先进的基于转换器的语言模型（即，BERT和RoBERTa），以及用于进一步增强模型泛化和鲁棒性的各种训练方法：多步微调和多任务学习，以及对抗训练。此外，我们建议通过在训练过程中添加手工制作的功能来丰富上下文表示。我们的模型取得了有竞争力的结果，并在这两个子任务的前10名系统中排名。
2021-06-15 cs.CL
UiO-UvA at SemEval-2020 Task 1: Contextualised Embeddings for Lexical Semantic Change Detection
University of Oslo（奥斯陆大学）；University of Amsterdam（阿姆斯特丹大学）
我们将上下文化的词嵌入应用于SemEval-2020共享任务1中的词汇语义变化检测。本文的重点是子任务2，排名的程度，他们的语义漂移随着时间的推移。我们分析了两个contextualising架构（BERT和ELMo）和三个变化检测算法的性能。我们发现，最有效的算法依赖于平均令牌嵌入之间的余弦相似性和令牌嵌入之间的成对距离。它们的表现远远优于强基线（在后评估阶段，我们为SemEval-2020任务1提交了最好的Subtask 2），但有趣的是，特定算法的选择取决于测试集中黄金分数的分布。
2020-07-19 cs.CL
The Highs and Lows of Simple Lexical Domain Adaptation Approaches for Neural Machine Translation
University of Edinburgh（爱丁堡大学）
机器翻译系统易受域不匹配的影响，特别是在资源不足的情况下。由于暴露偏差和充当语言模型的解码器，域外翻译通常质量差并且容易产生幻觉。我们采用两种方法来缓解这个问题：受IBM统计对齐限制的词汇入围，以及基于相似性的假设重新排名。这些方法在计算上是便宜的，广为人知的，但没有广泛的实验上的领域自适应。我们证明了成功的低资源域外测试集，但是，当有足够的数据或太大的域不匹配的方法是无效的。这是由于IBM模型失去了其相对于隐式学习的神经对齐的优势，以及域外词的子词切分的问题。
2021-09-21 cs.CL
LSBert: A Simple Framework for Lexical Simplification
Hefei University of Technology（合肥工业大学）；Mininglamp Academy of Sciences（明略科学院）
词汇简化（LS）的目的是将句子中的复杂词替换为意义相同的简单词，以简化句子。目前的无监督词汇简化方法只依赖于复杂词本身而不考虑给定的句子来生成候选替换，这将不可避免地产生大量的虚假候选。本文提出了一个基于预训练表示模型BERT的词汇简化框架LSBert，它能够（1）在检测需要简化的词和生成替代候选词时利用更广泛的上下文，（2）考虑五个高质量的特征来对候选词进行排序，包括BERT预测顺序，基于Bert的语言模型和释义数据库PPDB，除了在其他LS方法中常用的词频和词相似度之外。我们表明，我们的系统输出语法正确和语义适当的词汇简化，并获得了明显的改善与这些基线相比，在三个著名的基准测试中，超过了29.8的准确度点的最先进的。
2020-06-25 cs.CL cs.IR
Zipf Distributions from Two-Stage Symbolic Processes: Stability Under Stochastic Lexical Filtering
Aitiologia LLC（Aitiologia公司）
本研究通过几何机制解释Zipf定律的起源，提出全组合词模型在随机词汇过滤下的稳定性，揭示Zipf定律可能源于几何约束而非语言效率。
2025-11-26 cs.CL stat.ME stat.ML
Definition generation for lexical semantic change detection
University of Oslo（奥斯陆大学）
本文提出用大语言模型生成词语定义作为义项表示，通过比较不同时期定义分布来检测历时词汇语义变化，在五个数据集和三种语言上取得与现有无监督方法相当或更优的效果，并保持可解释性。
2024-07-31 cs.CL
